Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
2ちゃんねるを対象とした悪口表現の抽出
Search
自然言語処理研究室
March 31, 2010
Research
2
430
2ちゃんねるを対象とした悪口表現の抽出
石坂 達也, 山本 和英. 2ちゃんねるを対象とした悪口表現の抽出. 言語処理学会第16回年次大会, pp.178-181 (2010.3)
自然言語処理研究室
March 31, 2010
Tweet
Share
More Decks by 自然言語処理研究室
See All by 自然言語処理研究室
データサイエンス14_システム.pdf
jnlp
0
380
データサイエンス13_解析.pdf
jnlp
0
480
データサイエンス12_分類.pdf
jnlp
0
340
データサイエンス11_前処理.pdf
jnlp
0
460
Recurrent neural network based language model
jnlp
0
140
自然言語処理研究室 研究概要(2012年)
jnlp
0
130
自然言語処理研究室 研究概要(2013年)
jnlp
0
97
自然言語処理研究室 研究概要(2014年)
jnlp
0
120
自然言語処理研究室 研究概要(2015年)
jnlp
0
190
Other Decks in Research
See All in Research
不確実性下における目的と手段の統合的探索に向けた連続腕バンディットの応用 / iot70_gp_rff_mab
monochromegane
2
160
Hiding What from Whom? A Critical Review of the History of Programming languages for Music
tomoyanonymous
0
160
【緊急警告】日本の未来設計図 ~沈没か、再生か。国民と断行するラストチャンス~
yuutakasan
0
150
Creation and environmental applications of 15-year daily inundation and vegetation maps for Siberia by integrating satellite and meteorological datasets
satai
3
270
SegEarth-OV: Towards Training-Free Open-Vocabulary Segmentation for Remote Sensing Images
satai
3
170
AIスパコン「さくらONE」のLLM学習ベンチマークによる性能評価 / SAKURAONE LLM Training Benchmarking
yuukit
0
330
電通総研の生成AI・エージェントの取り組みエンジニアリング業務向けAI活用事例紹介
isidaitc
1
940
20250605_新交通システム推進議連_熊本都市圏「車1割削減、渋滞半減、公共交通2倍」から考える地方都市交通政策
trafficbrain
0
770
一人称視点映像解析の最先端(MIRU2025 チュートリアル)
takumayagi
6
3.5k
IMC の細かすぎる話 2025
smly
2
630
Language Models Are Implicitly Continuous
eumesy
PRO
0
230
GPUを利用したStein Particle Filterによる点群6自由度モンテカルロSLAM
takuminakao
0
260
Featured
See All Featured
YesSQL, Process and Tooling at Scale
rocio
173
14k
How to Think Like a Performance Engineer
csswizardry
26
1.9k
Scaling GitHub
holman
463
140k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Gamification - CAS2011
davidbonilla
81
5.4k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
The Power of CSS Pseudo Elements
geoffreycrofte
77
6k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
48
9.7k
Building a Modern Day E-commerce SEO Strategy
aleyda
43
7.6k
Why Our Code Smells
bkeepers
PRO
339
57k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
46
7.6k
Fantastic passwords and where to find them - at NoRuKo
philnash
52
3.4k
Transcript
1 2ちゃんねるを対象とした 悪口表現の抽出 長岡技術科学大学 石坂達也 山本和英
2 背景 z Web上には他者を誹謗中傷する書き込みが存在 z 最悪の場合, 自殺のきっかけとなる 悪口書き込みはより厳重に管理されるべき 辞書を使用したフィルタリング 堅実な方法として…
3 悪口表現辞書の構築 今回 悪口表現抽出の手法を検討 目的 悪口表現の抽出が必須
4 z 他の情報を必要としない侮辱や誹謗中傷し ている単語,句 (例) ・あの政治家死ね ・奴らはバカな暇人野郎 悪口表現の定義
5 z 他の情報を必要としない侮辱や誹謗中傷し ている単語,句 (例) ・あの政治家死ね ・奴らはバカな暇人野郎 悪口表現の定義 皮肉は対象外
6 z 他の情報を必要としない侮辱や誹謗中傷し ている単語,句 (例) ・あの政治家死ね ・奴らはバカな暇人野郎 悪口表現の定義 「バカ」は悪口ではない場合がある (例)バカうまい
7 z 2ちゃんねるは多くの人が利用している z さらに, 悪口書き込みが多い 仮説 Web全体と2ちゃんねるでは 悪口表現の種類数 に大きな差はない
なぜ 「2ちゃんねる」なのか
8 問題点 と 基本方針 z 2ちゃんねるを対象にすることで生じる問題点 z 形態素解析器の解析ミス(単語の区切り、品詞情報) z 文の区切りが句点とは限らない
z 造語, 隠語が多い z 基本方針 z 品詞情報を無視 z 単語の過分割にも対応可能
9 手法の流れ 1. 悪口表現種辞書の構築 2. 悪口文の収集 3. 悪口n-gram モデルの作成 4.
悪口表現抽出
10 悪口表現種辞書の構築 z 人手で2ちゃんねるから悪口表現を抽出 z 103件 (例) z みんなまとめて逝け z
うざい z キモイ z ヲタは地獄に落ちろ
11 悪口文の収集 z 種辞書の登録表現を含む文(悪口文)を収集 z 毎日 約2000スレッドを解析 z 約20万文を収集できた (例)
z つか,官僚死ねや z 泥棒ゴミクズ団体はさっさと吊ってこい! z こんなんでイチイチ騒ぐなボケカス。
12 悪口n-gram モデルの作成 1/2 z 悪口文と非悪口文からモデルを作成 z 悪口文を約20万文, 非悪口文を約50万文 z
単語n-gram z 1~5-gram z 前向きと後ろ向きn-gramの2パターン z SRILMを使用 z 悪口表現を持つn-gramを抽出
13 悪口n-gram モデルの作成 2/2 - 前処理 - z 悪口表現は1語に合成、汎化 (例)
男 って バカ な 暇人 野郎 ばっか 男 って <悪口> ばっか z 単語は原形にして扱う
14 悪口n-gram モデルの例 0.743 は 底抜け に <悪口> 0.67 <悪口>
は さっさと 日本 から n-gram 確率 この場合n=4 悪口表現の直前に連接する単語列 (左連接属性) n-gram 確率 この場合n=5 悪口表現の直後に連接する単語列 (右連接属性)
15 悪口n-gram モデルの例 0.743 は 底抜け に <悪口> 0.67 <悪口>
は さっさと 日本 から n-gram 確率 この場合n=4 悪口表現の直前に連接する単語列 (左連接属性) n-gram 確率 この場合n=5 悪口表現の直後に連接する単語列 (右連接属性) この単語列があった時に 右側を抽出 この単語列があった時に 左側を抽出
16 マス ゴミ の クズ どもる て ,何 で こう
なる 事が… 悪口表現獲得までの例 マスゴミのクズどもって,何でこうなる事が… 適用されるn-gram z <悪口> どもる て , 抽出される悪口表現 z マスゴミのクズ 入力文 形態素解析後
17 評価実験 z 評価セット z 悪口文378文, 非悪口文382文 z 評価方法 z
抽出された文字列を人手で悪口表現か評価 z 実験条件 z n-gram確率を閾値
18 実験結果(適合率)
19 実験結果(適合率) 閾値が高い場合は高確率で 悪口表現抽出が可能
20 実験結果(適合率) 閾値が高い場合は高確率で 悪口表現抽出が可能 しかし、3件 閾値を下げても再現率は最高で0.3
21 考察:適合率と再現率 z 悪口表現のみに連接しやすい単語列は少ない (定型的に存在するわけではない) より悪口表現の特徴に適した指標も必要
22 新しい悪口表現の獲得数 辞書の拡張のためには新しい悪口表現の 獲得が必要 今回の手法でいくつ獲得できているか 予備実験
23 実験結果 (獲得数)
24 実験結果 (獲得数) 閾値が低い時に 新しい悪口表現の獲得可能
25 獲得した悪口表現 z キモオタロリコン z 消えてしまえ,馬鹿 z デブ婆ァ z スタイル悪い
z カス芸人 z 馬鹿男女
26 考察:新しい悪口表現の獲得 z 閾値が低い場合に, 新しい悪口表現の獲得 z 閾値が低い場合は非悪口表現も多く獲得 z 同じ単語を使用する悪口表現を多く獲得 (例)
糞◦◦ 糞ガキ, 糞ゲー 同じ単語を使用する造語の獲得には有効
27 まとめ z n-gram確率で悪口表現を抽出する手法を検討 z 閾値が高い場合に高確率で抽出可能 z 種辞書にない表現も獲得可能
28 ご清聴有難うございました
実験結果(再現率)