テキストマイニング

長岡技術科学大学 自然言語処理研究室 B3ゼミ発表7

Transcript

1. テキストマイニング 長岡技術科学大学 自然言語処理研究室 学部３年 勝田 哲弘 1 2017/3/10
2. テキストマイニングとは • テキストの中の言葉どうしに見られるパターン や規則性を見つけ、知識・情報を取り出す。 ▫ 形態素の出現頻度、あるかないか。 ▫ 出現パターンや相関関係を分析 • 言葉どうしの共通性、類似性 2
3. 分析の流れ 3 ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ カテゴリー カテゴリー カテゴリー 概念 概念 概念
4. 分析の流れ • 「複数の事物や事象から共通の特徴を取り出し、それら を包括的、概括的に捉える思考の構成単位」 • 研究者の解釈が含まれると再現性がなくなる。 • 厳密なルールが必要 4 概念 概念 概念
5. 多変量解析 • 多くの変数、データを解析 5 国語 算数 理科 社会 英語 Aさん ５５ ７０ ８５ ４８ ５７ Bさん ６５ ６０ ５９ ５５ ７２ Cさん ７２ ５５ ７４ ６３ ８５ 平均 ６４．０ ６１．７ ７２．７ ５５．３ ７１．３
6. 多変量解析 • 相関関数 = ( − )( − ) ( − )2 ( − )2 6
7. 多変量解析 • 相関関数 = ( − )( − ) ( − )2 ( − )2 7 国語 算数 理科 社会 英語 国語 １．０００ -０．７３９ -０．５１１ ０．９９０ ０．９９８ 算数 １．０００ ０．９５７ -０．６３８ -０．６９７ 理科 １．０００ -０．３８６ -０．４５８ 社会 １．０００ ０．９９７
8. Χ2値 • 共変動の強さ（分散の大きさ） = 実測値、 = 期待値 2 = − 2 =1 • 分散が大きい程データには何らかの意味を持っ ている 8
9. 数量化Ⅲ類 • 質的変数、量的に意味がないデータの解析。 • クロス集計表から線形関係を見出す 9 豚骨 鶏ガラ 煮干し マイルド ピリ辛 こってり さっぱり A店 １０ １ １ ６ ５ ７ １ B店 １０ ０ ０ ２ ３ ９ ０ C店 １ ９ １ ５ ５ ２ １ D店 ０ １ ８ ２ ０ １ ６ E店 ９ ２ ０ ４ ６ ６ ０ F店 ８ ６ ７ ９ １０ １ ７
10. 数量化Ⅲ類 • 左列から順に数値の大きいものに入れ替える 10 豚骨 こってり マイルド ピリ辛 鶏ガラ 煮干し さっぱり A店 １０ ７ ６ ５ １ １ １ B店 １０ ９ ２ ３ ０ ０ ０ C店 １ ２ ５ ５ ９ １ １ D店 ０ １ ２ ０ １ ８ ６ E店 ９ ６ ４ ６ ２ ０ ０ F店 ８ １ ９ １０ ６ ７ ７
11. 数量化Ⅲ類 • 上から順に数値の大きいもの • こってり-さっぱり 11 豚骨 こってり マイルド ピリ辛 鶏ガラ 煮干し さっぱり B店 １０ ９ ２ ３ ０ ０ ０ A店 １０ ７ ６ ５ １ １ １ E店 ９ ６ ４ ６ ２ ０ ０ F店 ８ １ ９ １０ ６ ７ ７ C店 １ ２ ５ ５ ９ １ １ D店 ０ １ ２ ０ １ ８ ６
12. 数量化Ⅲ類 • 寄与率 ▫ その軸がデータの何％を説明するかの指標 12 第一軸 第二軸 第三軸 第四軸 第五軸 寄与率 64.91% 29.13% 5.32% 0.56% 0.08% 累積寄与率 64.91% 94.04% 99.36% 99.92% 100%
13. 数量化Ⅲ類 • 座標値 13 B C D A E F 煮干し さっぱり こってり 豚骨 マイルド 鶏ガラ ピリ辛
14. まとめ • 言葉などの質的データに対する客観的な分析方 法はすでに確立している。 • 言葉のデータはどれをキーワードにするか、析 出するかという点は、恣意的、主観的になる。 14
15. 参考文献 • 福祉・心理・看護のテキストマイニング入門 藤井美和・小杉考司・李政元 編著 中央法規 15