女学生の気持ちをPythonで可視化してみた

Transcript

1. 女学生の気持ちをPythonで 可視化してみた camera510PC7

2. 皆さん、普段どのように コミュニケーションを取りますか？

3. 100年ぐらい前は？ 女学生の間で手紙のやり取りが流行った

4. 現代ならLINEで・・・ タピる マジ卍 やばたにえん 大草原不可避ww

5. 昔の手紙ってどんなの？ 国立国会図書館デジタルコレクション で当時の手紙の内容をまとめた本が 公開されている https://base1.nijl.ac.jp/~kindai/img/HKDT/HKDT- 00350/HKDT-00350-01.jpg?log=true&mid=HKDT- 00350&d=1576080649311

6. 昔の手紙ってどんなの？ 国立国会図書館デジタルコレクション で当時の手紙の内容をまとめた本が 公開されている https://base1.nijl.ac.jp/~kindai/img/HKDT/HKDT- 00350/HKDT-00350-01.jpg?log=true&mid=HKDT- 00350&d=1576080649311

7. 昔の手紙ってどんなの？ 国立国会図書館デジタルコレクション で当時の手紙の内容をまとめた本が 公開されている https://base1.nijl.ac.jp/~kindai/img/HKDT/HKDT- 00350/HKDT-00350-01.jpg?log=true&mid=HKDT- 00350&d=1576080649311 これを解析すれば当時どのようなことが 書かれていたかわかるのではないだろうか

8. 解析手法・手順(すべてPython) MeCabで形態素解析 WordCloudで 単語を可視化 ネガポジ判定 背景画像生成 WordCloudと背景画像を合成

9. データのテキスト化 ここで問題発生！！ OCR

10. データのテキスト化 ここで問題発生！！ OCR OCRが使えない

11. データのテキスト化 人力で文字起こし した結果

12. MeCabで形態素解析 形態素解析とは テキストデータを辞書のデータをもとに意味を 持つ最小単位に分けること 今回は旧仮名遣いの文章を扱うため旧仮名口語UniDic という辞書を使用

13. MeCabで形態素解析 動詞、副詞、形容詞、名詞を抽出

14. WordCloudで単語を可視化 単語の出現回数が多いほど 文字が大きくなる

15. ネガティブ、ポジティブ判定 東工大の高村教授が公開されている 単語感情極性対応表を利用 単語ごとに ポジティブであればプラスの値 ネガティブであればマイナスの値 が設定されている

16. 背景画像生成 ネガティブ、ポジティブ判定結果から背景の色を変える ポジティブであれば赤に近づけ、ネガティブであれば青に近づける = ෍ =1 ポジティブ (RGB) = (255

    , 255- , 255- ) ネガティブ (RGB) = (255+ , 255+ , 255) : バイアス(5) : 対応表に引っ掛かった単語数 :その単語の評価

17. WordCloudと背景画像を合成

18. WordCloudと背景画像を合成

19. None
20. None

21. 結果＆考察 • 6つほど試したがすべてネガティブ判定だった ➢センチメンタルな文章が多いせい？ • 分析時のノイズが多い ➢WordCloudのストップワードの設定をすればよい • ネガティブ差がはっきり出た ➢バイアスの効果

22. 今後の改善点 • WordCloudの設定を変える • 表記揺れに対応する ➢わびしい、侘しい ➢やさしい、優しい 等 • そもそもネガポジ判定自体をWord2vecで行う

    対応表＋Word2vec

23. 参考文献 • 溝口白羊 , 竹久夢二, 若き女の手紙 (1912) • 小木曽智信: 「旧仮名遣いの口語文を対象とした形態素解析辞

    書」, じんもんこん2012論文集, pp.25-32 (2012). • 高村大也, 乾孝司, 奥村学 "スピンモデルによる単語の感情極性抽出", 情報処理学会論文誌 ジャーナル, Vol.47 No.02 pp. 627--637, 2006 • 稲垣 恭子, 女学生の手紙の世界, ソシオロジ, 2004-2005, 49 巻, 2 号, p. 111-118