女学生の気持ちをPythonで可視化してみた

女学生の気持ちをPythonで可視化してみた camera510PC7

皆さん、普段どのようにコミュニケーションを取りますか？

100年ぐらい前は？女学生の間で手紙のやり取りが流行った

現代ならLINEで・・・タピるマジ卍やばたにえん大草原不可避ww

昔の手紙ってどんなの？国立国会図書館デジタルコレクションで当時の手紙の内容をまとめた本が公開されている https://base1.nijl.ac.jp/~kindai/img/HKDT/HKDT- 00350/HKDT-00350-01.jpg?log=true&mid=HKDT- 00350&d=1576080649311

昔の手紙ってどんなの？国立国会図書館デジタルコレクションで当時の手紙の内容をまとめた本が公開されている https://base1.nijl.ac.jp/~kindai/img/HKDT/HKDT- 00350/HKDT-00350-01.jpg?log=true&mid=HKDT- 00350&d=1576080649311 これを解析すれば当時どのようなことが書かれていたかわかるのではないだろうか

解析手法・手順(すべてPython) MeCabで形態素解析 WordCloudで単語を可視化ネガポジ判定背景画像生成 WordCloudと背景画像を合成

データのテキスト化ここで問題発生！！ OCR

データのテキスト化ここで問題発生！！ OCR OCRが使えない

データのテキスト化人力で文字起こしした結果

MeCabで形態素解析形態素解析とはテキストデータを辞書のデータをもとに意味を持つ最小単位に分けること今回は旧仮名遣いの文章を扱うため旧仮名口語UniDic という辞書を使用

MeCabで形態素解析動詞、副詞、形容詞、名詞を抽出

WordCloudで単語を可視化単語の出現回数が多いほど文字が大きくなる

ネガティブ、ポジティブ判定東工大の高村教授が公開されている単語感情極性対応表を利用単語ごとにポジティブであればプラスの値ネガティブであればマイナスの値が設定されている

背景画像生成ネガティブ、ポジティブ判定結果から背景の色を変えるポジティブであれば赤に近づけ、ネガティブであれば青に近づける = ෍ =1 ポジティブ (RGB) = (255
, 255- , 255- ) ネガティブ (RGB) = (255+ , 255+ , 255) : バイアス(5) : 対応表に引っ掛かった単語数 :その単語の評価

WordCloudと背景画像を合成

結果＆考察 • 6つほど試したがすべてネガティブ判定だった ➢センチメンタルな文章が多いせい？ • 分析時のノイズが多い ➢WordCloudのストップワードの設定をすればよい • ネガティブ差がはっきり出た ➢バイアスの効果

今後の改善点 • WordCloudの設定を変える • 表記揺れに対応する ➢わびしい、侘しい ➢やさしい、優しい等 • そもそもネガポジ判定自体をWord2vecで行う
対応表＋Word2vec

参考文献 • 溝口白羊 , 竹久夢二, 若き女の手紙 (1912) • 小木曽智信: 「旧仮名遣いの口語文を対象とした形態素解析辞
書」, じんもんこん2012論文集, pp.25-32 (2012). • 高村大也, 乾孝司, 奥村学 "スピンモデルによる単語の感情極性抽出", 情報処理学会論文誌ジャーナル, Vol.47 No.02 pp. 627--637, 2006 • 稲垣恭子, 女学生の手紙の世界, ソシオロジ, 2004-2005, 49 巻, 2 号, p. 111-118

女学生の気持ちをPythonで可視化してみた

女学生の気持ちをPythonで可視化してみた

camera510PC7

More Decks by camera510PC7

Other Decks in Technology

Featured

Transcript