AIは芥川龍之介を見分けられるか? / Can AI predict Akutagawa's writing?_

青空文庫データセットでトレーニングしたAIで、芥川龍之介作品を当ててみた

Transcript

1. AIは芥川龍之介を見分けられるか？ 技術アウトプットもくもく会 LT 2019年7⽉28⽇ 松⽥ 裕之
2. 1 Copyright（C） Nishika, Inc. All rights reserved. 自己紹介 n松⽥ 裕之（Hiroyuki Matsuda） n経歴 l（データサイエンスと関係ない）経営コンサルタント 6年 lデータサイエンティスト@SIベンダー 3年 l起業 2019年/8⽉~ nTwitter l@mhiro216 nBlog lhttps://mhiro216.hatenablog.com/ l内容は主にLeetCode
3. 2 Copyright（C） Nishika, Inc. All rights reserved. 背景 nNishikaという会社を⽴ち上げ、 データサイエンティストとデータサイエンスを活⽤したい⼈が集うコミュニティを運営します。 nその中の１コンテンツとして、Kaggleのようなコンペティションを⽤意しようと考えています。 nこれから創業という段階なので、まずはパブリックデータで⾃社主催のコンペを⾏います。 n1つのアイデアが、「AIは芥川⿓之介を⾒分けられるか︖」です。 n今⽇は、簡単なモデル構築・評価・結果分析してみた結果を⽰します。
4. 3 Copyright（C） Nishika, Inc. All rights reserved. コンペ概要 n内容 l [⻘空⽂庫](https://www.aozora.gr.jp/)さんが提供されている著名な作家の過去作品の中から、 芥川⿓之介が執筆した作品を機械学習により判定するモデルを構築 nデータ l 芥川⿓之介含む、作品数上位10名の合計4732作品 ▪ほかは坂⼝安吾、太宰治など l うち芥川は360作品 ▪不均衡データ 芥川の作品
5. 4 Copyright（C） Nishika, Inc. All rights reserved. データ例 蜘蛛の⽷ 芥川⿓之介 ------------------------------------------------------- 【テキスト中に現れる記号について】 《》︓ルビ （例）蓮池《はすいけ》のふち ｜︓ルビの付く⽂字列の始まりを特定する記号 （例）丁度｜地獄《じごく》の底に ［＃］︓⼊⼒者注 主に外字の説明や、傍点の位置の指定 （数字は、JIS X 0213の⾯区点番号、または底本のページと⾏数） （例）※［＃「特のへん＋⼵＋⾀」、第3⽔準1-87-71］ ------------------------------------------------------- ［＃８字下げ］⼀［＃「⼀」は中⾒出し］ ある⽇の事でございます。御釈迦様《おしゃかさま》は極楽の蓮池《はすいけ》のふちを、独りでぶらぶら御歩きになっていらっしゃいました。池の中に咲いている蓮《はす》の花は、みんな ⽟のようにまっ⽩で、そのまん中にある⾦⾊《きんいろ》の蕊《ずい》からは、何とも云えない好《よ》い匂《におい》が、絶間《たえま》なくあたりへ溢《あふ》れて居ります。極楽は丁度朝なの でございましょう。 やがて御釈迦様はその池のふちに御佇《おたたず》みになって、⽔の⾯《おもて》を蔽《おお》っている蓮の葉の間から、ふと下の容⼦《ようす》を御覧になりました。この極楽の蓮池の下 は、丁度｜地獄《じごく》の底に当って居りますから、⽔晶《すいしよう》のような⽔を透き徹して、三途《さんず》の河や針の⼭の景⾊が、丁度｜覗《のぞ》き眼鏡《めがね》を⾒るように、 はっきりと⾒えるのでございます。
6. 5 Copyright（C） Nishika, Inc. All rights reserved. データ例 ［＃８字下げ］三［＃「三」は中⾒出し］ 御釈迦様《おしゃかさま》は極楽の蓮池《はすいけ》のふちに⽴って、この⼀部｜始終《しじゅう》をじっと⾒ていらっしゃいましたが、やがて※［＃「特のへん＋⼵＋⾀」、第3⽔準1- 87-71］陀多《かんだた》が⾎の池の底へ⽯のように沈んでしまいますと、悲しそうな御顔をなさりながら、またぶらぶら御歩きになり始めました。⾃分ばかり地獄からぬけ出そうとする、 ※［＃「特のへん＋⼵＋⾀」、第3⽔準1-87-71］陀多の無慈悲な⼼が、そうしてその⼼相当な罰をうけて、元の地獄へ落ちてしまったのが、御釈迦様の御⽬から⾒ると、浅間しく 思召されたのでございましょう。 しかし極楽の蓮池の蓮は、少しもそんな事には頓着《とんじゃく》致しません。その⽟のような⽩い花は、御釈迦様の御⾜《おみあし》のまわりに、ゆらゆら萼《うてな》を動かして、そのま ん中にある⾦⾊の蕊《ずい》からは、何とも云えない好《よ》い匂が、絶間《たえま》なくあたりへ溢《あふ》れて居ります。極楽ももう午《ひる》に近くなったのでございましょう。 ［＃地から１字上げ］（⼤正七年四⽉⼗六⽇） 底本︓「芥川⿓之介全集2」ちくま⽂庫、筑摩書房 1986（昭和61）年10⽉28⽇第1刷発⾏ 1996（平成8）年7⽉15⽇第11刷発⾏ 親本︓筑摩全集類聚版芥川⿓之介全集 1971（昭和46）年3⽉〜11⽉ ⼊⼒︓平⼭誠、野⼝英司 校正︓もりみつじゅんじ 1997年11⽉10⽇公開 2011年1⽉28⽇修正 ⻘空⽂庫作成ファイル︓ このファイルは、インターネットの図書館、⻘空⽂庫（http://www.aozora.gr.jp/）で作られました。⼊⼒、校正、制作にあたったのは、ボランティアの皆さんです。
7. 6 Copyright（C） Nishika, Inc. All rights reserved. 前処理 n ヘッダー・フッターの除去 n ルビや⼊⼒注などの除去
8. 7 Copyright（C） Nishika, Inc. All rights reserved. 特徴量作成 n 本⽂をmecab-ipadic-neologd(mecabのversionは0.996)で分かち書き l 現代語を取り⼊れた形態素解析辞書なので不適当な可能性あり n tf-idf値を特徴量とする n tf_idf値が⾼い上位300単語を抽出し300次元とする
9. 8 Copyright（C） Nishika, Inc. All rights reserved. モデル構築 n LightGBMでモデル構築 n 学習データとテストデータは7:3に分割、さらに学習データをバリデーション⽤に7:3に分割 n 評価指標︓AUC n その他ハイパーパラメータのチューニングは未着⼿
10. 9 Copyright（C） Nishika, Inc. All rights reserved. モデル評価 n AUCはテストデータに対して0.984
11. 10 Copyright（C） Nishika, Inc. All rights reserved. モデル評価 n テストデータに対するConfusion Matrixは以下の通り n F1値は0.836 n 正負判定の閾値はバリデーションデータでF1値が最⼤となる値(0.1)に設定
12. 11 Copyright（C） Nishika, Inc. All rights reserved. モデル分析
13. 12 Copyright（C） Nishika, Inc. All rights reserved. モデル分析 n 重要度の⾼い順にクラスごとの特徴量の平均値を計算 n 芥川作品で多くみられ、特徴量としても効いている単語は、「しかし」「ふる」など l 「ふる」は、「かく云ふべし」などの「ふ」を誤った基本形に変換しているもので、形態素解析辞書との組み合わせの問題
14. 13 Copyright（C） Nishika, Inc. All rights reserved. 結論 n「AIは芥川⿓之介を⾒分けられるか︖」コンペをやります nモデル、特徴量、ハイパーパラメタチューニングや不均衡データ対策をしていない状態で、それ なりに⾼い精度のモデルができた（できてしまった）。どこで⾒分けているかはまだ不明 n時代背景や作⾵を踏まえた特徴量を作れると⾯⽩いと感じた