ツイートを分類する ウェブアプリ作る

2021/2/25 コネヒトマルシェオンライン「機械学習・データ分析」
https://connehito.connpass.com/event/202106/

紹介したブログ記事
https://deepblue-ts.co.jp/nlp/text_classification/
https://deepblue-ts.co.jp/nlp/text_classification2/

Transcript

1. 2021/02/25 コネヒトマルシェオンライン「機械学習・データ分析」 髙橋華江（株式会社Truestar / Deepblue） ツイートを分類する ウェブアプリ作る
2. 自己紹介 • 2019 生態学で博士（理学）取得 • 2021 deepblueに入社しPythonと機械学習入門を始める • リモート下の新入社員としてどうやって勉強しようかなと 思っている • 自分で何か作るのがいいらしい……
3. 自然言語処理 楽しい 結果が目に 見えやすいとこ好きだ 言語処理100本ノックで 最初は迷わずスタート できるところもいい 組み合わす ツイートを分類する ウェブアプリを作ろう
5. deepblue ブログ［検索］
6. 手順と使った技術 • データ収集 (Twitter) • 前処理・LSTMモデル (torchtext, pytorch) • デプロイ (FastAPI, Google App Engine) 本日は各々の説明より 初心者にはここがよかったの話 と 大変だったの話を
7. データ収集 概要 • 「ラーメン」を含むツイートを札幌と福岡近辺から それぞれ2週間分取得 （14000件） • 短文なのでなにかと扱いやすい • APIを叩く勉強になった • 絵文字やURLを除去するためのライブラリが使えた（tweetl） • いいモデルを組めそうなテーマを決めるまで結構悩んだ （おせちなども試した）
8. 前処理・LSTMモデル 概要 • Janomeで分かち書きしてfastTextで埋め込み表現をして双方向LSTM • ちなみにaccurancyは0.7くらいになった • Kaggleのコードはすぐ動くしノートブックが丁寧だし参考になった • テストデータの推測ラベルと推測した文章を比較しようと思ったら やっている人が見当たらず、途端にtorchtextの中身の勉強が 必要になった（ので結果的にはよかった）
9. デプロイ 概要 • FastAPIを使ってGoogle App Engine (GAE)でデプロイ • 自動ドキュメント生成機能が初心者にこそ嬉しい • Flaskと比較して資料が少ない • 周りに質問できる人がいない • GAEについては正直今もよくわかっておらず GitHubで検索かけまくり類似コードを探した
10. まとめと今後 • deepblue ブログ［検索］ • 教科書的本+言語処理100本ノック →Twitterを利用した言語処理モデル制作 →デプロイ で流れを一通り勉強した感じになってよかった • 「駆け込み寺」的な社内スレッドはありがたかった • 一方で情報を得る場所（Kaggle, GitHubなど）の情報が欲しかった • ↑こうして勉強するといいぞ！って方法あったらぜひ教えてください • 今後はこれを足がかりに様々な自然言語処理モデルのことを もうちょっと深堀りしていけるかも