R言語で「言語処理100本ノック 2020」/ NLP100 Rlang

Transcript

1. R⾔語で「⾔語処理100本 ノック 2020」 u++ (@upura0) 第85回R勉強会@東京（#TokyoR） 2020年5⽉23⽇ 1

2. 概要 4⽉に公開された「⾔語処理100本ノック 2020」の紹介 . 2015年からの5年ぶりの改訂の変更点は？ . R⾔語で解いてみる $ whoamai Name:

   u++ Job: Data Scientist Interest: Kaggle, NLP https://github.com/upura/nlp100v2020 2

3. ⾔語処理100本ノック 東北⼤の乾・鈴⽊研が公開している⾔語処理研究の⼊⾨者向け教材 https://nlp100.github.io/ja/ 3

4. お品書き 第1章: 準備運動 第2章: UNIXコマンド 第3章: 正規表現 第4章: 形態素解析 第5章:

   係り受け解析 第6章: 機械学習 第7章: 単語ベクトル 第8章: ニューラルネット 第9章: RNN,CNN 第10章: 機械翻訳 4

5. 改訂の変更点 深層ニューラルネットワークに関する問題を追加 多⾔語対応 英語版の公開（39番まで翻訳完了） 旧第6章（英語テキストの処理）を英語版に移動 https://nlp100.github.io/ja/about.html 5

6. 内容の⽐較 章 2020年版 2015年版との差異 1 準備運動 - 2 UNIXコマンド -

   3 正規表現 - 4 形態素解析 - 5 係り受け解析 - 6

7. 章 2020年版 2015年版との差異 6 機械学習 第8章から移動 7 単語ベクトル 第9, 10章から移動

   8 ニューラルネット 9 RNN,CNN 10 機械翻訳 https://qiita.com/hi-asano/items/3c17943ce06f9999ec6f 7

8. 所感 2018年に「BERT」が登場するなど、近年の⾔語処理を語る 上で⽋かせない深層ニューラルネットワークの問題を新設 ⼀⽅でニューラルネットの実装や計算量の都合で、R⾔語だと 厳しそうな場⾯も・・・ 8

9. R⾔語で解いてみる https://nlp100.github.io/ja/ch01.html 9

10. おわりに 4⽉に公開された「⾔語処理100本ノック 2020」の紹介 . 2015年からの5年ぶりの改訂の変更点は？ . R⾔語で解いてみる https://www.kaggle.com/sishihara/nlp100-rlang-sample 10