Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
R言語で「言語処理100本ノック 2020」/ NLP100 Rlang
Search
Shotaro Ishihara
May 17, 2020
Technology
0
2.3k
R言語で「言語処理100本ノック 2020」/ NLP100 Rlang
第85回R勉強会@東京(#TokyoR)でのLT資料
https://tokyor.connpass.com/event/176318/
Shotaro Ishihara
May 17, 2020
Tweet
Share
More Decks by Shotaro Ishihara
See All by Shotaro Ishihara
Web からのデータ収集と探究事例の紹介 / no94_jsai_seminar
upura
0
130
記者・編集者との協働:情報技術が変えるニュースメディア / Kaishi PU 2024
upura
0
70
ニュースメディアにおける生成 AI の活用と開発 / UTokyo Lecture Business Introduction
upura
0
240
マルチモーダル AI 実装の課題と解決策 / Developer X Summit
upura
0
270
ニュースメディアにおける事前学習済みモデルの可能性と課題 / IBIS2024
upura
3
810
「巨人の肩の上」で自作ライブラリを作る技術 / pyconjp2024
upura
3
1k
Quantifying Memorization and Detecting Training Data of Pre-trained Language Models using Japanese Newspaper
upura
0
66
第 2 部 11 章「大規模言語モデルの研究開発から実運用に向けて」に向けて / MLOps Book Chapter 11
upura
0
500
第19回YANSシンポジウムスポンサー資料 / yans2024-nikkei
upura
0
72
Other Decks in Technology
See All in Technology
PHPカンファレンス名古屋-テックリードの経験から学んだ設計の教訓
hayatokudou
2
530
AI Agent時代なのでAWSのLLMs.txtが欲しい!
watany
2
160
Amazon Aurora のバージョンアップ手法について
smt7174
1
110
依存パッケージの更新はコツコツが勝つコツ! / phpcon_nagoya2025
blue_goheimochi
3
200
EDRの検知の仕組みと検知回避について
chayakonanaika
8
4.2k
コンテナサプライチェーンセキュリティ
kyohmizu
1
130
OSS構成管理ツールCMDBuildを使ったAWSリソース管理の自動化
satorufunai
0
390
速くて安いWebサイトを作る
nishiharatsubasa
15
15k
LINEギフトにおけるバックエンド開発
lycorptech_jp
PRO
0
180
ソフトウェアエンジニアと仕事するときに知っておいたほうが良いこと / Key points for working with software engineers
pinkumohikan
1
140
PHPで印刷所に入稿できる名札データを作る / Generating Print-Ready Name Tag Data with PHP
tomzoh
0
180
脳波を用いた嗜好マッチングシステム
hokkey621
0
260
Featured
See All Featured
Mobile First: as difficult as doing things right
swwweet
223
9.4k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
Being A Developer After 40
akosma
89
590k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
59k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
4
420
Building Flexible Design Systems
yeseniaperezcruz
328
38k
Raft: Consensus for Rubyists
vanstee
137
6.8k
The Language of Interfaces
destraynor
156
24k
For a Future-Friendly Web
brad_frost
176
9.6k
Why You Should Never Use an ORM
jnunemaker
PRO
55
9.2k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
46
2.3k
Faster Mobile Websites
deanohume
306
31k
Transcript
R⾔語で「⾔語処理100本 ノック 2020」 u++ (@upura0) 第85回R勉強会@東京(#TokyoR) 2020年5⽉23⽇ 1
概要 4⽉に公開された「⾔語処理100本ノック 2020」の紹介 . 2015年からの5年ぶりの改訂の変更点は? . R⾔語で解いてみる $ whoamai Name:
u++ Job: Data Scientist Interest: Kaggle, NLP https://github.com/upura/nlp100v2020 2
⾔語処理100本ノック 東北⼤の乾・鈴⽊研が公開している⾔語処理研究の⼊⾨者向け教材 https://nlp100.github.io/ja/ 3
お品書き 第1章: 準備運動 第2章: UNIXコマンド 第3章: 正規表現 第4章: 形態素解析 第5章:
係り受け解析 第6章: 機械学習 第7章: 単語ベクトル 第8章: ニューラルネット 第9章: RNN,CNN 第10章: 機械翻訳 4
改訂の変更点 深層ニューラルネットワークに関する問題を追加 多⾔語対応 英語版の公開(39番まで翻訳完了) 旧第6章(英語テキストの処理)を英語版に移動 https://nlp100.github.io/ja/about.html 5
内容の⽐較 章 2020年版 2015年版との差異 1 準備運動 - 2 UNIXコマンド -
3 正規表現 - 4 形態素解析 - 5 係り受け解析 - 6
章 2020年版 2015年版との差異 6 機械学習 第8章から移動 7 単語ベクトル 第9, 10章から移動
8 ニューラルネット 9 RNN,CNN 10 機械翻訳 https://qiita.com/hi-asano/items/3c17943ce06f9999ec6f 7
所感 2018年に「BERT」が登場するなど、近年の⾔語処理を語る 上で⽋かせない深層ニューラルネットワークの問題を新設 ⼀⽅でニューラルネットの実装や計算量の都合で、R⾔語だと 厳しそうな場⾯も・・・ 8
R⾔語で解いてみる https://nlp100.github.io/ja/ch01.html 9
おわりに 4⽉に公開された「⾔語処理100本ノック 2020」の紹介 . 2015年からの5年ぶりの改訂の変更点は? . R⾔語で解いてみる https://www.kaggle.com/sishihara/nlp100-rlang-sample 10