Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
最先端NLP勉強会 “Learning Language Games through Inte...
Search
Yuya Unno
September 11, 2016
Technology
0
10
最先端NLP勉強会 “Learning Language Games through Interaction” @第8回最先端NLP勉強会
Yuya Unno
September 11, 2016
Tweet
Share
More Decks by Yuya Unno
See All by Yuya Unno
深層学習で切り拓くパーソナルロボットの未来 @東京大学 先端技術セミナー 工学最前線
unnonouno
0
12
深層学習時代の自然言語処理ビジネス @DLLAB 言語・音声ナイト
unnonouno
0
34
ベンチャー企業で言葉を扱うロボットの研究開発をする @東京大学 電子情報学特論I
unnonouno
0
24
PFNにおけるセミナー活動 @NLP2018 言語処理研究者・技術者の育成と未来への連携WS
unnonouno
0
7
進化するChainer @JSAI2017
unnonouno
0
11
予測型戦略を知るための機械学習チュートリアル @BigData Conference 2017 Spring
unnonouno
0
5
深層学習フレームワーク Chainerとその進化
unnonouno
0
13
深層学習による機械とのコミュニケーション @DeNA TechCon 2017
unnonouno
0
21
Chainer, Cupy⼊⾨ @Chainer meetup #3
unnonouno
0
11
Other Decks in Technology
See All in Technology
[JAWS-UG金沢支部×コンテナ支部合同企画]コンテナとは何か
furuton
3
330
AWS CDKでデータリストアの運用、どのように設計する?~Aurora・EFSの実践事例を紹介~/aws-cdk-data-restore-aurora-efs
mhrtech
4
840
福岡新卒エンジニアの会
teba_eleven
1
170
TinyGoを使ったVSCode拡張機能実装
askua
2
190
RAGのためのビジネス文書解析技術
eida
3
550
一休.comレストランにおけるRustの活用
kymmt90
3
650
Gradle: The Build System That Loves To Hate You
aurimas
2
180
"君は見ているが観察していない"で考えるインシデントマネジメント
grimoh
4
910
Intuneお役立ちツールのご紹介
sukank
3
660
Microsoft Intune アプリのトラブルシューティング
sophiakunii
1
340
形式手法の 10 メートル手前 #kernelvm / Kernel VM Study Hokuriku Part 7
ytaka23
5
600
AWS re:Invent 2024 Kansai Standby
hiroramos4
PRO
0
140
Featured
See All Featured
Dealing with People You Can't Stand - Big Design 2015
cassininazir
364
23k
How GitHub (no longer) Works
holman
310
140k
Designing the Hi-DPI Web
ddemaree
280
34k
Designing Experiences People Love
moore
138
23k
Agile that works and the tools we love
rasmusluckow
327
21k
Bootstrapping a Software Product
garrettdimon
PRO
305
110k
Building a Scalable Design System with Sketch
lauravandoore
459
33k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
15
2k
Why Our Code Smells
bkeepers
PRO
334
57k
Adopting Sorbet at Scale
ufuk
73
9.1k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
250
21k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
4
350
Transcript
最先端NLP勉強会 “Learning Language Games through Interaction” Sida I. Wang, Percy
Liang, Christopher D. Manning (株)Preferred Networks 海野 裕也 2016/09/11 第8回最先端NLP勉強会
2 startからgoalになるような 「指⽰」を⾃由に書く
3 きっと茶⾊を消したんだろう
4 完全に無視!!
5 候補の中から正し い⾏動の結果を選 択
6 指⽰と操作のペアを学習
同じようにして何問か教える 7
8 さっき⾒たやつだ!
9 ちゃんと学習されてる!
概要 l ⾔語理解関わる⾔語ゲームを設計した l 理解を促進するための排他的な理解を⾏うため のモデルを提案実装した l クラウドワーカーに⾔語を教えるタスクをやっ てもらい、⾔語を教えてもらった l
どのように⼈間が教えるのかも含めて興味深い データを取った 10
所感 l 設計が優れている l ⾔語の理解に関わるタスクはbAbIなど⾮現実的な⽂ か、難しい「⼤⼈」の⽂が中⼼だった l 「簡単なタスク+⾃然な⽂」の設計にすることで、 現実的な⽂でありながら複雑な知識を利⽤しないタ スクができた
l ⾃⼰完結的である l これまでの、「まずデータを作る、そして問題を解 く」というタイプではなくて、「データを作りなが ら問題を解く」 l 学習する過程そのものに焦点があたっている 11
SHRDURNゲーム 12
変数 l 初期状態: s \in Y l ⽬的状態: t \in
Y (⼈間だけに⾒せる) l 指⽰: x (⼈間が出す e.g. “remove red”) l 候補: Z = [z 1 , …, z K ] K個提⽰ l 次状態: Y = [y 1 , …, y K ] ただし、y i = [z i ]s l ⼈間がy i を選択 13
Semantic parsing model l x(指⽰)からz(⾏動)の対応は対数線形モデ ル l 特徴(φ)はありがちなもの l 指⽰x中のn-gram(skip-gram含む)
l ⾏動z中のtree-gram 14
論理形式の⽣成 l p(z|x)に基づいてzを⽣成する必要がある l ⽂法規則を使って⽣成する l ビームサーチを利⽤する 15
学習 l AdaGradで最適化 16
排他的な理解のモデル化 l “remove red”のあとに、”remove cyan”が来る と、普通は両者は別の指⽰だと思う l 現状の、特徴ベースの学習の場合、類似の特徴 が発⽕するため両者を同じと判定してしまう l
「指⽰は排他的である」という判断ができるよ うにしたい 17
事前分布による排他性の実現 l Speaker(ユーザー)とListener(システム)の 発話xと理解zの事前分布を⼊れる l p(x)とp(z)のおかげで、各発⾔が別々の意味を 持つように、補正される l 雑な印象は受ける・・・ 18
事前分布がuniformだとしたときの効果の例 19 1になるよ う正規化 1になるよ う正規化
学習⽅法 20
実験⽅法 l Amazon Mechanical Turkで、100⼈に3ドルずつ l ゲームは5段階の難易度で、10タスクずつ l 100⼈全部で6時間しかかからなかった l
1⼈1時間程度 l 20⼈位は何したら良いのかわからなかった 21
⼈間の観察 l だいたい英語だが、⼈によってバリエーションが有る l 5⼈だけ、謎の⾔語を開発 l 別の⾔語の⼈も l 多くは、⼀貫性のある表現を使う(removeだけ使う、 など)
22
⾯⽩い例 23
まとめ 24