Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
最先端NLP勉強会 “Learning Language Games through Inte...
Search
Yuya Unno
September 11, 2016
Technology
0
12
最先端NLP勉強会 “Learning Language Games through Interaction” @第8回最先端NLP勉強会
Yuya Unno
September 11, 2016
Tweet
Share
More Decks by Yuya Unno
See All by Yuya Unno
深層学習で切り拓くパーソナルロボットの未来 @東京大学 先端技術セミナー 工学最前線
unnonouno
0
17
深層学習時代の自然言語処理ビジネス @DLLAB 言語・音声ナイト
unnonouno
0
38
ベンチャー企業で言葉を扱うロボットの研究開発をする @東京大学 電子情報学特論I
unnonouno
0
31
PFNにおけるセミナー活動 @NLP2018 言語処理研究者・技術者の育成と未来への連携WS
unnonouno
0
9
進化するChainer @JSAI2017
unnonouno
0
17
予測型戦略を知るための機械学習チュートリアル @BigData Conference 2017 Spring
unnonouno
0
10
深層学習フレームワーク Chainerとその進化
unnonouno
0
16
深層学習による機械とのコミュニケーション @DeNA TechCon 2017
unnonouno
0
23
Chainer, Cupy⼊⾨ @Chainer meetup #3
unnonouno
0
15
Other Decks in Technology
See All in Technology
自律的なスケーリング手法FASTにおけるVPoEとしてのアカウンタビリティ / dev-productivity-con-2025
yoshikiiida
2
17k
United airlines®️ USA Contact Numbers: Complete 2025 Support Guide
unitedflyhelp
0
330
面倒な作業はAIにおまかせ。Flutter開発をスマートに効率化
ruideengineer
0
270
Lufthansa ®️ USA Contact Numbers: Complete 2025 Support Guide
lufthanahelpsupport
0
210
[ JAWS-UG千葉支部 x 彩の国埼玉支部 ]ムダ遣い卒業!FinOpsで始めるAWSコスト最適化の第一歩
sh_fk2
2
110
クラウド開発の舞台裏とSRE文化の醸成 / SRE NEXT 2025 Lunch Session
kazeburo
1
240
高速なプロダクト開発を実現、創業期から掲げるエンタープライズアーキテクチャ
kawauso
3
9.6k
ABEMAの本番環境負荷試験への挑戦
mk2taiga
3
130
Getting to Know Your Legacy (System) with AI-Driven Software Archeology (WeAreDevelopers World Congress 2025)
feststelltaste
1
160
AI エージェントと考え直すデータ基盤
na0
12
3.4k
Reach American Airlines®️ Instantly: 19 Calling Methods for Fast Support in the USA
flyamerican
1
170
ビジネス職が分析も担う事業部制組織でのデータ活用の仕組みづくり / Enabling Data Analytics in Business-Led Divisional Organizations
zaimy
0
130
Featured
See All Featured
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.4k
We Have a Design System, Now What?
morganepeng
53
7.7k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
2.9k
Making the Leap to Tech Lead
cromwellryan
134
9.4k
Designing for humans not robots
tammielis
253
25k
Build The Right Thing And Hit Your Dates
maggiecrowley
36
2.8k
Typedesign – Prime Four
hannesfritz
42
2.7k
The Language of Interfaces
destraynor
158
25k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
How to Ace a Technical Interview
jacobian
278
23k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
281
13k
Speed Design
sergeychernyshev
32
1k
Transcript
最先端NLP勉強会 “Learning Language Games through Interaction” Sida I. Wang, Percy
Liang, Christopher D. Manning (株)Preferred Networks 海野 裕也 2016/09/11 第8回最先端NLP勉強会
2 startからgoalになるような 「指⽰」を⾃由に書く
3 きっと茶⾊を消したんだろう
4 完全に無視!!
5 候補の中から正し い⾏動の結果を選 択
6 指⽰と操作のペアを学習
同じようにして何問か教える 7
8 さっき⾒たやつだ!
9 ちゃんと学習されてる!
概要 l ⾔語理解関わる⾔語ゲームを設計した l 理解を促進するための排他的な理解を⾏うため のモデルを提案実装した l クラウドワーカーに⾔語を教えるタスクをやっ てもらい、⾔語を教えてもらった l
どのように⼈間が教えるのかも含めて興味深い データを取った 10
所感 l 設計が優れている l ⾔語の理解に関わるタスクはbAbIなど⾮現実的な⽂ か、難しい「⼤⼈」の⽂が中⼼だった l 「簡単なタスク+⾃然な⽂」の設計にすることで、 現実的な⽂でありながら複雑な知識を利⽤しないタ スクができた
l ⾃⼰完結的である l これまでの、「まずデータを作る、そして問題を解 く」というタイプではなくて、「データを作りなが ら問題を解く」 l 学習する過程そのものに焦点があたっている 11
SHRDURNゲーム 12
変数 l 初期状態: s \in Y l ⽬的状態: t \in
Y (⼈間だけに⾒せる) l 指⽰: x (⼈間が出す e.g. “remove red”) l 候補: Z = [z 1 , …, z K ] K個提⽰ l 次状態: Y = [y 1 , …, y K ] ただし、y i = [z i ]s l ⼈間がy i を選択 13
Semantic parsing model l x(指⽰)からz(⾏動)の対応は対数線形モデ ル l 特徴(φ)はありがちなもの l 指⽰x中のn-gram(skip-gram含む)
l ⾏動z中のtree-gram 14
論理形式の⽣成 l p(z|x)に基づいてzを⽣成する必要がある l ⽂法規則を使って⽣成する l ビームサーチを利⽤する 15
学習 l AdaGradで最適化 16
排他的な理解のモデル化 l “remove red”のあとに、”remove cyan”が来る と、普通は両者は別の指⽰だと思う l 現状の、特徴ベースの学習の場合、類似の特徴 が発⽕するため両者を同じと判定してしまう l
「指⽰は排他的である」という判断ができるよ うにしたい 17
事前分布による排他性の実現 l Speaker(ユーザー)とListener(システム)の 発話xと理解zの事前分布を⼊れる l p(x)とp(z)のおかげで、各発⾔が別々の意味を 持つように、補正される l 雑な印象は受ける・・・ 18
事前分布がuniformだとしたときの効果の例 19 1になるよ う正規化 1になるよ う正規化
学習⽅法 20
実験⽅法 l Amazon Mechanical Turkで、100⼈に3ドルずつ l ゲームは5段階の難易度で、10タスクずつ l 100⼈全部で6時間しかかからなかった l
1⼈1時間程度 l 20⼈位は何したら良いのかわからなかった 21
⼈間の観察 l だいたい英語だが、⼈によってバリエーションが有る l 5⼈だけ、謎の⾔語を開発 l 別の⾔語の⼈も l 多くは、⼀貫性のある表現を使う(removeだけ使う、 など)
22
⾯⽩い例 23
まとめ 24