Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
最先端NLP勉強会 “Learning Language Games through Inte...
Search
Yuya Unno
September 11, 2016
Technology
0
12
最先端NLP勉強会 “Learning Language Games through Interaction” @第8回最先端NLP勉強会
Yuya Unno
September 11, 2016
Tweet
Share
More Decks by Yuya Unno
See All by Yuya Unno
深層学習で切り拓くパーソナルロボットの未来 @東京大学 先端技術セミナー 工学最前線
unnonouno
0
18
深層学習時代の自然言語処理ビジネス @DLLAB 言語・音声ナイト
unnonouno
0
38
ベンチャー企業で言葉を扱うロボットの研究開発をする @東京大学 電子情報学特論I
unnonouno
0
34
PFNにおけるセミナー活動 @NLP2018 言語処理研究者・技術者の育成と未来への連携WS
unnonouno
0
9
進化するChainer @JSAI2017
unnonouno
0
18
予測型戦略を知るための機械学習チュートリアル @BigData Conference 2017 Spring
unnonouno
0
13
深層学習フレームワーク Chainerとその進化
unnonouno
0
16
深層学習による機械とのコミュニケーション @DeNA TechCon 2017
unnonouno
0
25
Chainer, Cupy⼊⾨ @Chainer meetup #3
unnonouno
0
15
Other Decks in Technology
See All in Technology
Where will it converge?
ibknadedeji
0
200
Function calling機能をPLaMo2に実装するには / PFN LLMセミナー
pfn
PRO
0
990
そのWAFのブロック、どう活かす? サービスを守るための実践的多層防御と思考法 / WAF blocks defense decision
kaminashi
0
110
Why Governance Matters: The Key to Reducing Risk Without Slowing Down
sarahjwells
0
120
職種別ミートアップで社内から盛り上げる アウトプット文化の醸成と関係強化/ #DevRelKaigi
nishiuma
2
160
AIツールでどこまでデザインを忠実に実装できるのか
oikon48
6
2.9k
Modern_Data_Stack最新動向クイズ_買収_AI_激動の2025年_.pdf
sagara
0
230
AI ReadyなData PlatformとしてのAutonomous Databaseアップデート
oracle4engineer
PRO
0
230
【Oracle Cloud ウェビナー】クラウド導入に「専用クラウド」という選択肢、Oracle AlloyとOCI Dedicated Region とは
oracle4engineer
PRO
3
120
10年の共創が示す、これからの開発者と企業の関係 ~ Crossroad
soracom
PRO
1
640
KMP の Swift export
kokihirokawa
0
340
研究開発部メンバーの働き⽅ / Sansan R&D Profile
sansan33
PRO
3
20k
Featured
See All Featured
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
52
5.6k
Music & Morning Musume
bryan
46
6.8k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
6.1k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
132
19k
What's in a price? How to price your products and services
michaelherold
246
12k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
32
2.3k
Reflections from 52 weeks, 52 projects
jeffersonlam
352
21k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
358
30k
How To Stay Up To Date on Web Technology
chriscoyier
791
250k
Building a Modern Day E-commerce SEO Strategy
aleyda
43
7.7k
Testing 201, or: Great Expectations
jmmastey
45
7.7k
Making Projects Easy
brettharned
119
6.4k
Transcript
最先端NLP勉強会 “Learning Language Games through Interaction” Sida I. Wang, Percy
Liang, Christopher D. Manning (株)Preferred Networks 海野 裕也 2016/09/11 第8回最先端NLP勉強会
2 startからgoalになるような 「指⽰」を⾃由に書く
3 きっと茶⾊を消したんだろう
4 完全に無視!!
5 候補の中から正し い⾏動の結果を選 択
6 指⽰と操作のペアを学習
同じようにして何問か教える 7
8 さっき⾒たやつだ!
9 ちゃんと学習されてる!
概要 l ⾔語理解関わる⾔語ゲームを設計した l 理解を促進するための排他的な理解を⾏うため のモデルを提案実装した l クラウドワーカーに⾔語を教えるタスクをやっ てもらい、⾔語を教えてもらった l
どのように⼈間が教えるのかも含めて興味深い データを取った 10
所感 l 設計が優れている l ⾔語の理解に関わるタスクはbAbIなど⾮現実的な⽂ か、難しい「⼤⼈」の⽂が中⼼だった l 「簡単なタスク+⾃然な⽂」の設計にすることで、 現実的な⽂でありながら複雑な知識を利⽤しないタ スクができた
l ⾃⼰完結的である l これまでの、「まずデータを作る、そして問題を解 く」というタイプではなくて、「データを作りなが ら問題を解く」 l 学習する過程そのものに焦点があたっている 11
SHRDURNゲーム 12
変数 l 初期状態: s \in Y l ⽬的状態: t \in
Y (⼈間だけに⾒せる) l 指⽰: x (⼈間が出す e.g. “remove red”) l 候補: Z = [z 1 , …, z K ] K個提⽰ l 次状態: Y = [y 1 , …, y K ] ただし、y i = [z i ]s l ⼈間がy i を選択 13
Semantic parsing model l x(指⽰)からz(⾏動)の対応は対数線形モデ ル l 特徴(φ)はありがちなもの l 指⽰x中のn-gram(skip-gram含む)
l ⾏動z中のtree-gram 14
論理形式の⽣成 l p(z|x)に基づいてzを⽣成する必要がある l ⽂法規則を使って⽣成する l ビームサーチを利⽤する 15
学習 l AdaGradで最適化 16
排他的な理解のモデル化 l “remove red”のあとに、”remove cyan”が来る と、普通は両者は別の指⽰だと思う l 現状の、特徴ベースの学習の場合、類似の特徴 が発⽕するため両者を同じと判定してしまう l
「指⽰は排他的である」という判断ができるよ うにしたい 17
事前分布による排他性の実現 l Speaker(ユーザー)とListener(システム)の 発話xと理解zの事前分布を⼊れる l p(x)とp(z)のおかげで、各発⾔が別々の意味を 持つように、補正される l 雑な印象は受ける・・・ 18
事前分布がuniformだとしたときの効果の例 19 1になるよ う正規化 1になるよ う正規化
学習⽅法 20
実験⽅法 l Amazon Mechanical Turkで、100⼈に3ドルずつ l ゲームは5段階の難易度で、10タスクずつ l 100⼈全部で6時間しかかからなかった l
1⼈1時間程度 l 20⼈位は何したら良いのかわからなかった 21
⼈間の観察 l だいたい英語だが、⼈によってバリエーションが有る l 5⼈だけ、謎の⾔語を開発 l 別の⾔語の⼈も l 多くは、⼀貫性のある表現を使う(removeだけ使う、 など)
22
⾯⽩い例 23
まとめ 24