Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
最先端NLP勉強会 “Learning Language Games through Inte...
Search
Yuya Unno
September 11, 2016
Technology
0
12
最先端NLP勉強会 “Learning Language Games through Interaction” @第8回最先端NLP勉強会
Yuya Unno
September 11, 2016
Tweet
Share
More Decks by Yuya Unno
See All by Yuya Unno
深層学習で切り拓くパーソナルロボットの未来 @東京大学 先端技術セミナー 工学最前線
unnonouno
0
17
深層学習時代の自然言語処理ビジネス @DLLAB 言語・音声ナイト
unnonouno
0
38
ベンチャー企業で言葉を扱うロボットの研究開発をする @東京大学 電子情報学特論I
unnonouno
0
34
PFNにおけるセミナー活動 @NLP2018 言語処理研究者・技術者の育成と未来への連携WS
unnonouno
0
9
進化するChainer @JSAI2017
unnonouno
0
17
予測型戦略を知るための機械学習チュートリアル @BigData Conference 2017 Spring
unnonouno
0
11
深層学習フレームワーク Chainerとその進化
unnonouno
0
16
深層学習による機械とのコミュニケーション @DeNA TechCon 2017
unnonouno
0
24
Chainer, Cupy⼊⾨ @Chainer meetup #3
unnonouno
0
15
Other Decks in Technology
See All in Technology
Django's GeneratedField by example - DjangoCon US 2025
pauloxnet
0
150
Autonomous Database - Dedicated 技術詳細 / adb-d_technical_detail_jp
oracle4engineer
PRO
4
10k
会社紹介資料 / Sansan Company Profile
sansan33
PRO
6
380k
react-callを使ってダイヤログをいろんなとこで再利用しよう!
shinaps
1
240
Evolución del razonamiento matemático de GPT-4.1 a GPT-5 - Data Aventura Summit 2025 & VSCode DevDays
lauchacarro
0
190
dbt開発 with Claude Codeのためのガードレール設計
10xinc
2
1.2k
新アイテムをどう使っていくか?みんなであーだこーだ言ってみよう / 20250911-rpi-jam-tokyo
akkiesoft
0
260
EncryptedSharedPreferences が deprecated になっちゃった!どうしよう! / Oh no! EncryptedSharedPreferences has been deprecated! What should I do?
yanzm
0
350
Terraformで構築する セルフサービス型データプラットフォーム / terraform-self-service-data-platform
pei0804
1
180
サラリーマンの小遣いで作るtoCサービス - Cloudflare Workersでスケールする開発戦略
shinaps
2
450
2つのフロントエンドと状態管理
mixi_engineers
PRO
3
110
Practical Agentic AI in Software Engineering
uzyn
0
110
Featured
See All Featured
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
252
21k
Done Done
chrislema
185
16k
How to Think Like a Performance Engineer
csswizardry
26
1.9k
The Power of CSS Pseudo Elements
geoffreycrofte
77
6k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Optimising Largest Contentful Paint
csswizardry
37
3.4k
A Modern Web Designer's Workflow
chriscoyier
696
190k
RailsConf 2023
tenderlove
30
1.2k
We Have a Design System, Now What?
morganepeng
53
7.8k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
27k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
Music & Morning Musume
bryan
46
6.8k
Transcript
最先端NLP勉強会 “Learning Language Games through Interaction” Sida I. Wang, Percy
Liang, Christopher D. Manning (株)Preferred Networks 海野 裕也 2016/09/11 第8回最先端NLP勉強会
2 startからgoalになるような 「指⽰」を⾃由に書く
3 きっと茶⾊を消したんだろう
4 完全に無視!!
5 候補の中から正し い⾏動の結果を選 択
6 指⽰と操作のペアを学習
同じようにして何問か教える 7
8 さっき⾒たやつだ!
9 ちゃんと学習されてる!
概要 l ⾔語理解関わる⾔語ゲームを設計した l 理解を促進するための排他的な理解を⾏うため のモデルを提案実装した l クラウドワーカーに⾔語を教えるタスクをやっ てもらい、⾔語を教えてもらった l
どのように⼈間が教えるのかも含めて興味深い データを取った 10
所感 l 設計が優れている l ⾔語の理解に関わるタスクはbAbIなど⾮現実的な⽂ か、難しい「⼤⼈」の⽂が中⼼だった l 「簡単なタスク+⾃然な⽂」の設計にすることで、 現実的な⽂でありながら複雑な知識を利⽤しないタ スクができた
l ⾃⼰完結的である l これまでの、「まずデータを作る、そして問題を解 く」というタイプではなくて、「データを作りなが ら問題を解く」 l 学習する過程そのものに焦点があたっている 11
SHRDURNゲーム 12
変数 l 初期状態: s \in Y l ⽬的状態: t \in
Y (⼈間だけに⾒せる) l 指⽰: x (⼈間が出す e.g. “remove red”) l 候補: Z = [z 1 , …, z K ] K個提⽰ l 次状態: Y = [y 1 , …, y K ] ただし、y i = [z i ]s l ⼈間がy i を選択 13
Semantic parsing model l x(指⽰)からz(⾏動)の対応は対数線形モデ ル l 特徴(φ)はありがちなもの l 指⽰x中のn-gram(skip-gram含む)
l ⾏動z中のtree-gram 14
論理形式の⽣成 l p(z|x)に基づいてzを⽣成する必要がある l ⽂法規則を使って⽣成する l ビームサーチを利⽤する 15
学習 l AdaGradで最適化 16
排他的な理解のモデル化 l “remove red”のあとに、”remove cyan”が来る と、普通は両者は別の指⽰だと思う l 現状の、特徴ベースの学習の場合、類似の特徴 が発⽕するため両者を同じと判定してしまう l
「指⽰は排他的である」という判断ができるよ うにしたい 17
事前分布による排他性の実現 l Speaker(ユーザー)とListener(システム)の 発話xと理解zの事前分布を⼊れる l p(x)とp(z)のおかげで、各発⾔が別々の意味を 持つように、補正される l 雑な印象は受ける・・・ 18
事前分布がuniformだとしたときの効果の例 19 1になるよ う正規化 1になるよ う正規化
学習⽅法 20
実験⽅法 l Amazon Mechanical Turkで、100⼈に3ドルずつ l ゲームは5段階の難易度で、10タスクずつ l 100⼈全部で6時間しかかからなかった l
1⼈1時間程度 l 20⼈位は何したら良いのかわからなかった 21
⼈間の観察 l だいたい英語だが、⼈によってバリエーションが有る l 5⼈だけ、謎の⾔語を開発 l 別の⾔語の⼈も l 多くは、⼀貫性のある表現を使う(removeだけ使う、 など)
22
⾯⽩い例 23
まとめ 24