Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
論文紹介/Expectations over Unspoken Alternatives Pr...
Search
Masato Mita
August 20, 2024
Research
1
320
論文紹介/Expectations over Unspoken Alternatives Predict Pragmatic Inferences
Masato Mita
August 20, 2024
Tweet
Share
More Decks by Masato Mita
See All by Masato Mita
国際会議ACL2024参加報告
chemical_tree
1
430
広告文生成タスクの規定とベンチマーク構築(NLP2023)
chemical_tree
0
490
論述リビジョンのためのメタ評価基盤
chemical_tree
0
350
ライティング支援のための文法誤り訂正
chemical_tree
2
1.8k
Other Decks in Research
See All in Research
論文紹介: COSMO: A Large-Scale E-commerce Common Sense Knowledge Generation and Serving System at Amazon (SIGMOD 2024)
ynakano
1
380
地理空間情報と自然言語処理:「地球の歩き方旅行記データセット」の高付加価値化を通じて
hiroki13
1
190
20241115都市交通決起集会 趣旨説明・熊本事例紹介
trafficbrain
0
990
VisFocus: Prompt-Guided Vision Encoders for OCR-Free Dense Document Understanding
sansan_randd
1
460
第79回 産総研人工知能セミナー 発表資料
agiats
3
200
情報処理学会関西支部2024年度定期講演会「自然言語処理と大規模言語モデルの基礎」
ksudoh
10
2.5k
Prithvi-EO-2.0: A Versatile Multi-Temporal Foundation Model for Earth Observation Applications
satai
2
150
セミコン地域における総合交通戦略
trafficbrain
0
110
複数データセットを用いた動作認識
yuyay
0
110
Neural Fieldの紹介
nnchiba
2
670
ナレッジプロデューサーとしてのミドルマネージャー支援 - MIMIGURI「知識創造室」の事例の考察 -
chiemitaki
0
220
The Economics of Platforms 輪読会 第1章
tomonatu8
0
140
Featured
See All Featured
The Power of CSS Pseudo Elements
geoffreycrofte
75
5.5k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.1k
Bash Introduction
62gerente
611
210k
Facilitating Awesome Meetings
lara
52
6.2k
Docker and Python
trallard
44
3.3k
What's in a price? How to price your products and services
michaelherold
244
12k
Stop Working from a Prison Cell
hatefulcrawdad
267
20k
Building a Scalable Design System with Sketch
lauravandoore
461
33k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
330
21k
4 Signs Your Business is Dying
shpigford
182
22k
A Philosophy of Restraint
colly
203
16k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
226
22k
Transcript
Expectations over Unspoken Alternatives Predict Pragmatic Inferences 1 2024-08-26, 第16回最先端NLP勉強会
Jennifer Hu, Roger Levy, Judith Degen, Sebastian Schuster (TACL 2023) 読み手: 三田雅人(CyberAgent)
スカラー推論( Scalar Inference;SI) • 話し手が言わなかった「暗黙の代替案」に関する語用論的推論 2 “Some of the students
passed the exam” 学生の全員は試験に合格していないんだな
グライスの発話含意理論 (論文に書いていない補足) • 語用論的推論は, 話し手と聞き手が協調性原理(coorporation principle)に則って会話するも のであるという仮定(格率に従う=協調性原理に従う) • この仮定を保つために, しばしば言語表現が意味すること以上のことを
, 聞き手が理解する必 要がある 3 [須藤’17]より 新グライス主義的SIの分析の例
SI率はスケール内( Within-scale)で変動する 4 Within-scale From [Degan’15]
SI率はスケール横断( Cross-scale)でも変動する 5 Within-scale Cross-scale From [Degan’15] From [van Tiel+’16]
問い 6 1. SIのスケール内/横断におけるばらつきの要因は何? e.g.) “The movie was good” →
The movie was not amazing. or The movie was not very good. 2. 聞き手は代替案に対して, 言語形式 or 概念レベルで推論するのか?
まとめ • 目的 ◦ 人間のスカラー推論(SI)に関する定量的・統一的な説明 の提供 • 方法論 ◦ 代替案に対する期待値ベースの説明
による形式化 ◦ 言語モデルに基づく文字列/概念ベースの説明モデルを提案し, どのく らい人間のSIを説明できるか調査 • 知見 ◦ SI率のばらつきは代替案に対する期待値によって捉えられる ◦ 人間のSIは表層レベルよりも概念レベルで行われる 7
期待値に基づく SIの説明 SIは文脈駆動な期待値に基づく代替案の可用性に依存する [Degan&Tanehas, 2015] 8 仮説 “Some of the
students passed the exam”
期待値に基づく SIの説明 SIは文脈駆動な期待値に基づく代替案の可用性に依存する [Degan&Tanehas, 2015] 9 仮説 “Some of the
students passed the exam”
期待値に基づく SIの説明 SIは文脈駆動な期待値に基づく代替案の可用性に依存する [Degan&Tanehas, 2015] 10 仮説 “Some of the
students passed the exam” Not all students passed the exam 話者が強い意味を伝えるために [STRONG]と言った可能性が高いのであれば, [WEAK]と発話する話者の選択は[STRONG]と言う根拠がなかったことを示唆 ➔ SIが生じる可能性が高くなるはず
代替案に対する「期待値」の測り方 11 • “X, but not Y” という構造における確率を測定することにより , スカラー関係に関する期待値を推定
• 言語モデルを使って人間の予測分布を近似する [CONTEXT] [WEAK], but not [STRONG], [CONTEXT]
代替案に対する「期待値」の測り方 12 • “X, but not Y” という構造における確率を測定することにより , スカラー関係に関する期待値を推定
• 言語モデルを使って人間の予測分布を近似する surprisalは意外性を測定するため , SI率と[STRONG]のsurprisalの間には負の関係 [CONTEXT] [WEAK], but not [STRONG], [CONTEXT]
代替案に対する「期待値」の測り方 13 • “X, but not Y” という構造における確率を測定することにより , スカラー関係に関する期待値を推定
• 言語モデルを使って人間の予測分布を近似する 文字列ベースのsurprisalは, その根底にある概念 の予測可能性を捉えられないかも? [CONTEXT] [WEAK], but not [STRONG], [CONTEXT]
代替案に対する「期待値」の測り方 14 • “X, but not Y” という構造における確率を測定することにより , スカラー関係に関する期待値を推定
• 言語モデルを使って人間の予測分布を近似する [CONTEXT] [WEAK], but not [STRONG], [CONTEXT] 概念的に類似した代替案で , surprisalが低いものが 多数ある場合, 仮に評価されたscalemateの surprisalが高くても, 加重平均は低くなる
Within-scale(<some, all> )のばらつきの説明 • Human SI strength ratings [Dagan, 2015]
◦ 1363 unique contexts for <some,all> scale • モデル: GPT-2 • 代替候補={every, few, half, much, many, most, all} 15 文の類似度を1-7で評価(数値が高いほど SIも高い)
Within-scale(<some, all> )のばらつきの説明 16
Cross-scaleのばらつきの説明 • Human SI strengths from 4 datasets [Ronai&Xiang’22, Pankarts&van
Tiel`21, Gotzner+’18, van Tiel+’16] ◦ 148 unique scale <WEAK,STRONG> • モデル: BERT • 代替候補:[WEAK]と同じ品詞を持つ単語(WordNet+NLTK + 頻度フィルター w/ OpenSubtitles[Lison&Tiedemann’16]) ◦ 形容詞1000語, 副詞960語, 動詞224語 17
Cross-scaleのばらつきの説明 18
まとめ • 目的 ◦ 人間のスカラー推論(SI)に関する定量的・統一的な説明 の提供 • 方法論 ◦ 代替案に対する期待値ベースの説明
による形式化 ◦ 言語モデルに基づく文字列/概念ベースの説明モデルを提案し, どのく らい人間のSIを説明できるか調査 • 知見 ◦ SI率のばらつきは代替案に対する期待値によって捉えられる ◦ 人間のSIは表層レベルよりも概念レベルで行われる 19