Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
論文紹介/Expectations over Unspoken Alternatives Pr...
Search
Masato Mita
August 20, 2024
Research
2
420
論文紹介/Expectations over Unspoken Alternatives Predict Pragmatic Inferences
Masato Mita
August 20, 2024
Tweet
Share
More Decks by Masato Mita
See All by Masato Mita
心理言語学の視点から再考する言語モデルの学習過程
chemical_tree
2
560
作業記憶の発達的特性が言語獲得の臨界期を形成する(NLP2025)
chemical_tree
2
640
国際会議ACL2024参加報告
chemical_tree
1
590
広告文生成タスクの規定とベンチマーク構築(NLP2023)
chemical_tree
0
550
論述リビジョンのためのメタ評価基盤
chemical_tree
0
370
ライティング支援のための文法誤り訂正
chemical_tree
2
1.8k
Other Decks in Research
See All in Research
電通総研の生成AI・エージェントの取り組みエンジニアリング業務向けAI活用事例紹介
isidaitc
1
910
Large Language Model Agent: A Survey on Methodology, Applications and Challenges
shunk031
14
9.8k
論文読み会 SNLP2025 Learning Dynamics of LLM Finetuning. In: ICLR 2025
s_mizuki_nlp
0
180
EcoWikiRS: Learning Ecological Representation of Satellite Images from Weak Supervision with Species Observation and Wikipedia
satai
3
110
一人称視点映像解析の最先端(MIRU2025 チュートリアル)
takumayagi
6
3.4k
Combinatorial Search with Generators
kei18
0
690
SSII2025 [TS2] リモートセンシング画像処理の最前線
ssii
PRO
7
3.1k
多言語カスタマーインタビューの“壁”を越える~PMと生成AIの共創~ 株式会社ジグザグ 松野 亘
watarumatsuno
0
120
snlp2025_prevent_llm_spikes
takase
0
150
単施設でできる臨床研究の考え方
shuntaros
0
2.6k
在庫管理のための機械学習と最適化の融合
mickey_kubo
3
1.1k
EarthSynth: Generating Informative Earth Observation with Diffusion Models
satai
3
240
Featured
See All Featured
Statistics for Hackers
jakevdp
799
220k
The Straight Up "How To Draw Better" Workshop
denniskardys
236
140k
Automating Front-end Workflow
addyosmani
1370
200k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
21k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
8
510
Git: the NoSQL Database
bkeepers
PRO
431
66k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
830
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
Making the Leap to Tech Lead
cromwellryan
134
9.5k
The Pragmatic Product Professional
lauravandoore
36
6.8k
The Power of CSS Pseudo Elements
geoffreycrofte
77
5.9k
BBQ
matthewcrist
89
9.8k
Transcript
Expectations over Unspoken Alternatives Predict Pragmatic Inferences 1 2024-08-26, 第16回最先端NLP勉強会
Jennifer Hu, Roger Levy, Judith Degen, Sebastian Schuster (TACL 2023) 読み手: 三田雅人(CyberAgent)
スカラー推論( Scalar Inference;SI) • 話し手が言わなかった「暗黙の代替案」に関する語用論的推論 2 “Some of the students
passed the exam” 学生の全員は試験に合格していないんだな
グライスの発話含意理論 (論文に書いていない補足) • 語用論的推論は, 話し手と聞き手が協調性原理(coorporation principle)に則って会話するも のであるという仮定(格率に従う=協調性原理に従う) • この仮定を保つために, しばしば言語表現が意味すること以上のことを
, 聞き手が理解する必 要がある 3 [須藤’17]より 新グライス主義的SIの分析の例
SI率はスケール内( Within-scale)で変動する 4 Within-scale From [Degan’15]
SI率はスケール横断( Cross-scale)でも変動する 5 Within-scale Cross-scale From [Degan’15] From [van Tiel+’16]
問い 6 1. SIのスケール内/横断におけるばらつきの要因は何? e.g.) “The movie was good” →
The movie was not amazing. or The movie was not very good. 2. 聞き手は代替案に対して, 言語形式 or 概念レベルで推論するのか?
まとめ • 目的 ◦ 人間のスカラー推論(SI)に関する定量的・統一的な説明 の提供 • 方法論 ◦ 代替案に対する期待値ベースの説明
による形式化 ◦ 言語モデルに基づく文字列/概念ベースの説明モデルを提案し, どのく らい人間のSIを説明できるか調査 • 知見 ◦ SI率のばらつきは代替案に対する期待値によって捉えられる ◦ 人間のSIは表層レベルよりも概念レベルで行われる 7
期待値に基づく SIの説明 SIは文脈駆動な期待値に基づく代替案の可用性に依存する [Degan&Tanehas, 2015] 8 仮説 “Some of the
students passed the exam”
期待値に基づく SIの説明 SIは文脈駆動な期待値に基づく代替案の可用性に依存する [Degan&Tanehas, 2015] 9 仮説 “Some of the
students passed the exam”
期待値に基づく SIの説明 SIは文脈駆動な期待値に基づく代替案の可用性に依存する [Degan&Tanehas, 2015] 10 仮説 “Some of the
students passed the exam” Not all students passed the exam 話者が強い意味を伝えるために [STRONG]と言った可能性が高いのであれば, [WEAK]と発話する話者の選択は[STRONG]と言う根拠がなかったことを示唆 ➔ SIが生じる可能性が高くなるはず
代替案に対する「期待値」の測り方 11 • “X, but not Y” という構造における確率を測定することにより , スカラー関係に関する期待値を推定
• 言語モデルを使って人間の予測分布を近似する [CONTEXT] [WEAK], but not [STRONG], [CONTEXT]
代替案に対する「期待値」の測り方 12 • “X, but not Y” という構造における確率を測定することにより , スカラー関係に関する期待値を推定
• 言語モデルを使って人間の予測分布を近似する surprisalは意外性を測定するため , SI率と[STRONG]のsurprisalの間には負の関係 [CONTEXT] [WEAK], but not [STRONG], [CONTEXT]
代替案に対する「期待値」の測り方 13 • “X, but not Y” という構造における確率を測定することにより , スカラー関係に関する期待値を推定
• 言語モデルを使って人間の予測分布を近似する 文字列ベースのsurprisalは, その根底にある概念 の予測可能性を捉えられないかも? [CONTEXT] [WEAK], but not [STRONG], [CONTEXT]
代替案に対する「期待値」の測り方 14 • “X, but not Y” という構造における確率を測定することにより , スカラー関係に関する期待値を推定
• 言語モデルを使って人間の予測分布を近似する [CONTEXT] [WEAK], but not [STRONG], [CONTEXT] 概念的に類似した代替案で , surprisalが低いものが 多数ある場合, 仮に評価されたscalemateの surprisalが高くても, 加重平均は低くなる
Within-scale(<some, all> )のばらつきの説明 • Human SI strength ratings [Dagan, 2015]
◦ 1363 unique contexts for <some,all> scale • モデル: GPT-2 • 代替候補={every, few, half, much, many, most, all} 15 文の類似度を1-7で評価(数値が高いほど SIも高い)
Within-scale(<some, all> )のばらつきの説明 16
Cross-scaleのばらつきの説明 • Human SI strengths from 4 datasets [Ronai&Xiang’22, Pankarts&van
Tiel`21, Gotzner+’18, van Tiel+’16] ◦ 148 unique scale <WEAK,STRONG> • モデル: BERT • 代替候補:[WEAK]と同じ品詞を持つ単語(WordNet+NLTK + 頻度フィルター w/ OpenSubtitles[Lison&Tiedemann’16]) ◦ 形容詞1000語, 副詞960語, 動詞224語 17
Cross-scaleのばらつきの説明 18
まとめ • 目的 ◦ 人間のスカラー推論(SI)に関する定量的・統一的な説明 の提供 • 方法論 ◦ 代替案に対する期待値ベースの説明
による形式化 ◦ 言語モデルに基づく文字列/概念ベースの説明モデルを提案し, どのく らい人間のSIを説明できるか調査 • 知見 ◦ SI率のばらつきは代替案に対する期待値によって捉えられる ◦ 人間のSIは表層レベルよりも概念レベルで行われる 19