Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
論文紹介/Expectations over Unspoken Alternatives Pr...
Search
Masato Mita
August 20, 2024
Research
2
400
論文紹介/Expectations over Unspoken Alternatives Predict Pragmatic Inferences
Masato Mita
August 20, 2024
Tweet
Share
More Decks by Masato Mita
See All by Masato Mita
心理言語学の視点から再考する言語モデルの学習過程
chemical_tree
2
380
作業記憶の発達的特性が言語獲得の臨界期を形成する(NLP2025)
chemical_tree
2
610
国際会議ACL2024参加報告
chemical_tree
1
550
広告文生成タスクの規定とベンチマーク構築(NLP2023)
chemical_tree
0
530
論述リビジョンのためのメタ評価基盤
chemical_tree
0
370
ライティング支援のための文法誤り訂正
chemical_tree
2
1.8k
Other Decks in Research
See All in Research
利用シーンを意識した推薦システム〜SpotifyとAmazonの事例から〜
kuri8ive
1
200
Type Theory as a Formal Basis of Natural Language Semantics
daikimatsuoka
1
220
EOGS: Gaussian Splatting for Efficient Satellite Image Photogrammetry
satai
4
270
20250502_ABEJA_論文読み会_スライド
flatton
0
170
Generative Models 2025
takahashihiroshi
21
12k
ストレス計測方法の確立に向けたマルチモーダルデータの活用
yurikomium
0
640
「エージェントって何?」から「実際の開発現場で役立つ考え方やベストプラクティス」まで
mickey_kubo
0
120
言語モデルによるAI創薬の進展 / Advancements in AI-Driven Drug Discovery Using Language Models
tsurubee
2
380
[輪講] SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features
nk35jk
2
530
さくらインターネット研究所 アップデート2025年
matsumoto_r
PRO
0
650
SatCLIP: Global, General-Purpose Location Embeddings with Satellite Imagery
satai
3
220
Towards a More Efficient Reasoning LLM: AIMO2 Solution Summary and Introduction to Fast-Math Models
analokmaus
2
230
Featured
See All Featured
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
46
9.6k
Building Adaptive Systems
keathley
43
2.6k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
Large-scale JavaScript Application Architecture
addyosmani
512
110k
Navigating Team Friction
lara
187
15k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.4k
Typedesign – Prime Four
hannesfritz
42
2.7k
Automating Front-end Workflow
addyosmani
1370
200k
Building a Modern Day E-commerce SEO Strategy
aleyda
42
7.4k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
The Cost Of JavaScript in 2023
addyosmani
51
8.5k
Transcript
Expectations over Unspoken Alternatives Predict Pragmatic Inferences 1 2024-08-26, 第16回最先端NLP勉強会
Jennifer Hu, Roger Levy, Judith Degen, Sebastian Schuster (TACL 2023) 読み手: 三田雅人(CyberAgent)
スカラー推論( Scalar Inference;SI) • 話し手が言わなかった「暗黙の代替案」に関する語用論的推論 2 “Some of the students
passed the exam” 学生の全員は試験に合格していないんだな
グライスの発話含意理論 (論文に書いていない補足) • 語用論的推論は, 話し手と聞き手が協調性原理(coorporation principle)に則って会話するも のであるという仮定(格率に従う=協調性原理に従う) • この仮定を保つために, しばしば言語表現が意味すること以上のことを
, 聞き手が理解する必 要がある 3 [須藤’17]より 新グライス主義的SIの分析の例
SI率はスケール内( Within-scale)で変動する 4 Within-scale From [Degan’15]
SI率はスケール横断( Cross-scale)でも変動する 5 Within-scale Cross-scale From [Degan’15] From [van Tiel+’16]
問い 6 1. SIのスケール内/横断におけるばらつきの要因は何? e.g.) “The movie was good” →
The movie was not amazing. or The movie was not very good. 2. 聞き手は代替案に対して, 言語形式 or 概念レベルで推論するのか?
まとめ • 目的 ◦ 人間のスカラー推論(SI)に関する定量的・統一的な説明 の提供 • 方法論 ◦ 代替案に対する期待値ベースの説明
による形式化 ◦ 言語モデルに基づく文字列/概念ベースの説明モデルを提案し, どのく らい人間のSIを説明できるか調査 • 知見 ◦ SI率のばらつきは代替案に対する期待値によって捉えられる ◦ 人間のSIは表層レベルよりも概念レベルで行われる 7
期待値に基づく SIの説明 SIは文脈駆動な期待値に基づく代替案の可用性に依存する [Degan&Tanehas, 2015] 8 仮説 “Some of the
students passed the exam”
期待値に基づく SIの説明 SIは文脈駆動な期待値に基づく代替案の可用性に依存する [Degan&Tanehas, 2015] 9 仮説 “Some of the
students passed the exam”
期待値に基づく SIの説明 SIは文脈駆動な期待値に基づく代替案の可用性に依存する [Degan&Tanehas, 2015] 10 仮説 “Some of the
students passed the exam” Not all students passed the exam 話者が強い意味を伝えるために [STRONG]と言った可能性が高いのであれば, [WEAK]と発話する話者の選択は[STRONG]と言う根拠がなかったことを示唆 ➔ SIが生じる可能性が高くなるはず
代替案に対する「期待値」の測り方 11 • “X, but not Y” という構造における確率を測定することにより , スカラー関係に関する期待値を推定
• 言語モデルを使って人間の予測分布を近似する [CONTEXT] [WEAK], but not [STRONG], [CONTEXT]
代替案に対する「期待値」の測り方 12 • “X, but not Y” という構造における確率を測定することにより , スカラー関係に関する期待値を推定
• 言語モデルを使って人間の予測分布を近似する surprisalは意外性を測定するため , SI率と[STRONG]のsurprisalの間には負の関係 [CONTEXT] [WEAK], but not [STRONG], [CONTEXT]
代替案に対する「期待値」の測り方 13 • “X, but not Y” という構造における確率を測定することにより , スカラー関係に関する期待値を推定
• 言語モデルを使って人間の予測分布を近似する 文字列ベースのsurprisalは, その根底にある概念 の予測可能性を捉えられないかも? [CONTEXT] [WEAK], but not [STRONG], [CONTEXT]
代替案に対する「期待値」の測り方 14 • “X, but not Y” という構造における確率を測定することにより , スカラー関係に関する期待値を推定
• 言語モデルを使って人間の予測分布を近似する [CONTEXT] [WEAK], but not [STRONG], [CONTEXT] 概念的に類似した代替案で , surprisalが低いものが 多数ある場合, 仮に評価されたscalemateの surprisalが高くても, 加重平均は低くなる
Within-scale(<some, all> )のばらつきの説明 • Human SI strength ratings [Dagan, 2015]
◦ 1363 unique contexts for <some,all> scale • モデル: GPT-2 • 代替候補={every, few, half, much, many, most, all} 15 文の類似度を1-7で評価(数値が高いほど SIも高い)
Within-scale(<some, all> )のばらつきの説明 16
Cross-scaleのばらつきの説明 • Human SI strengths from 4 datasets [Ronai&Xiang’22, Pankarts&van
Tiel`21, Gotzner+’18, van Tiel+’16] ◦ 148 unique scale <WEAK,STRONG> • モデル: BERT • 代替候補:[WEAK]と同じ品詞を持つ単語(WordNet+NLTK + 頻度フィルター w/ OpenSubtitles[Lison&Tiedemann’16]) ◦ 形容詞1000語, 副詞960語, 動詞224語 17
Cross-scaleのばらつきの説明 18
まとめ • 目的 ◦ 人間のスカラー推論(SI)に関する定量的・統一的な説明 の提供 • 方法論 ◦ 代替案に対する期待値ベースの説明
による形式化 ◦ 言語モデルに基づく文字列/概念ベースの説明モデルを提案し, どのく らい人間のSIを説明できるか調査 • 知見 ◦ SI率のばらつきは代替案に対する期待値によって捉えられる ◦ 人間のSIは表層レベルよりも概念レベルで行われる 19