Expectations over Unspoken Alternatives Predict Pragmatic Inferences 1 2024-08-26, 第16回最先端NLP勉強会 Jennifer Hu, Roger Levy, Judith Degen, Sebastian Schuster (TACL 2023) 読み手: 三田雅人（CyberAgent）

スカラー推論（ Scalar Inference;SI） ● 話し手が言わなかった「暗黙の代替案」に関する語用論的推論 2 “Some of the students passed the exam” 学生の全員は試験に合格していないんだな

グライスの発話含意理論 （論文に書いていない補足） ● 語用論的推論は, 話し手と聞き手が協調性原理（coorporation principle）に則って会話するも のであるという仮定（格率に従う＝協調性原理に従う） ● この仮定を保つために, しばしば言語表現が意味すること以上のことを , 聞き手が理解する必 要がある 3 [須藤’17]より 新グライス主義的SIの分析の例

SI率はスケール内（ Within-scale）で変動する 4 Within-scale From [Degan’15]

SI率はスケール横断（ Cross-scale）でも変動する 5 Within-scale Cross-scale From [Degan’15] From [van Tiel+’16]

問い 6 1. SIのスケール内/横断におけるばらつきの要因は何？ e.g.) “The movie was good” → The movie was not amazing. or The movie was not very good. 2. 聞き手は代替案に対して, 言語形式 or 概念レベルで推論するのか？

まとめ ● 目的 ○ 人間のスカラー推論（SI）に関する定量的・統一的な説明 の提供 ● 方法論 ○ 代替案に対する期待値ベースの説明 による形式化 ○ 言語モデルに基づく文字列/概念ベースの説明モデルを提案し, どのく らい人間のSIを説明できるか調査 ● 知見 ○ SI率のばらつきは代替案に対する期待値によって捉えられる ○ 人間のSIは表層レベルよりも概念レベルで行われる 7

期待値に基づく SIの説明 SIは文脈駆動な期待値に基づく代替案の可用性に依存する [Degan&Tanehas, 2015] 8 仮説 “Some of the students passed the exam”

期待値に基づく SIの説明 SIは文脈駆動な期待値に基づく代替案の可用性に依存する [Degan&Tanehas, 2015] 9 仮説 “Some of the students passed the exam”

期待値に基づく SIの説明 SIは文脈駆動な期待値に基づく代替案の可用性に依存する [Degan&Tanehas, 2015] 10 仮説 “Some of the students passed the exam” Not all students passed the exam 話者が強い意味を伝えるために [STRONG]と言った可能性が高いのであれば, [WEAK]と発話する話者の選択は[STRONG]と言う根拠がなかったことを示唆 ➔ SIが生じる可能性が高くなるはず

代替案に対する「期待値」の測り方 11 ● “X, but not Y” という構造における確率を測定することにより , スカラー関係に関する期待値を推定 ● 言語モデルを使って人間の予測分布を近似する [CONTEXT] [WEAK], but not [STRONG], [CONTEXT]

代替案に対する「期待値」の測り方 12 ● “X, but not Y” という構造における確率を測定することにより , スカラー関係に関する期待値を推定 ● 言語モデルを使って人間の予測分布を近似する surprisalは意外性を測定するため , SI率と[STRONG]のsurprisalの間には負の関係 [CONTEXT] [WEAK], but not [STRONG], [CONTEXT]

代替案に対する「期待値」の測り方 13 ● “X, but not Y” という構造における確率を測定することにより , スカラー関係に関する期待値を推定 ● 言語モデルを使って人間の予測分布を近似する 文字列ベースのsurprisalは, その根底にある概念 の予測可能性を捉えられないかも？ [CONTEXT] [WEAK], but not [STRONG], [CONTEXT]

代替案に対する「期待値」の測り方 14 ● “X, but not Y” という構造における確率を測定することにより , スカラー関係に関する期待値を推定 ● 言語モデルを使って人間の予測分布を近似する [CONTEXT] [WEAK], but not [STRONG], [CONTEXT] 概念的に類似した代替案で , surprisalが低いものが 多数ある場合, 仮に評価されたscalemateの surprisalが高くても, 加重平均は低くなる

Within-scale（ ）のばらつきの説明 ● Human SI strength ratings [Dagan, 2015] ○ 1363 unique contexts for scale ● モデル: GPT-2 ● 代替候補={every, few, half, much, many, most, all} 15 文の類似度を1-7で評価（数値が高いほど SIも高い）

Within-scale（ ）のばらつきの説明 16

Cross-scaleのばらつきの説明 ● Human SI strengths from 4 datasets [Ronai&Xiang’22, Pankarts&van Tiel`21, Gotzner+’18, van Tiel+’16] ○ 148 unique scale ● モデル: BERT ● 代替候補:[WEAK]と同じ品詞を持つ単語（WordNet+NLTK + 頻度フィルター w/ OpenSubtitles[Lison&Tiedemann’16]） ○ 形容詞1000語, 副詞960語, 動詞224語 17

Cross-scaleのばらつきの説明 18

まとめ ● 目的 ○ 人間のスカラー推論（SI）に関する定量的・統一的な説明 の提供 ● 方法論 ○ 代替案に対する期待値ベースの説明 による形式化 ○ 言語モデルに基づく文字列/概念ベースの説明モデルを提案し, どのく らい人間のSIを説明できるか調査 ● 知見 ○ SI率のばらつきは代替案に対する期待値によって捉えられる ○ 人間のSIは表層レベルよりも概念レベルで行われる 19