ことばの意味を計算するしくみ

Slide 1

Slide 1 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料ことばの意味を計算するしくみ東京大学　理化学研究所谷中　瞳 http://hitomiyanaka.strikingly.com/ [email protected] X: @verypluming 1

Slide 2

Slide 2 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料谷中　瞳（やなか　ひとみ） 2018年東京大学大学院工学系研究科システム創成学専攻博士課程修了。博士（工学）。理化学研究所革新知能統合研究センター特別研究員を経て、2023 年より東京大学大学院情報理工学系研究科コンピュータ科学専攻准教授。理化学研究所客員研究員、産業総合研究所「覚醒」プロジェクトマネージャー、人工知能学会理事。 2023年船井研究奨励賞、2024年文部科学大臣表彰若手科学者賞、Forbes Women in Tech Top30に選出。　 2 ことばの意味を計算するしくみ・ことばの意味を形式的に捉える計算言語学・ことばの意味を統計的に捉える自然言語処理　2つのアプローチの可能性と課題を整理 https://www.kspub.co.jp/book/detail/5369845.html

Slide 3

Slide 3 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料本日の内容 ● 導入：ことばの意味とは ● ことばの意味の理論と計算：分布意味論と形式意味論、自然言語処理と計算言語学 ● 自然言語処理と計算言語学の合流1：言語モデルの分析 ● 自然言語処理と計算言語学の合流2：意味解析と推論 ● まとめと今後の展望 3

Slide 4

Slide 4 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料導入：ことばの意味とは 4

Slide 5

Slide 5 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料ことば（自然言語）の意味とは？ ● さまざまな側面や性質がある（これから紹介します） ● さまざまな研究分野が関わる ○ 自然言語処理 ○ 言語学 ○ 哲学 ○ 認知科学 … ● 直接研究対象として扱うのは難しい ○ ことばの意味に関して何らかの立場をとり、ことばの意味を別の「ことば」で論じる必要がある ○ メタ言語：分析対象を記述する側の言語 ○ オブジェクト言語：分析対象の言語 5

Slide 6

Slide 6 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料私たちがことばの意味について判断できること「太郎しか泳がなかった」という文に対して…　 ● 「太郎だけが泳いだ」は同じ意味（同義） ● 「太郎だけが泳がなかった」は反対の意味（反義） ● 「太郎だけが平泳ぎをした」と近い意味（類義） ● 「太郎しかが泳いだ」はおかしな意味（容認不可能）母語話者は文を与えられたとき、その文が容認可能である（文として理解できる）か否かを、即座に判断できる容認可能な文については、その意味も即座に理解できる 6 ※容認可能という判断と容認不可能という判断は非対称であることに注意

Slide 7

Slide 7 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料ことばの意味をとらえる単位 ● 単語「犬」は「長崎」よりも「猫」と意味が近い ● フレーズ cut costはpayと、cut woodはchopと意味が近い ● 文「社員の何人かは男性だ」と「全ての社員が男性であるわけではない」は意味が近い 7

Slide 8

Slide 8 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料ことばの意味の曖昧性 ● 単語・フレーズ ○ 同音異義語「はしがここにある」（橋、箸、端） ○ 多義性「洋服を縫う」「人混みを縫う」 ○ 用法の違い「雪は白くて冷たい」「雪が降って積もった」 ● 文 ○ 構造的曖昧性 ○ 解釈の違い ● 発話 ○ 省略 ○ 言外の意味 8

Slide 9

Slide 9 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料ことばの意味の曖昧性：文 ● 文 ○ 構造的曖昧性 ■ 警官が[[[自転車で逃げる]泥棒を]追いかけた] ■ 警官が[[自転車で][逃げる泥棒を追いかけた]] ○ 解釈の違い「3人の研究者が5本の論文を査読した」 ■ 分配読み（distributive reading） 3人の研究者がそれぞれ5本の論文を査読した ■ 集団読み（collective reading） 3人の研究者が一緒に5本の論文を査読した ■ 累積読み（cumulative reading） 3人の研究者が合計で5本の論文を査読した 9 構成素（constituent）：文の構造の単位として機能する語のまとまり

Slide 10

Slide 10 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料ことばの意味の曖昧性：発話 ● 発話：伝達のための言語使用 ○ 省略（ellipsis） ■ 僕はうなぎだ ■ 花子は太郎より研究が好きだ ■ 太郎は急いで長崎に行ったけど、花子は行かなかった ○ 言外の意味、意図 ■ この部屋は寒いね ■ そこに水たまりがあるよ ■ そこに塩はある？ 10 ここまでのポイント：「ことばの意味」には、いくつもの粒度がある

Slide 11

Slide 11 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料ことばの意味に関する原理：合成性 ● 合成性原理（principle of compositionality）[Frege,1884] 言語表現の意味はその構成素をなす表現の意味と、それらの結合方法によって定まるという原理 ● 次の二つの文は同じ単語からなるが、意味は異なる ○ 子供が走っている猫を見ている ○ 猫が走っている子供を見ている ● 言語表現の意味は、語の意味の組み合わせだけでなく、統語構造による影響を受ける 11

Slide 12

Slide 12 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料 12 合成性と体系性 ● 合成性（compositionality）人はこれまで見たことのない文も、文の構成素と統語構造にしたがってその文を理解できる ● 体系性（systematicity）[Fodor and Pylyshyn,1988] 人はある処理ができれば、関連した処理もできる 80-90年代にコネクショニズム、現在でいうニューラルネットを批判する文脈で提起された概念 John loves Annという文を理解できる人は、Ann loves Johnという文も理解できるどちらか一方だけ理解できる人は変？

Slide 13

Slide 13 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料文間の関係に関する経験的判断：推論 ● 推論（inference）ある命題（前提, premise）から別の命題（仮説, hypothesis）を導くこと ○ 命題（proposition）：真偽を問えるもの（文の意味） ● 前提が仮説を（意味論的に）含意する＝前提が真である状況のもとで、仮説が常に真となる 13 前提P 　子供が走っている猫を見ている仮説H １　猫が走っている　　　　含意仮説H ２　子供が走っている　　　非含意日本語自然言語推論(NLI)データセットJaNLI [Yanaka&Mineshima,2021] https://huggingface.co/datasets/hpprc/janli

Slide 14

Slide 14 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料さまざまな自然言語推論：含意・推意・前提太郎が冷蔵庫のロールケーキをほとんど食べた含意（entailment） →　太郎が冷蔵庫のロールケーキを食べた　推意（会話の含み, conversational implicature） →　太郎は冷蔵庫のケーキをすべて食べたわけではない前提（presupposition） →　冷蔵庫にロールケーキがある 14

Slide 15

Slide 15 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料含意・推意・前提の違い含意・前提は増強不可能、推意は増強可能(reinforcible） ● # 太郎が冷蔵庫のロールケーキをほとんど食べた、しかし太郎が冷蔵庫のロールケーキを食べた ● # 太郎が冷蔵庫のロールケーキをほとんど食べた、しかし冷蔵庫にロールケーキがある ● 太郎が冷蔵庫のロールケーキをほとんど食べた、しかし太郎は冷蔵庫のケーキをすべて食べたわけではない前提は投射的（projective, 否定や様相に埋め込まれても文全体に意味が引き継がれる）、含意は投射的でない ● 太郎が冷蔵庫のロールケーキをほとんど食べなかった →冷蔵庫にロールケーキがある 15

Slide 16

Slide 16 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料言語モデルはどのような自然言語推論を行う傾向？ ImpPres[Jeretic+2020] 含意・推意・前提の推論データで言語モデルを評価言語モデルが意味論的推論（含意）よりも語用論的推論（推意・前提）を行う傾向を報告 16 前提: Jo ate some of the cake 仮説: Jo didn’t eat all of the cake logical（意味論的推論）: 非含意 pragmatic（語用論的推論）: 推意

Slide 17

Slide 17 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料ことばの意味の理論と計算 17

Slide 18

Slide 18 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料ことばの意味を計算する２つのアプローチアプローチ自然言語処理計算言語学意味の理論分布意味論（使用説）形式意味論（真理条件説）意味の単位語の意味文の意味意味表現ベクトル表現論理表現など 18 

Slide 19

Slide 19 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料ことばの意味とは？：使用説[Wittgenstein,1953] ここまでで紹介したことばの意味に関する様々な事実を説明するようなことばの意味の理論が、言語哲学では議論されてきた。その中の一つの説が使用説 ● ことばの意味とは、そのことばの使用法 ● ことばの意味がわかるとは、そのことばの使用法がわかるということ L. Wittgenstein, 2009, Philosophical Investigations (鬼界彰夫訳, 哲学探究, 2020)：「意味」という語が使われる多くの場合に—すべての場合ではないとしても— この語は次のように説明することができる。すなわち、語の意味とは、言語におけるその使われ方である、と。 19

Slide 20

Slide 20 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料分布意味論（distributional semantics）分布仮説に基づいて、語の意味からことばの意味をとらえる分布仮説（distributional hypothesis）：語の意味はその語の周辺に現れる語（文脈, context）によって定まる Zellig Harris, 1954: “oculist and eye-doctor…occur in almost the same environments. … If A and B have almost identical environments we say that they are synonyms.” J. R. Firth, 1957: “You shall know a word by the company it keeps!” （使用説に対する）批判：合成性（人はこれまで見たことのない文も、文の構成素と統語構造にしたがってその文を理解できる）をどのように説明するか？ 20

Slide 21

Slide 21 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料ことばの意味とは？：真理条件説[Davidson,1967] ● ことばの意味とは、ことばの真理条件（truth condition, ことばがどのような状況では真となり、どのような状況では偽となるか）のこと ● ことばの意味がわかるとは、そのことばの真理条件がわかるということ例）文「東京は晴れ、かつ、埼玉は雨」の真理条件　　この文が真であるのは、　　「東京は晴れ」と「埼玉は雨」がどちらも真のときであり、　　この文が偽であるのは、　　「東京は晴れ」と「埼玉は雨」の少なくとも一方が偽のとき 21

Slide 22

Slide 22 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料形式意味論（formal semantics） ● 真理条件的意味論（truth-conditional semantics）に基づいて、文の意味からことばの意味をとらえる ● 定名詞句の意味を指示対象（個体）、述語の意味を指示対象の集合（個体に対し真理値を返す関数）として解釈し、語の意味から合成的に文の意味を説明する例）文「日本は国である」は真、文「東京は国である」は偽定名詞句「日本」「東京」：個体を指示する述語「…は国である」：「日本」や「スイス」という個体に対し真を返し、「東京」という個体に対し偽を返す関数（述語に個体を代入することで、文の真理値が定まる） 22 …は国である（真理条件説に対する）批判：疑問文や命令文など真理値をもたない文の存在

Slide 23

Slide 23 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料意味表現、意味表示（semantic representation）自然言語処理と計算言語学の合流点：ことばの意味を計算可能な形式（意味表現、意味表示）で表し、推論によって意味表現の妥当性を検証する自然言語処理（Natural Language Processing）：分布意味論に基づいてベクトル表現でことばの意味を分析計算言語学（Computational Linguistics）：形式意味論に基づいて論理表現などでことばの意味を分析 23

Slide 24

Slide 24 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料ことばの意味を計算する２つのアプローチアプローチ自然言語処理計算言語学意味の理論分布意味論（使用説）形式意味論（真理条件説）意味の単位語の意味文の意味意味表現ベクトル表現論理表現など 24 

Slide 25

Slide 25 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料自然言語処理：分布意味論に基づくアプローチ ● 大量のテキスト（コーパス）から統計的に文脈に基づいて語の意味を学習し、ベクトルで語の意味を表す ○ 伝統的な方法としては、前後に現れる語の共起頻度を要素とする行列を作り、単語ベクトルを構成 ○ 意味が似ている語は、似たベクトルで表される議論：大規模言語モデル（LLM）は分布意味論に基づく？ [Enyan+2024] ● 訓練データの規模は分布意味論の定義に含まれない ● 指示チューニング（タスクの指示と入出力ペアの学習）は学習時のデータ分布を変える可能性はあるが、ことばの意味を言語使用の分布に基づいて表すという分布意味論の考え方から外れるものではない 25

Slide 26

Slide 26 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料単語の意味をベクトルで表す: one-hotベクトル文を単語分割し、各単語にID（次元）を振り、1-of-K表現で one-hotベクトル（局所表現）にする今日 (1,0,0,0,0,0,0)　　　　　今日 (1,0,0,0,0,0,0) は (0,1,0,0,0,0,0)　　　　　は (0,1,0,0,0,0,0) 晴れ (0,0,1,0,0,0,0)　　　　　休み (0,0,0,0,0,1,0) て (0,0,0,1,0,0,0)　　　　　だ (0,0,0,0,0,0,1) いる (0,0,0,0,1,0,0) 今日は晴れている 1 2 3 4 5 今日は休みだ 1 2 6 7 26 単語 ID

Slide 27

Slide 27 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料単語の分散表現 (単語埋め込み：word embedding) 密なベクトルvはone-hotベクトルxに変換⾏列Wをかけて得られる： v = Wx - xの次元は語彙数 - vの次元は埋め込みたい数（ハイパーパラメータ） - Wは重みを表す埋め込み行列、コーパスから学習 27

Slide 28

Slide 28 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料単語の意味から文の意味の計算へ：言語モデル単語列（文）w 1 , w 2 ,…,w i-1 の次に続く単語w i の出現確率（確からしさ）P(w 1 , w 2 ,…,w i )を計算するモデル　　　　P(今日,の,天気,は,GPT)=0.0000003 　　　　P(今日,の,天気,は,パンダ)=0.0000007 　　　　P(今日,の,天気,は,晴れ)=0.0000127 出現確率が高い文を自然な文として生成　　　　→今日,の,天気,は,晴れ 28

Slide 29

Slide 29 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料大規模言語モデルの根幹：Transformer [Vaswani+ 2017] 29 ● Self-Attentionに基づく Encoder-Decoderモデル ● Self-Attention: 単語列（文）中のある単語の埋め込みベクトルを前後の単語（文脈）の埋め込みベクトルで重みづけする ● Encoder-Decoder: 単語列を埋め込みベクトルに変換する Encoderモデルと、埋め込みベクトルを受け取り1単語ずつ生成するDecoderモデル ● 計算処理を並列化でき、計算効率が上がり、大規模言語モデルの誕生へ Encoder  Decoder

Slide 30

Slide 30 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料 GPT (Generative Pre-trained Transformer) [Radford+2018] 元祖・大規模コーパスによる事前学習に基づく大規模言語モデル Transformer Decoderモデルに基づく言語モデルで、単語列の次に続く単語の確率を計算 30 図は[Devlin+2019]から引用

Slide 31

Slide 31 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料 GPT-3：in-context learning[Brown+, 2020] ● OpenAIが開発した大規模言語モデル ● 基本的な構成はGPTと同じだが、事前学習に用いるデータサイズやパラメータ数が桁違いに大きい ○ 570GBのテキストデータで事前学習、パラメータ数は175B ● GPT-3以前のモデルはタスクに併せてモデルのアーキテクチャを変更する必要があった ○ NLIなら、最終層に分類タスクを解く層を追加するなど ● GPT-3以降ではタスクの指示と少数の正解例をプロンプトとして入力に含めてしまうin-context learningが主流となり、アーキテクチャの変更が不要となった 31

Slide 32

Slide 32 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料大きければ大きいほど性能が良い？Scaling Law 大規模言語モデルの性能は規模に依存し、アーキテクチャの違いによる影響は小さい：計算資源・データサイズ・パラメータ数のべき乗則に従う[Kaplan+2020] 必ずしもべき乗則に従うわけではなく、評価指標によるなどの批判も [Wei, 2023] 32

Slide 33

Slide 33 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料自然言語処理と計算言語学の合流1：言語モデルの分析 33

Slide 34

Slide 34 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料言語モデルの解釈性（interpretability）の問題ベクトルによる意味表現やベクトル表現を用いた推論は原則ブラックボックスであり、どのようにことばの意味をとらえているのか説明が難しい 34 入力：「私は泳げなくないわけではない」と発言した話者は泳げますか？出力：話者は泳げます自然言語処理と計算言語学の合流 1：言語モデルの分析に形式意味論の知見を活用できないか？

Slide 35

Slide 35 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料 35 言語モデルは合成性や体系性を獲得しているか John loves Annという文を理解できる人は、Ann loves Johnという文も理解できる。どちらか一方だけ理解できる人は変？ ● 合成性（compositionality）人はこれまで見たことのない文も、文の構成素と統語構造にしたがってその文を理解できる ● 体系性（systematicity）[Fodor and Pylyshyn,1988] 人はある処理ができれば、関連した処理もできる 80-90年代にコネクショニズム、現在でいうニューラルネットを批判する文脈で提起された概念再掲

Slide 36

Slide 36 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料単調性推論（monotonicity）量化表現や否定表現などの単調性に基づき、文中の構成素を意味的に上位 / 下位の構成素に置き換えた文と、元の文との含意関係が成立する推論現象 [van Benthem,1983] 上方含意（Upward entailing）↑：意味的に下位の構成素から上位の構成素への含意関係が成立 36 前提P: ある日本人がノーベル文学賞↑を受賞した仮説H: ある日本人がノーベル賞を受賞した含意ある日本人ノーベル賞受賞ノーベル文学賞受賞

Slide 37

Slide 37 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料単調性推論（monotonicity）下方含意（Downward entailing）↓：意味的に上位の構成素から下位の構成素への含意関係が成立単調性推論の特性： ● 量化表現や否定表現などの単調性と構成素の置き換えで含意関係が定まる ● 上位・下位の置き換えのしかたも様々な種類がある（語彙の置換・追加・削除） 37 P: 今年日本人はノーベル賞↓を受賞しなかった H1: 今年日本人はノーベル文学賞を受賞しなかった　含意 H2: 今年日本人はノーベル文学賞と化学賞を受賞しなかった含意ノーベル賞受賞ノーベル文学賞受賞日本人

Slide 38

Slide 38 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料文脈自由文法を用いた単調性推論データの自動構築 1. 文脈自由文法を用いて量化表現を含む前提文を生成生成規則N→{dogs}, IV→{ran}, TV→{chased}, Q→{some}, NP→Q N|Q N Sbar, S→ NP IV, Sbar→which TV NP から生成される文 Some dogs ran (再帰的規則の適用回数n=1のとき) Some dogs which chased some dogs ran (n=2のとき) Some dogs which chased some dogs which chased some dogs ran (n=3のとき) 2. 単調性に従い構成素の表現を置き換えて仮説文を生成 P: Some dogs ran H: Some animals ran 含意 3. 前提文と仮説文を入れ換えて新たな推論ペアを生成 P’: Some animals ran H’: Some dogs ran 非含意 38 形式意味論における多様な構文・意味に関する知見が、自然言語の評価・学習データセットの構築に活用できる

Slide 39

Slide 39 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料　　単調性推論に基づく言語モデルの体系性の評価 [Yanaka+2020] 39 学習　(i. の量化表現の種類を段階的に増やしデータを追加）　 ii. 量化表現全種類 × 置き換え1種類の組み合わせ P: A dog ran. H: An animal ran 含意 P: No animal ran. H: No dog ran 含意 P: A wild animal ran. H: An animal ran. 含意 P: No animal ran. H: No wild animal ran. 含意評価　量化表現 × 置き換えの未知の組み合わせ some 上位語の置換 D2 L1 上位語の置換形容詞の追加 D2 L2 D3 L2 D1 L1 D1 L2 D3 L1 a/an no 上位語の置換 no 形容詞の追加形容詞の追加 a/an i. 量化表現1種類 × 置き換え全種類の組み合わせ P: Some dogs ran. H: Some animals ran. 含意 P: Some wild animals ran. H: Some animals ran. 含意

Slide 40

Slide 40 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料単調性推論に基づく言語モデルの体系性の評価 BERTは量化表現と置き換えの未知の組み合わせからなる推論に対して一部汎化、LSTMやTreeLSTMは汎化しない　　　 40 P: A wild animal ran. H: An animal ran. 含意 P: No animal ran. H: No wild animal ran. 含意評価　量化表現 × 置き換えの未知の組み合わせ学習　(i. の量化表現の種類を段階的に増やしデータを追加）　 i. 量化表現1種類 × 置き換え全種類の組み合わせ P: Some dogs ran. H: Some animals ran. 含意 P: Some wild animals ran. H: Some animals ran. 含意 ii. 量化表現全種類 × 置き換え1種類の組み合わせ P: A dog ran. H: An animal ran. 含意 P: No animal ran. H: No dog ran. 含意

Slide 41

Slide 41 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料単調性推論に基づく言語モデルの体系性の評価 BERTは量化表現と置き換えの未知の組み合わせからなる推論に対して一部汎化、LSTMやTreeLSTMは汎化しない i.のデータを段階的に増やしていくとLSTMやTreeLSTMも性能向上：データ拡張による部分的な改善の可能性 41 P: A wild animal ran. H: An animal ran. 含意 P: No animal ran. H: No wild animal ran. 含意評価　量化表現 × 置き換えの未知の組み合わせ学習　(i. の量化表現の種類を段階的に増やしデータを追加）　 i. 量化表現1種類 × 置き換え全種類の組み合わせ P: Some dogs ran. H: Some animals ran. 含意 P: Some wild animals ran. H: Some animals ran. 含意 ii. 量化表現全種類 × 置き換え1種類の組み合わせ P: A dog ran. H: An animal ran. 含意 P: No animal ran. H: No dog ran. 含意

Slide 42

Slide 42 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料意味表示を用いた言語モデルの体系性の評価 ● COGS [Kim and Linzen,2020] 主語→目的語への汎化、一階述語論理に基づく意味表示学習：入力 John liked the meat → 出力 like(john, meat) テスト：入力 The kid liked John → 出力 like(kid, john) ● SyGNS [Yanaka+2021] 未知の組み合わせへの汎化、複数種類の意味表示談話表示構造、一階述語論理、変数除去形式 ※意味表示の表現力の高さと系列変換タスクとしての扱いやすさのトレードオフ 42

Slide 43

Slide 43 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料合成性に関するTransformerの内部機序の分析 [九門・谷中,NLP2025,NAACL2025] 合成的汎化に寄与するサブネットワークの探索と、統語情報の活用に関する因果分析により、Transformerの内部機序を分析 43 ● 合成的汎化能力の高いサブネットワークの存在を実証的に発見 ● 一方、見つかったサブネットワークは統語情報を用いた合成的な解法だけでなく、非合成的な解法にも依存する傾向

Slide 44

Slide 44 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料自然言語処理と計算言語学の合流2：意味解析と推論 44

Slide 45

Slide 45 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料分布仮説はことばの意味に対して常に成り立つのか否定、量化、数量、時制、比較、照応などの機能語（文法的な役割を果たす語↔内容語）の意味は分布仮説に従うのか、LLMで体系的に捉えられるのか自明でない 45  日本語  英語  私は泳げなくないわけではない  Not that I can't swim.  翻訳の例

Slide 46

Slide 46 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料 LLMが課題とする様々な推論現象　　 46 事実性推論（veridical inference）[Ross&Pavlick19][Yanaka+24] P: 太郎は二郎が来たと気づいていた H: 二郎が来た含意 P: 太郎は二郎が来たと信じていた H: 二郎が来た非含意時間推論（temporal inference）[Thukral+21][杉本+2024] P: 車は2時間で到着した H: 車は3時間以内に到着した含意 P: 車は2時間で到着した H: 車は3時間で到着した非含意比較表現（comparative）[Haruta+20] P: 太郎は二郎より多くの本を買った H: 太郎は何冊かの本を買った含意 P: 太郎は二郎より多くの本を買った H: 二郎は何冊かの本を買った非含意自然言語処理と計算言語学の合流 2：形式意味論に基づいてことばの意味を解析し推論できないか？

Slide 47

Slide 47 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料形式意味論の構成[戸次 (2017)「形式意味論」, 人工知能学事典] 1. 自然言語の意味とは何か、という問題について何らかの立場を採り、意味を表示するための形式言語を定義する 2. 自然言語の統語論について、何らかの立場を採る 3. 与えられた言語の与えられた文もしくは談話について、2. の統語論が与える構造にしたがって、 1. による意味表示（意味表現）を計算する機構を与える 4. その言語の個々の文または談話について、3. によって予測される意味と、母語話者の言語直観とを照合することにより経験的検証を行う。誤りは1.2.3. に遡り（通常は3. を）修正する 47

Slide 48

Slide 48 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料形式意味論の礎：モンタギュー意味論モンタギュー意味論[Montague, 1973] ● 文の意味を真理条件（truth condition, 文がどのような状況では真となり、どのような状況では偽となるかを示す条件）としてとらえ、文間の含意関係を説明する ● 自然言語の統語論に基づき論理式への翻訳を行い、状況を表すモデルによって自然言語の意味の解釈を与える：反証可能性の担保 48 自然言語論理式モデル翻訳解釈オブジェクト言語メタ言語

Slide 49

Slide 49 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料意味論に基づく含意関係の計算：モデルによる解釈 ● 述語論理のモデル：領域D（個体の集合）と述語が指示する個体の部分集合を指定する解釈I から構成 ● 含意関係：前提（論理式）が真であるすべてのモデルにおいて、仮説（論理式）も必ず真である ● 前提が仮説を含意しないことは、反例モデルの存在から示せる 49 前提「太郎は働き者かつ金持ちである」　働き者(太郎)∧金持ち(太郎) 仮説「働き者は皆金持ちである」　　　　∀x.(働き者(x)→金持ち(x)) 反例モデル：前提は真、仮説は偽金持ち働き者太郎次郎モデル1 モデル2 金持ち働き者太郎次郎モデル1,2とも領域D＝ {太郎、次郎}

Slide 50

Slide 50 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料証明論に基づく含意関係の計算：証明図の導出 ● モデル理論で含意関係の成立を示すには、前提が真となるすべてのモデルで仮説が真となることを示さないといけない ● 対して証明論的アプローチでは、前提（論理式）に推論規則を適用して仮説（論理式）を導出することで、含意関係の成立を示すことができる 50 前提１「働き者は皆金持ちである」　　∀x.(働き者(x)→金持ち(x)) 前提２「太郎は働き者である」　　　　働き者(太郎) 仮説　「太郎は金持ちである」　　　　金持ち(太郎) 前提ー仮説間の含意関係の証明図の例： ∀x.(働き者(x)→金持ち(x)) 働き者(太郎)→金持ち(太郎) 働き者(太郎) 金持ち(太郎) 含意記号（→）除去全称量化子（∀）除去推論規則の適用

Slide 51

Slide 51 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料形式意味論に基づく意味解析・論理推論システム ccg2lambda[Mineshima+2015][Yanaka+2018]：組合せ範疇文法に基づく意味解析・論理推論システム他の形式意味論に基づく意味解析・論理推論システム： LangPro[Abzianidze+2017], MonaLog[Hu+2020], lightblue[Tomita+2024] 関連する意味解析システム、推論システムとしては NeuralLog[Zhen+2021], Hy-NLI[Kalouli+2020], UDepLambda[Reddy+2017], Boxer[Bos,2015]など 51 ∃x∃y∃e (dog(x) & sheep(y) & touch(e) & subj(e,x) & obj(e,y)) 二匹の羊が寝ている。   犬が羊にさわっている。   論理式 A’’, B’’ CCG導出木 A’, B’ 前提文A 仮説文B 含意関係構文解析意味解析自動定理証明 unknown 

Slide 52

Slide 52 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料組合せ範疇文法[Steedman, 2000] ● Combinatory Categorial Grammar（CCG）統語構造と意味解釈の対応が明示的かつ簡潔な文法理論 ● 語の語彙的・文法的な性質を統語範疇として辞書に記述し、言語普遍的な性質を少数の統語規則で記述する語彙化文法の一つ ● 統語範疇の定義： ○ S, NP, Nは統語範疇である。これを基底範疇という。 ○ XとYが統語範疇ならば、X/YとY\Xも統語範疇である。これを関数型範疇という。 ● S（文）, NP（名詞句）, N（名詞） 52

Slide 53

Slide 53 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料関数適用規則と関数合成規則 CCGの代表的な統語規則（組合せ規則） 53 ● 関数適用規則 ● 関数合成規則

Slide 54

Slide 54 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料 CCGの辞書と導出木の例 CCGでは、統語範疇S（文）を導出するまでの過程を表す木構造（導出木）を用いるのが慣習（証明論の証明図と対応） 54 John loves Mary の導出木構文木

Slide 55

Slide 55 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料範疇文法と論理の関係：ランベック計算ランベック計算[Lambek, 1958]：理論言語学における統語構造の導出過程（導出木）と、記号論理学における論理式の証明過程（証明図）を同型と見なせることを提唱 55 範疇文法論理統語範疇命題（論理式）基底範疇原始命題関数型範疇条件命題統語規則推論規則関数適用規則含意除去則導出木証明図

Slide 56

Slide 56 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料範疇文法と論理の関係：ランベック計算範疇文法の関数適用規則は、前提が現れる順序を気にする論理の含意除去則に対応 56 ● 関数適用規則 ● 含意除去則ランベック計算のX/YはX←Y、Y\XはY→Xと同じ意味（CCGのX\Yはランベック計算のY\Xに対応する点に注意）前提結論

Slide 57

Slide 57 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料 CCGに基づく構文解析と意味解析 ● 辞書：語の統語範疇と意味表示を同時に指定（語彙項目） ● 組合せ規則：統語構造の構成方法と意味合成の計算方法を同時に指定 ● 様々なCCG構文解析器が現在も研究されている ○ 英語：C&C[Clark and Curran, 2007] ,HoLCCG[Yamaki+,2023] ○ 日本語：depccg[Yoshikawa+,2017], lightblue[Tomita+,2024] 57 語統語範疇意味表示 John NP John love (S\NP)/NP λy.λx.love(x,y) 語の意味はラムダ式で記述（後で説明！）辞書の例

Slide 58

Slide 58 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料 CCGに基づく意味合成 ● 辞書：語の統語範疇と意味表示を同時に指定（語彙項目） ● 組合せ規則：統語構造の構成方法と意味合成の計算方法を同時に指定 58 ● 関数適用規則 John loves Mary のCCG導出木と意味合成の例

Slide 59

Slide 59 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料ラムダ計算：関数に基づく計算体系チューリング機械と同等の表現力をもつ（計算可能な関数を全て表現できる）関数（function）と項（argument）を区別する λ記号で関数であることを明示する (λx.x+2)(3)=3+2　（変項xに値3を与える） (λx.run(x))(John)=run(John)　　（変項xに値Johnを与える） 59

Slide 60

Slide 60 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料ラムダ計算：関数適用と関数抽象重要な二つの操作：関数適用と関数抽象関数適用（function application）関数の項に値を与える操作 (λx.run(x))(John)=run(John) ：関数λx.run(x)にJohnという値を適用関数抽象（function abstraction） λと変項を用いて明示的に引数を示し新しい関数を作る操作 λx.love(x,y)の一番左側にλyを追加すると、yをλx.love(x,y)にマップする新しい関数λy.λx.love(x,y)が得られる 60

Slide 61

Slide 61 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料ラムダ計算：β簡約（β-conversion）関数適用によって引数に値を代入できる (λx.M)Nという形のラムダ式をM[x := N]、すなわち、Mにおいて変項xのすべての出現にNを代入して得られる式に書き換えることができる例 (λx.love(x,y))(John)=love(John,y) (λy.love(x,y))(John)=love(x,John) (λx.love(x,x))(John)=love(John,John) ((λy.λx.love(x,y))(John))(Mary)= (λx.love(x,John))(Mary)=love(Mary,John) 61

Slide 62

Slide 62 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料意味表示の型型つきラムダ計算：モンタギュー意味論にはじまる形式意味論の標準的な記述言語。文法理論と意味理論のシンプルで統一的な計算体系の一つ例 62 語意味表示型 John John e run λx.run(x) e→t ● eとtは型である。eは個体（entity）、tは真理値（type）の型を表す。 ● αとβが型ならばα→βも型である。 ● それ以外は型ではない。意味表示の型の定義

Slide 63

Slide 63 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料型に基づく意味合成意味合成では、各構成素の意味表示と型、それらの合成によって得られる意味表示と型が整合している必要がある例：John runsの意味合成 63 John 型：e 意味表示：John runs 型： e→t 意味表示：λx.run(x) John runs 型： t 意味表示：(λx.run(x))(John)=run(John) β簡約で意味合成を行う

Slide 64

Slide 64 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料統語範疇と意味表示の型の対応づけ ● CCGの統語範疇と組合せ規則は統語構造の構成方法と意味合成の計算方法を同時に指定している ● 統語範疇から意味表示の型への写像を定義する 64 例：自動詞　　他動詞

Slide 65

Slide 65 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料 CCGに基づく意味合成 65 語統語範疇意味表示意味表示の型 John NP John e love (S\NP)/NP λy.λx.love(x,y) e→e→t John loves Mary のCCG導出木と意味合成の例語彙項目の例

Slide 66

Slide 66 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料 CCGに基づく意味合成：量化を伴う名詞句 ● 文A dog runsの意味表示は∃x.(dog(x)∧run(x)) ● 述語dog、runを関数抽象すると、aの意味表示は λF.λG.∃x.(F(x)∧G(x)) ● 限定詞aの意味表示の型は、普通名詞dog (e→t)と自動詞run (e→t)を受け取り文(t)となるので、(e→t)→(e→t)→t ● 名詞句a dogの意味表示の型は、限定詞aが普通名詞を受け取って得られるので、(e→t)→t ○ 先ほどは名詞句に対応するCCGの統語範疇NPには、意味表示の型eが対応づけられていたことに注意！ ○ 統語範疇と意味表示の型の対応づけを更新する必要がある 66

Slide 67

Slide 67 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料統語範疇と意味表示の型の対応づけ（更新版） ● CCGの統語範疇と組合せ規則は統語構造の構成方法と意味合成の計算方法を同時に指定している ● 統語範疇から意味表示の型への写像を定義する ● 扱う言語現象に応じて、統語範疇と意味表示の型の対応づけを考える必要がある 67

Slide 68

Slide 68 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料 CCGに基づく意味合成：量化を伴う名詞句 68 語統語範疇意味表示意味表示の型 a NP/N λF.λG.∃x.(F(x)∧G(x)) (e→t)→(e→t)→t dog N λx.run(x) e→t run S\NP λQ.Q(λx.run(x)) e→t A dog runsのCCG導出木と意味合成の例語彙項目の例

Slide 69

Slide 69 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料まとめ：ccg2lambdaを用いた含意関係の証明 ccg2lambda[Mineshima+2015][Yanaka+2018]： CCGに基づく構文解析・意味解析・論理推論システム 69 ∃x∃y∃e (dog(x) & sheep(y) & touch(e) & subj(e,x) & obj(e,y)) 二匹の羊が寝ている。   犬が羊にさわっている。   論理式 A’’, B’’ CCG導出木 A’, B’ 前提文A 仮説文B 含意関係構文解析意味解析自動定理証明 unknown  https://github.com/mynlp/ccg2lambda

Slide 70

Slide 70 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料 ccg2lambdaを用いた含意関係の証明：(i) 構文解析文A: Some cats are runningと文B: Some animals are runningの意味表示を構文解析・意味解析により導出し、含意関係を示す B: Some animals are running. A: Some cats are running. 70

Slide 71

Slide 71 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料 (ii) CCGに基づく意味解析文A: Some cats are runningと文B: Some animals are runningの意味表示を構文解析・意味解析により導出し、含意関係を示す 71 B: Some animals are running. A: Some cats are running.

Slide 72

Slide 72 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料 (iii) 定理証明器を用いた自動推論 72 文間の含意関係を定理証明器（Coq, Vampireなど）で自動証明 ● 語彙知識、常識的知識や世界知識は公理として補完 ● 証明過程を観測でき、解釈性がある A1: ∃e 1 ∃x 1 (cat(x 1 )∧run(e 1 )∧(subj(e 1 )=x 1 )) B1: ∃e 2 ∃x 2 (animal(x 2 )∧run(e 2 )∧(subj(e 2 )=x 2 )) 文A: Some cats are running.　文B: Some animals are running.　　 ① ② ③ ④ A2: cat(x 1 )∧run(e 1 )∧(subj(e 1 )=x 1 ) B2: animal(x 2 )∧sing(e 2 )∧(subj(e 2 )=x 2 ) A3: cat(x 1 ), A4: run(e 1 ), A5: subj(e 1 )=x 1 B3: animal(x 2 ), B4: run(e 2 ), B5: subj(e 2 )=x 2 A3: cat(x 1 ), A4: run(e 1 ), A5: subj(e 1 )=x 1 B3: animal(x 1 ), B4: run(e 1 ), B5: subj(e 1 )=x 1 存在量化子（∃）の除去連言（∧）の除去変数の単一化公理 ∀x.cat(x)→animal(x)補完サブゴールの除去

Slide 73

Slide 73 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料ケース紹介：日本語比較表現の推論[三上+NLP2025] 日本語意味論テストセットJSeM[Kawazoe+2021]の比較表現セクション71 件においてGPT-4oの正答率76.0%よりも高い正答率84.5%を達成前提を伴う比較表現の推論を扱えるよう、文全体の意味表示と前提の意味表示の組で表すmultidimensional semantics[Potts,2004]を導入 73 P: 太郎は次郎以上に重い H: 次郎は重い含意 (∃d.(heavy(太郎,d)∧¬heavy(次郎,d)), heavy(次郎,θ)) (heavy(次郎,θ), 丅)

Slide 74

Slide 74 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料まとめと今後の展望 74

Slide 75

Slide 75 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料まとめ：ことばの意味を計算する２つのアプローチアプローチ自然言語処理計算言語学意味の理論分布意味論（使用説）形式意味論（真理条件説）意味の単位語の意味文の意味意味表現ベクトル表現論理表現など経験的な利点・連続値・離散値問わず　end-to-endで計算・内容語の意味の扱い・推論過程を解釈しやすい・体系的な推論・機能語の意味の扱い経験的な課題・機能語の意味の扱い・体系性の獲得・推論過程がblack-box ・内容語の意味の扱い・連続値の計算・頑健なパイプライン処理 75  …と必ずしもきれいにはまとまらない！

Slide 76

Slide 76 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料合成性を満たす分布意味論：合成分布意味論 Compositional Distributional Semantics (CDS) [Coecke,2010] 76 ● 文の統語構造を考慮して語の意味ベクトルを合成 ○ 他動詞likeのような項を取る語の意味を、項と同じベクトル空間の元ではなく、ベクトル空間のテンソル積の元として表し、テンソルの縮約で項関係を考慮して意味合成 ○ 型つきラムダ計算との対応で述べると：関数の代わりにテンソル積、関数適用の代わりにテンソル縮約を用いる ● 実装では量子計算が用いられる（量子言語処理、QNLP） ○ DisCoPy: pythonツールキット https://discopy.org/

Slide 77

Slide 77 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料 CDS：前群文法に基づく意味合成 ● 前群文法(Pregroup Grammar, PG) ○ 語w 1 ,...w n の型をt 1 ,...t n とすると、文w 1 ,...w n がPGのもとで文法的であるとき、t 1 ・…・t n ≤ s が成り立つ ○ 例：Mary likes wordsが文法的であることを示す文の型をs、名詞の型をn、他動詞の型をnrsnlとする ※nrsは左にnをとりsになる型、snlは右にnをとりsになる型） n・nrsnl・n = (n・nr)・s・(nl・n ) ≤ 1・s・1　 ≤ s ○ CCGで解析しPGに変換する研究も[Yeung and Kertsaklis,2021] ● PGはコンパクト閉圏、ベクトル空間もコンパクト閉圏 ○ PGに基づいて語の意味ベクトル（テンソル）の内積をとりテンソルの縮約を行うことで、文の意味表示を導出 ○ 例　v mary ⊗v likes ⊗v words 　　　 v mary ,v words ∈ N, v likes ∈ N⊗S⊗N = N⊗N⊗S⊗N⊗N ≅ S 77 縮約n・nr≤ 1、nl・n≤ 1

Slide 78

Slide 78 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料 LLMの演繹推論能力の改善記号論理学の知見に基づいて演繹推論のデータを大量に自動構築し学習を行うこと[Morishita+2023,2024]や、テキストから論理式への翻訳を行わせてから推論を行うようプロンプトを与えること[Ozeki+2024]によって、LLMの演繹推論能力が向上 →同様のアプローチで、LLMの　自然言語の演繹推論能力を　どこまで改善できるか？ 78

Slide 79

Slide 79 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料形式言語を用いた事前学習 [Papadimitriou and Jurafsky,2023][Hu+.2025] 形式言語で再帰や文脈依存性を考慮し合成したデータを事前学習に用いることで、モデルの統語的な帰納的バイアスを制御して与えられる可能性 79

Slide 80

Slide 80 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料 Neuro-Symbolicアプローチによる体系性の改善 [Li+2024] syntax-semantics interfaceを考慮した内部表現により、 SCAN[Lake and Baloni,2018]などの人工的な合成的汎化タスクで性能向上 →言語理解タスクにも応用できるか？ 80

Slide 81

Slide 81 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料 LLMと定理証明器の融合による、説明の検証と改良 [Quan+2024] 81

Slide 82

Slide 82 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料おわりに：ことばの意味を多面的にみてみよう 82 ● LLMの発展に伴い、他分野への自然言語処理応用や社会実装の幅が広がる ● 計算言語学と自然言語処理の合流： ○ LLMの課題解決に向けた言語理論の活用 ○ LLMと人の比較分析による言語理論の再検証 ● 人がどのようにことばの意味を計算しているのかはまだ十分に解明されていない。ことばの意味の研究は、様々な分野と立場が関わる学際的な研究領域。自ら様々な立場から検討し反証する形で相互尊重することによって、ことばの意味についての「真理」にさらに一歩近づける可能性ご清聴ありがとうございました！

Slide 83

Slide 83 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料以下、補足スライド 83

Slide 84

Slide 84 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料ことばの内包的意味と外延的意味 Frege, 1892「意義と意味について」：外延的意味と内包的意味を区別 ● 意味（Bedeutung）：ことばの外延的意味。ことばが指示する対象（指示対象, reference）、ことばを指示対象で代入可能 ● 意義（Sinn）：ことばの内包的意味。ことばの指示を決定する概念（意義, sense）、ことばを指示対象で代入不可能 84 金星、明けの明星、宵の明星の指示対象（外延的意味）は同じ明けの明星（主体が明け方に見た金星）と宵の明星（主体が夕方に見た金星）は、主体の信念によって概念が決定し内包的意味が異なる ○ 金星は金星である ○ 明けの明星は明けの明星である ○ 明けの明星は宵の明星である

Slide 85

Slide 85 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料イベント意味論に基づく意味表現 Neo-Davidsonian Event Semantics [Parsons, 1990] 動詞・修飾表現・格構造をイベントを項にとる1項述語で表す動詞の項の数によらずに統一的に動詞の意味を表すことができる：公理補完においても扱いやすい形式 85 Some cats are running. のCCG導出木と意味合成 run(e)∧(subj(e)=x) subj: 主格

Slide 86

Slide 86 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料 LLMは文の共起確率で含意関係を捉える？ I have two catsの後にI don’t have a catやI have a catなど互いに矛盾する文は続きにくいが、One is orangeなど、新情報を追加する文は続きやすい：二つの文x,yの共起確率である程度含意関係を捉えている傾向[Merill+2024] 86 Ê p (x,y)≈logp(y|x)-logp(y|y)

Slide 87

Slide 87 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料合成的なモデルのふるまいに関するサーベイ[Mccurdy+2024] ● 研究者によって合成的なモデルのふるまいに関する考え方は異なる ● 合成的なふるまいは意味表現とは独立に考えてよい（S4）、部分から全体を構成する過程が解釈可能でなくても、構成要素とその合成に対してそれぞれに対応する正しい出力が得られればよい（S5）という考え方も？ 87

Slide 88

Slide 88 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料合成的汎化を考慮した応用技術数学の文章題[Lan+2022]やロボット制御[Zhou+2022]、キャプション生成[Nicolaus+2019]など、様々な応用タスクで合成的汎化能力の重要性が増している[Lin+2023] 88

Slide 89

Slide 89 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料規則に基づく言語モデルの評価に対する批判[Weissweiler+2025] これまでの言語モデルの汎化能力の評価は規則に基づき極端に単純化された設定における評価が中心であり、文脈依存性や多様な構文をより考慮した評価の必要性を指摘 →一見すると形式意味論と対立する考え方と捉えるかもしれないが、むしろ形式意味論の多様な状況や文脈を考慮した経験的検証と整合するremarkであり、これもまた計算言語学と自然言語処理の合流点の一つではないか 89

Slide 90

Slide 90 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料 LLMは量化の意味を捉えている？[Enyan+2024] ● Manyの意味[Hackl,2009] ○ Many A is Bは、BであるAの数が、ある閾値θ以上であるAの割合を構成する場合に限り、そのときのみにおいて真 ● Many A is Bの意味はMore than half A is Bより曖昧 90

Slide 91

Slide 91 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料 LLMは量化の意味を捉えている？ There are 500 balls. 234 of them are yellow. Are many balls are yellow?という質問形式で量化の意味をモデルと人に聞き結果を比較：厳密な量化と曖昧な量化の判断に差がある傾向は共通 91

Slide 92

Slide 92 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料ラムダ計算：α変換（α-conversion）束縛変項の名前の書き換えができるラムダ項Mにおける変項xの自由な出現をすべて変項yによって置き換えた結果をM[x:=y]と表す。このとき (i) yはMに自由に現れない (ii) 置換によってyがMにおいて束縛されることはないという二条件が満たされているときに限り、以下が成り立つ例 λx.run(x)=λy.run(y) λx.run(x)∧love(x,z)=λy.run(y)∧love(y,z) 92 λx.M = λy.M[x:=y]

Slide 93

Slide 93 text

言語処理学会第31回年次大会（NLP2025）チュートリアル資料 Neuro-Symbolic AIの背景：二重過程理論人の思考と推論に関する理論[Evans 2003, Kahneman 2011] システム１（即応的知能）迅速で直感的、ヒューリスティクスに基づく推論現在の深層学習のアプローチと親和性が高いシステム２（熟考的知能）時間がかかるが内省的、論理的思考に基づく推論現在の論理のアプローチと親和性が高いシステム1とシステム2の構成は、現在も議論が続いている 93