Tweet
Tweet

Slide 1

Slide 1 text

人工演繹推論コーパスによる学習は 言語モデルをどのように強化するか？ 森下皓文 日立製作所 先端AIイノベーションセンタ メディア知能処理研究部

Slide 2

Slide 2 text

© Hitachi, Ltd. 2023. All rights reserved. 要約 1. 要約 2. 背景 3. 前提知識① - 演繹推論とは？ 4. 前提知識② - 完全性定理 5. 公理系による多段推論事例の 自動生成フレームワーク 6. 実験 7. まとめ

Slide 3

Slide 3 text

© Hitachi, Ltd. 2023. All rights reserved. 3 要約  言語モデル(LM)に演繹推論を学習させるため， 演繹推論コーパスを自動生成するフレームワークを提案．  実験により: 1. LM(GPT-4/T5)の演繹推論能力を評価． 2. 提案コーパスでの学習による演繹推論能力の向上を確認． 3. LMの演繹推論能力で不十分な側面を解析 → 方向性を議論  コーパス・モデル・コードを公開  https://github.com/hitachi-nlp/FLD

Slide 4

Slide 4 text

© Hitachi, Ltd. 2023. All rights reserved. 背景 1. 要約 2. 背景 3. 前提知識① - 演繹推論とは？ 4. 前提知識② - 完全性定理 5. 公理系による多段推論事例の 自動生成フレームワーク 6. 実験 7. まとめ

Slide 5

Slide 5 text

© Hitachi, Ltd. 2023. All rights reserved. 5 背景  豊富な知識と高い推論能力を備えた=考える機械[1]の実現は大きなゴール  言語モデル(LM)は知識は豊富 → 論理推論は苦手？  例: LMは否定(negation)が苦手，  Can Large Language Models Reason? https://aiguide.substack.com/p/can-large-language-models-reason  論理推論をどのように学習させればよいか？  「豊富な知識」はテキストコーパス中の大量の実例から学習．

Slide 6

Slide 6 text

© Hitachi, Ltd. 2023. All rights reserved. 6 背景  豊富な知識と高い推論能力を備えた=考える機械[1]の実現は大きなゴール  言語モデル(LM)は知識は豊富 → 論理推論は苦手？  例: LMは否定(negation)が苦手，  Can Large Language Models Reason? https://aiguide.substack.com/p/can-large-language-models-reason  論理推論をどのように学習させればよいか？  「豊富な知識」はテキストコーパス中の大量の実例から学習． 論理推論の実例を大量に学習させればよい？

Slide 7

Slide 7 text

© Hitachi, Ltd. 2023. All rights reserved. 前提知識① - 演繹推論とは？- 1. 要約 2. 背景 3. 前提知識① - 演繹推論とは？ 4. 前提知識② - 完全性定理 5. 公理系による多段推論事例の 自動生成フレームワーク 6. 実験 7. まとめ

Slide 8

Slide 8 text

© Hitachi, Ltd. 2023. All rights reserved. 8 妥当な推論ステップ - その１ 論理的に出てくる

Slide 9

Slide 9 text

© Hitachi, Ltd. 2023. All rights reserved. 9 妥当な推論ステップ - その２ 論理的に出てくる

Slide 10

Slide 10 text

© Hitachi, Ltd. 2023. All rights reserved. 10 演繹推論のステップとは何か？  演繹推論ステップ=論証 は記号で表現可能  論証の妥当性は，前提や結論の内容の妥当性には依存しない． もし仮に前提が成立していれば，結論が論理的に出てくるかのみで判定される．

Slide 11

Slide 11 text

© Hitachi, Ltd. 2023. All rights reserved. 11 論理 ≠ 知識 地球には四季が 埋めて!

Slide 12

Slide 12 text

© Hitachi, Ltd. 2023. All rights reserved. 12 論理 ≠ 知識 地球には四季が ある 我々の世界で成り立っていると知っているから埋まる

Slide 13

Slide 13 text

© Hitachi, Ltd. 2023. All rights reserved. 13 論理 ≠ 知識 地球には四季が ある  知識 : 前提や結論の内容自体の妥当性=この世界で成り立っているか(真=1か偽=0か) →NLPにおける世界知識・常識知識 我々の世界で成り立っていると知っているから埋まる

Slide 14

Slide 14 text

© Hitachi, Ltd. 2023. All rights reserved. 14 論理 ≠ 知識 地球には四季が ある  知識 : 前提や結論の内容自体の妥当性=この世界で成り立っているか(真=1か偽=0か)  論理 : もし仮に前提が成立したら結論が論理的に出てくるか →形式論理の統語論 →NLPにおける世界知識・常識知識 我々の世界で成り立っていると知っているから埋まる

Slide 15

Slide 15 text

© Hitachi, Ltd. 2023. All rights reserved. 15 論理 ≠ 知識 地球には四季が ある 我々の世界で成り立っていると知っているから埋まる 知識と論理は別モノ!  知識 : 前提や結論の内容自体の妥当性=この世界で成り立っているか(真=1か偽=0か)  論理 : もし仮に前提が成立したら結論が論理的に出てくるか →形式論理の統語論 →NLPにおける世界知識・常識知識

Slide 16

Slide 16 text

© Hitachi, Ltd. 2023. All rights reserved. 16 背景  豊富な知識と高い推論能力を備えた=考える機械[1]の実現は大きなゴール  言語モデル(LM)は知識は豊富 → 論理推論は苦手？  例: LMは否定(negation)が苦手等[6-8]．  Can Large Language Models Reason? https://aiguide.substack.com/p/can-large-language-models-reason  論理推論をどのように学習させる？ 1. 豊富な知識 = テキストコーパス中の大量の実例から学習． 2. 論理推論能力 = 大量の論理推論の実例から学習させればよい？ 非自明な問い

Slide 17

Slide 17 text

© Hitachi, Ltd. 2023. All rights reserved. 前提知識② - 一階述語論理の完全性 - 1. 要約 2. 背景 3. 前提知識① - 演繹推論とは？ 4. 前提知識② - 完全性定理 5. 公理系による多段推論事例の 自動生成フレームワーク 6. 実験 7. まとめ

Slide 18

Slide 18 text

© Hitachi, Ltd. 2023. All rights reserved. 18 様々な論証 前提・結論に現れうる論理式は多様なパターン → 論証は多様なパターンが考えられる (三段論法)

Slide 19

Slide 19 text

© Hitachi, Ltd. 2023. All rights reserved. 19 多段演繹推論 複雑な論証は，より“原子的な”な論証で導出できる?

Slide 20

Slide 20 text

© Hitachi, Ltd. 2023. All rights reserved. 20 完全性 一階述語論理の完全性定理 [Gödel, 1929] 1. 全ての妥当な(*)論証は，公理系による多段推論よって導出できる． 2. 公理系による多段推論によって導出された論証は全て妥当である． (*)..前提が全て真 (=1) ならば結論も必ず真 (=1) となるような論証 のこと 原子的な論証の集合 (次ページ)

Slide 21

Slide 21 text

© Hitachi, Ltd. 2023. All rights reserved. 21 公理系に含まれる論証

Slide 22

Slide 22 text

© Hitachi, Ltd. 2023. All rights reserved. 22 言語モデルに何を学ばせる？

Slide 23

Slide 23 text

© Hitachi, Ltd. 2023. All rights reserved. 23 言語モデルに何を学ばせる？ 問い: 論証は多様なパターン．言語モデルにどれを学ばせようか？

Slide 24

Slide 24 text

© Hitachi, Ltd. 2023. All rights reserved. 24 言語モデルに何を学ばせる？ [完全性] 公理系による多段推論は任意の論証を表すことができる 問い: 論証は多様なパターン．言語モデルにどれを学ばせようか？

Slide 25

Slide 25 text

© Hitachi, Ltd. 2023. All rights reserved. 25 言語モデルに何を学ばせる？ 公理系による多段推論を学ばせたい...! [完全性] 公理系による多段推論は任意の論証を表すことができる 問い: 論証は多様なパターン．言語モデルにどれを学ばせようか？

Slide 26

Slide 26 text

© Hitachi, Ltd. 2023. All rights reserved. 26 言語モデルに何を学ばせる？ 公理系による多段推論を学ばせたい...! [完全性] 公理系による多段推論は任意の論証を表すことができる 「公理系による多段推論の実例」を大量に用意して 学習させればよい!! 問い: 論証は多様なパターン．言語モデルにどれを学ばせようか？

Slide 27

Slide 27 text

© Hitachi, Ltd. 2023. All rights reserved. 公理系による多段推論実例の 自動生成フレームワーク 1. 要約 2. 背景 3. 前提知識① - 演繹推論とは？ 4. 前提知識② - 完全性定理 5. 公理系による多段推論事例の 自動生成フレームワーク 6. 実験 7. まとめ

Slide 28

Slide 28 text

© Hitachi, Ltd. 2023. All rights reserved. 28 Formal Logic Deduction FLD (Formal Logic Deduction)  公理系により多様な多段推論の実例を生成  様々な設定の実例を生成できる → 解析研究ができる(後述)

Slide 29

Slide 29 text

© Hitachi, Ltd. 2023. All rights reserved. 29 多段推論の実例とは？ 実例データ facts

Slide 30

Slide 30 text

© Hitachi, Ltd. 2023. All rights reserved. 30 FLDで生成された演繹推論実例 Prompt Output facts hypothesis proof answer

Slide 31

Slide 31 text

© Hitachi, Ltd. 2023. All rights reserved. 31  (RuleTaker) Transformers as soft reasoners over language  論証 = 含意  Critical thinking for language models  論証 =クリティカルシンキング 先行研究 - 演繹推論実例の生成 (Peter Clark, Oyvind Tafjord, and Kyle Richardson) (Gregor Betz, Christian Voigt, and Kyle Richardson) 𝑮𝑮(𝒂𝒂) ∀𝒙𝒙 𝑭𝑭 𝒙𝒙 → 𝑮𝑮(𝒙𝒙) 𝑭𝑭(𝒂𝒂) 𝓕𝓕 → 𝓖𝓖 ¬𝓖𝓖 → ¬𝓕𝓕  論証が恣意的(=公理系ではないので完全性を持たず) → 多様な演繹推論実例を生成できない → 言語モデルに多様な演繹推論を教えられない  実例に関する様々な条件を設定できない → 解析研究ができない． 問題点

Slide 32

Slide 32 text

© Hitachi, Ltd. 2023. All rights reserved. 実験 1. 要約 2. 背景 3. 前提知識① - 演繹推論とは？ 4. 前提知識② - 完全性定理 5. 公理系による多段推論事例の 自動生成フレームワーク 6. 実験 7. まとめ

Slide 33

Slide 33 text

© Hitachi, Ltd. 2023. All rights reserved. 実験1: 言語モデルは演繹推論を解けるか？

Slide 34

Slide 34 text

© Hitachi, Ltd. 2023. All rights reserved. 34 言語モデルの演繹推論能力を評価 FLD : 証明ステップ数=1~3 FLD★ : 証明ステップ数=1~8 言語モデル(T5/GPT-4)の，提案コーパスFLDでの性能(証明正解率[21])を評価 小さい言語モデル(0.2Bパラメタ)． fine-tuningした後に評価． (30kデータ, 20k ステップ)． 例のでかいやつ(105B パラメタ?) 20-shotで評価． 言語モデルの演繹推論能力はまだ十分ではない．

Slide 35

Slide 35 text

© Hitachi, Ltd. 2023. All rights reserved. 実験2: 演繹推論コーパスでの学習は有用か？

Slide 36

Slide 36 text

© Hitachi, Ltd. 2023. All rights reserved. 36 演繹コーパスでの学習の効果 ベンチマーク= 自動生成された演繹コーパス 学習コーパス ベンチ マーク ベンチマーク=人手作製コーパス (EntailmentBank[14]) 学習 コーパス 提案コーパスでの学習は演繹推論能力の向上に繋がる 言語モデルT5(演繹コーパスでの学習あり/なし)を 論理推論ベンチマークで評価 ベンチマーク 学習無し 先行コーパスで学習 提案コーパスで学習

Slide 37

Slide 37 text

© Hitachi, Ltd. 2023. All rights reserved. 実験3: 言語モデルの演繹推論能力で 不十分な側面は何か？

Slide 38

Slide 38 text

© Hitachi, Ltd. 2023. All rights reserved. 38 不十分な側面は何？ 性能×→LMは元々「複雑な論理式を理解する能力」を持たず 言語モデルに足りない側面が明らかになる → 今後の方向性を議論できる 作製したコーパス群 学習コーパス 評価 コーパス 「論理式の複雑さ」に関する調査 問題設定が異なる様々なコーパスを作製 → 言語モデルT5の転移性能を測り「差分を埋められるか」を特定 「言語的多様性」に関する調査 性能○→LMは元々「多様な言語表現」を理解する能力を保持 学習コーパス 評価 コーパス 転移評価 単純: 𝐴𝐴 → 𝐵𝐵 複雑: ¬ 𝐴𝐴 ∧ ¬𝐵𝐵 → ¬¬𝐶𝐶 単純 複雑

Slide 39

Slide 39 text

© Hitachi, Ltd. 2023. All rights reserved. 39 各側面における結果と，今後の方向性 側面 側面の説明 言語モデルのみで十分か？ 今後の方向性 複雑な論理式の理解 例: 単純: 𝐴𝐴 → 𝐵𝐵 複雑: ¬ 𝐴𝐴 ∧ ¬𝐵𝐵 → ¬¬𝐶𝐶 × (事前学習コーパスに明示的な教示なし) • 演繹コーパスにもっと複雑な 論理式を含める． • 学習論的アプローチ[Pröllochs 19, Hosseini 21] 多様な言語表現の理解 例: “A cause B” ≓ “A leads to B” ○ (不要) ステップ数が多い演繹の実行 1 ~ 8 ステップを試行 × (FLDでの学習後でも4ステップ以上は解 けない．公理系の組み合わせによる証明 木の空間は膨大．探索できてない．) • 証明木の空間上での，賢い探 索方法を取り入れる． ノイズ事実への頑健性 事実群(facts)に最大20個のノ イズ事実を混入 × (事前学習コーパスにはノイズ事実は含 まれず) • より実際的なシーンを模擬し たノイズ事実を使う(e.g., 検索に よって集めたノイズ混じりの事実群を 使う) 演繹規則(論証)の知識 公理系や三段論法等，無限個． × • FLDで様々な論証を原理的に 学習可(完全性の恩恵)． 詳細は予稿を参考のこと

Slide 40

Slide 40 text

© Hitachi, Ltd. 2023. All rights reserved. まとめ 1. 要約 2. 背景 3. 前提知識① - 演繹推論とは？ 4. 前提知識② - 完全性定理 5. 公理系による多段推論事例の 自動生成フレームワーク 6. 実験 7. まとめ

Slide 41

Slide 41 text

© Hitachi, Ltd. 2023. All rights reserved. 41 まとめ ご静聴ありがとうございました．  言語モデルに演繹推論を学習させるため， 演繹推論コーパスを自動生成するフレームワークを提案． 1. 一階述語論理の完全性に基づき，多様な演繹推論実例を生成． 2. 解析実験のため様々な条件でコーパスを生成可能．  実験により: 1. LM(GPT-4/T5)の演繹推論能力を評価． 2. 提案コーパスでの学習による演繹推論能力の向上を確認． 3. LMの演繹推論能力で不十分な側面を解析 → 方向性を議論  コーパス・モデル・コードを公開  https://github.com/hitachi-nlp/FLD