人工演繹推論コーパスによる学習は言語モデルをどのように強化するか？

人工知能学会２０２３での発表スライド。

予稿はこちら: 人工演繹推論コーパスによる学習は言語モデルをどのように強化するか？

Transcript

1. 人工演繹推論コーパスによる学習は 言語モデルをどのように強化するか？ 森下皓文 日立製作所 先端AIイノベーションセンタ メディア知能処理研究部
2. © Hitachi, Ltd. 2023. All rights reserved. 要約 1. 要約 2. 背景 3. 前提知識① - 演繹推論とは？ 4. 前提知識② - 完全性定理 5. 公理系による多段推論事例の 自動生成フレームワーク 6. 実験 7. まとめ
3. © Hitachi, Ltd. 2023. All rights reserved. 3 要約  言語モデル(LM)に演繹推論を学習させるため， 演繹推論コーパスを自動生成するフレームワークを提案．  実験により: 1. LM(GPT-4/T5)の演繹推論能力を評価． 2. 提案コーパスでの学習による演繹推論能力の向上を確認． 3. LMの演繹推論能力で不十分な側面を解析 → 方向性を議論  コーパス・モデル・コードを公開  https://github.com/hitachi-nlp/FLD
4. © Hitachi, Ltd. 2023. All rights reserved. 背景 1. 要約 2. 背景 3. 前提知識① - 演繹推論とは？ 4. 前提知識② - 完全性定理 5. 公理系による多段推論事例の 自動生成フレームワーク 6. 実験 7. まとめ
5. © Hitachi, Ltd. 2023. All rights reserved. 5 背景  豊富な知識と高い推論能力を備えた=考える機械[1]の実現は大きなゴール  言語モデル(LM)は知識は豊富 → 論理推論は苦手？  例: LMは否定(negation)が苦手，  Can Large Language Models Reason? https://aiguide.substack.com/p/can-large-language-models-reason  論理推論をどのように学習させればよいか？  「豊富な知識」はテキストコーパス中の大量の実例から学習．
6. © Hitachi, Ltd. 2023. All rights reserved. 6 背景  豊富な知識と高い推論能力を備えた=考える機械[1]の実現は大きなゴール  言語モデル(LM)は知識は豊富 → 論理推論は苦手？  例: LMは否定(negation)が苦手，  Can Large Language Models Reason? https://aiguide.substack.com/p/can-large-language-models-reason  論理推論をどのように学習させればよいか？  「豊富な知識」はテキストコーパス中の大量の実例から学習． 論理推論の実例を大量に学習させればよい？
7. © Hitachi, Ltd. 2023. All rights reserved. 前提知識① - 演繹推論とは？- 1. 要約 2. 背景 3. 前提知識① - 演繹推論とは？ 4. 前提知識② - 完全性定理 5. 公理系による多段推論事例の 自動生成フレームワーク 6. 実験 7. まとめ
8. © Hitachi, Ltd. 2023. All rights reserved. 8 妥当な推論ステップ - その１ 論理的に出てくる
9. © Hitachi, Ltd. 2023. All rights reserved. 9 妥当な推論ステップ - その２ 論理的に出てくる
10. © Hitachi, Ltd. 2023. All rights reserved. 10 演繹推論のステップとは何か？  演繹推論ステップ=論証 は記号で表現可能  論証の妥当性は，前提や結論の内容の妥当性には依存しない． もし仮に前提が成立していれば，結論が論理的に出てくるかのみで判定される．
11. © Hitachi, Ltd. 2023. All rights reserved. 11 論理 ≠ 知識 地球には四季が 埋めて!
12. © Hitachi, Ltd. 2023. All rights reserved. 12 論理 ≠ 知識 地球には四季が ある 我々の世界で成り立っていると知っているから埋まる
13. © Hitachi, Ltd. 2023. All rights reserved. 13 論理 ≠ 知識 地球には四季が ある  知識 : 前提や結論の内容自体の妥当性=この世界で成り立っているか(真=1か偽=0か) →NLPにおける世界知識・常識知識 我々の世界で成り立っていると知っているから埋まる
14. © Hitachi, Ltd. 2023. All rights reserved. 14 論理 ≠ 知識 地球には四季が ある  知識 : 前提や結論の内容自体の妥当性=この世界で成り立っているか(真=1か偽=0か)  論理 : もし仮に前提が成立したら結論が論理的に出てくるか →形式論理の統語論 →NLPにおける世界知識・常識知識 我々の世界で成り立っていると知っているから埋まる
15. © Hitachi, Ltd. 2023. All rights reserved. 15 論理 ≠ 知識 地球には四季が ある 我々の世界で成り立っていると知っているから埋まる 知識と論理は別モノ!  知識 : 前提や結論の内容自体の妥当性=この世界で成り立っているか(真=1か偽=0か)  論理 : もし仮に前提が成立したら結論が論理的に出てくるか →形式論理の統語論 →NLPにおける世界知識・常識知識
16. © Hitachi, Ltd. 2023. All rights reserved. 16 背景  豊富な知識と高い推論能力を備えた=考える機械[1]の実現は大きなゴール  言語モデル(LM)は知識は豊富 → 論理推論は苦手？  例: LMは否定(negation)が苦手等[6-8]．  Can Large Language Models Reason? https://aiguide.substack.com/p/can-large-language-models-reason  論理推論をどのように学習させる？ 1. 豊富な知識 = テキストコーパス中の大量の実例から学習． 2. 論理推論能力 = 大量の論理推論の実例から学習させればよい？ 非自明な問い
17. © Hitachi, Ltd. 2023. All rights reserved. 前提知識② - 一階述語論理の完全性 - 1. 要約 2. 背景 3. 前提知識① - 演繹推論とは？ 4. 前提知識② - 完全性定理 5. 公理系による多段推論事例の 自動生成フレームワーク 6. 実験 7. まとめ
18. © Hitachi, Ltd. 2023. All rights reserved. 18 様々な論証 前提・結論に現れうる論理式は多様なパターン → 論証は多様なパターンが考えられる (三段論法)
19. © Hitachi, Ltd. 2023. All rights reserved. 19 多段演繹推論 複雑な論証は，より“原子的な”な論証で導出できる?
20. © Hitachi, Ltd. 2023. All rights reserved. 20 完全性 一階述語論理の完全性定理 [Gödel, 1929] 1. 全ての妥当な(*)論証は，公理系による多段推論よって導出できる． 2. 公理系による多段推論によって導出された論証は全て妥当である． (*)..前提が全て真 (=1) ならば結論も必ず真 (=1) となるような論証 のこと 原子的な論証の集合 (次ページ)
21. © Hitachi, Ltd. 2023. All rights reserved. 21 公理系に含まれる論証
22. © Hitachi, Ltd. 2023. All rights reserved. 22 言語モデルに何を学ばせる？
23. © Hitachi, Ltd. 2023. All rights reserved. 23 言語モデルに何を学ばせる？ 問い: 論証は多様なパターン．言語モデルにどれを学ばせようか？
24. © Hitachi, Ltd. 2023. All rights reserved. 24 言語モデルに何を学ばせる？ [完全性] 公理系による多段推論は任意の論証を表すことができる 問い: 論証は多様なパターン．言語モデルにどれを学ばせようか？
25. © Hitachi, Ltd. 2023. All rights reserved. 25 言語モデルに何を学ばせる？ 公理系による多段推論を学ばせたい...! [完全性] 公理系による多段推論は任意の論証を表すことができる 問い: 論証は多様なパターン．言語モデルにどれを学ばせようか？
26. © Hitachi, Ltd. 2023. All rights reserved. 26 言語モデルに何を学ばせる？ 公理系による多段推論を学ばせたい...! [完全性] 公理系による多段推論は任意の論証を表すことができる 「公理系による多段推論の実例」を大量に用意して 学習させればよい!! 問い: 論証は多様なパターン．言語モデルにどれを学ばせようか？
27. © Hitachi, Ltd. 2023. All rights reserved. 公理系による多段推論実例の 自動生成フレームワーク 1. 要約 2. 背景 3. 前提知識① - 演繹推論とは？ 4. 前提知識② - 完全性定理 5. 公理系による多段推論事例の 自動生成フレームワーク 6. 実験 7. まとめ
28. © Hitachi, Ltd. 2023. All rights reserved. 28 Formal Logic Deduction FLD (Formal Logic Deduction)  公理系により多様な多段推論の実例を生成  様々な設定の実例を生成できる → 解析研究ができる(後述)
29. © Hitachi, Ltd. 2023. All rights reserved. 29 多段推論の実例とは？ 実例データ facts
30. © Hitachi, Ltd. 2023. All rights reserved. 30 FLDで生成された演繹推論実例 Prompt Output facts hypothesis proof answer
31. © Hitachi, Ltd. 2023. All rights reserved. 31  (RuleTaker) Transformers as soft reasoners over language  論証 = 含意  Critical thinking for language models  論証 =クリティカルシンキング 先行研究 - 演繹推論実例の生成 (Peter Clark, Oyvind Tafjord, and Kyle Richardson) (Gregor Betz, Christian Voigt, and Kyle Richardson) 𝑮𝑮(𝒂𝒂) ∀𝒙𝒙 𝑭𝑭 𝒙𝒙 → 𝑮𝑮(𝒙𝒙) 𝑭𝑭(𝒂𝒂) 𝓕𝓕 → 𝓖𝓖 ¬𝓖𝓖 → ¬𝓕𝓕  論証が恣意的(=公理系ではないので完全性を持たず) → 多様な演繹推論実例を生成できない → 言語モデルに多様な演繹推論を教えられない  実例に関する様々な条件を設定できない → 解析研究ができない． 問題点
32. © Hitachi, Ltd. 2023. All rights reserved. 実験 1. 要約 2. 背景 3. 前提知識① - 演繹推論とは？ 4. 前提知識② - 完全性定理 5. 公理系による多段推論事例の 自動生成フレームワーク 6. 実験 7. まとめ
33. © Hitachi, Ltd. 2023. All rights reserved. 実験1: 言語モデルは演繹推論を解けるか？
34. © Hitachi, Ltd. 2023. All rights reserved. 34 言語モデルの演繹推論能力を評価 FLD : 証明ステップ数=1~3 FLD★ : 証明ステップ数=1~8 言語モデル(T5/GPT-4)の，提案コーパスFLDでの性能(証明正解率[21])を評価 小さい言語モデル(0.2Bパラメタ)． fine-tuningした後に評価． (30kデータ, 20k ステップ)． 例のでかいやつ(105B パラメタ?) 20-shotで評価． 言語モデルの演繹推論能力はまだ十分ではない．
35. © Hitachi, Ltd. 2023. All rights reserved. 実験2: 演繹推論コーパスでの学習は有用か？
36. © Hitachi, Ltd. 2023. All rights reserved. 36 演繹コーパスでの学習の効果 ベンチマーク= 自動生成された演繹コーパス 学習コーパス ベンチ マーク ベンチマーク=人手作製コーパス (EntailmentBank[14]) 学習 コーパス 提案コーパスでの学習は演繹推論能力の向上に繋がる 言語モデルT5(演繹コーパスでの学習あり/なし)を 論理推論ベンチマークで評価 ベンチマーク 学習無し 先行コーパスで学習 提案コーパスで学習
37. © Hitachi, Ltd. 2023. All rights reserved. 実験3: 言語モデルの演繹推論能力で 不十分な側面は何か？
38. © Hitachi, Ltd. 2023. All rights reserved. 38 不十分な側面は何？ 性能×→LMは元々「複雑な論理式を理解する能力」を持たず 言語モデルに足りない側面が明らかになる → 今後の方向性を議論できる 作製したコーパス群 学習コーパス 評価 コーパス 「論理式の複雑さ」に関する調査 問題設定が異なる様々なコーパスを作製 → 言語モデルT5の転移性能を測り「差分を埋められるか」を特定 「言語的多様性」に関する調査 性能◦→LMは元々「多様な言語表現」を理解する能力を保持 学習コーパス 評価 コーパス 転移評価 単純: 𝐴𝐴 → 𝐵𝐵 複雑: ¬ 𝐴𝐴 ∧ ¬𝐵𝐵 → ¬¬𝐶𝐶 単純 複雑
39. © Hitachi, Ltd. 2023. All rights reserved. 39 各側面における結果と，今後の方向性 側面 側面の説明 言語モデルのみで十分か？ 今後の方向性 複雑な論理式の理解 例: 単純: 𝐴𝐴 → 𝐵𝐵 複雑: ¬ 𝐴𝐴 ∧ ¬𝐵𝐵 → ¬¬𝐶𝐶 × (事前学習コーパスに明示的な教示なし) • 演繹コーパスにもっと複雑な 論理式を含める． • 学習論的アプローチ[Pröllochs 19, Hosseini 21] 多様な言語表現の理解 例: “A cause B” ≓ “A leads to B” ◦ (不要) ステップ数が多い演繹の実行 1 ~ 8 ステップを試行 × (FLDでの学習後でも4ステップ以上は解 けない．公理系の組み合わせによる証明 木の空間は膨大．探索できてない．) • 証明木の空間上での，賢い探 索方法を取り入れる． ノイズ事実への頑健性 事実群(facts)に最大20個のノ イズ事実を混入 × (事前学習コーパスにはノイズ事実は含 まれず) • より実際的なシーンを模擬し たノイズ事実を使う(e.g., 検索に よって集めたノイズ混じりの事実群を 使う) 演繹規則(論証)の知識 公理系や三段論法等，無限個． × • FLDで様々な論証を原理的に 学習可(完全性の恩恵)． 詳細は予稿を参考のこと
40. © Hitachi, Ltd. 2023. All rights reserved. まとめ 1. 要約 2. 背景 3. 前提知識① - 演繹推論とは？ 4. 前提知識② - 完全性定理 5. 公理系による多段推論事例の 自動生成フレームワーク 6. 実験 7. まとめ
41. © Hitachi, Ltd. 2023. All rights reserved. 41 まとめ ご静聴ありがとうございました．  言語モデルに演繹推論を学習させるため， 演繹推論コーパスを自動生成するフレームワークを提案． 1. 一階述語論理の完全性に基づき，多様な演繹推論実例を生成． 2. 解析実験のため様々な条件でコーパスを生成可能．  実験により: 1. LM(GPT-4/T5)の演繹推論能力を評価． 2. 提案コーパスでの学習による演繹推論能力の向上を確認． 3. LMの演繹推論能力で不十分な側面を解析 → 方向性を議論  コーパス・モデル・コードを公開  https://github.com/hitachi-nlp/FLD