Upgrade to Pro — share decks privately, control downloads, hide ads and more …

人工演繹推論コーパスによる学習は言語モデルをどのように強化するか?

もりし
August 22, 2023
44

 人工演繹推論コーパスによる学習は言語モデルをどのように強化するか?

人工知能学会2023での発表スライド。

予稿はこちら: 人工演繹推論コーパスによる学習は言語モデルをどのように強化するか?

もりし

August 22, 2023
Tweet

Transcript

  1. 人工演繹推論コーパスによる学習は
    言語モデルをどのように強化するか?
    森下皓文
    日立製作所 先端AIイノベーションセンタ
    メディア知能処理研究部

    View full-size slide

  2. © Hitachi, Ltd. 2023. All rights reserved.
    要約
    1. 要約
    2. 背景
    3. 前提知識① - 演繹推論とは?
    4. 前提知識② - 完全性定理
    5. 公理系による多段推論事例の
    自動生成フレームワーク
    6. 実験
    7. まとめ

    View full-size slide

  3. © Hitachi, Ltd. 2023. All rights reserved.
    3
    要約
     言語モデル(LM)に演繹推論を学習させるため,
    演繹推論コーパスを自動生成するフレームワークを提案.
     実験により:
    1. LM(GPT-4/T5)の演繹推論能力を評価.
    2. 提案コーパスでの学習による演繹推論能力の向上を確認.
    3. LMの演繹推論能力で不十分な側面を解析 → 方向性を議論
     コーパス・モデル・コードを公開
     https://github.com/hitachi-nlp/FLD

    View full-size slide

  4. © Hitachi, Ltd. 2023. All rights reserved.
    背景
    1. 要約
    2. 背景
    3. 前提知識① - 演繹推論とは?
    4. 前提知識② - 完全性定理
    5. 公理系による多段推論事例の
    自動生成フレームワーク
    6. 実験
    7. まとめ

    View full-size slide

  5. © Hitachi, Ltd. 2023. All rights reserved.
    5
    背景
     豊富な知識と高い推論能力を備えた=考える機械[1]の実現は大きなゴール
     言語モデル(LM)は知識は豊富 → 論理推論は苦手?
     例: LMは否定(negation)が苦手,
     Can Large Language Models Reason? https://aiguide.substack.com/p/can-large-language-models-reason
     論理推論をどのように学習させればよいか?
     「豊富な知識」はテキストコーパス中の大量の実例から学習.

    View full-size slide

  6. © Hitachi, Ltd. 2023. All rights reserved.
    6
    背景
     豊富な知識と高い推論能力を備えた=考える機械[1]の実現は大きなゴール
     言語モデル(LM)は知識は豊富 → 論理推論は苦手?
     例: LMは否定(negation)が苦手,
     Can Large Language Models Reason? https://aiguide.substack.com/p/can-large-language-models-reason
     論理推論をどのように学習させればよいか?
     「豊富な知識」はテキストコーパス中の大量の実例から学習.
    論理推論の実例を大量に学習させればよい?

    View full-size slide

  7. © Hitachi, Ltd. 2023. All rights reserved.
    前提知識①
    - 演繹推論とは?-
    1. 要約
    2. 背景
    3. 前提知識① - 演繹推論とは?
    4. 前提知識② - 完全性定理
    5. 公理系による多段推論事例の
    自動生成フレームワーク
    6. 実験
    7. まとめ

    View full-size slide

  8. © Hitachi, Ltd. 2023. All rights reserved.
    8
    妥当な推論ステップ - その1
    論理的に出てくる

    View full-size slide

  9. © Hitachi, Ltd. 2023. All rights reserved.
    9
    妥当な推論ステップ - その2
    論理的に出てくる

    View full-size slide

  10. © Hitachi, Ltd. 2023. All rights reserved.
    10
    演繹推論のステップとは何か?
     演繹推論ステップ=論証 は記号で表現可能
     論証の妥当性は,前提や結論の内容の妥当性には依存しない.
    もし仮に前提が成立していれば,結論が論理的に出てくるかのみで判定される.

    View full-size slide

  11. © Hitachi, Ltd. 2023. All rights reserved.
    11
    論理 ≠ 知識
    地球には四季が 埋めて!

    View full-size slide

  12. © Hitachi, Ltd. 2023. All rights reserved.
    12
    論理 ≠ 知識
    地球には四季が ある
    我々の世界で成り立っていると知っているから埋まる

    View full-size slide

  13. © Hitachi, Ltd. 2023. All rights reserved.
    13
    論理 ≠ 知識
    地球には四季が ある
     知識 : 前提や結論の内容自体の妥当性=この世界で成り立っているか(真=1か偽=0か)
    →NLPにおける世界知識・常識知識
    我々の世界で成り立っていると知っているから埋まる

    View full-size slide

  14. © Hitachi, Ltd. 2023. All rights reserved.
    14
    論理 ≠ 知識
    地球には四季が ある
     知識 : 前提や結論の内容自体の妥当性=この世界で成り立っているか(真=1か偽=0か)
     論理 : もし仮に前提が成立したら結論が論理的に出てくるか
    →形式論理の統語論
    →NLPにおける世界知識・常識知識
    我々の世界で成り立っていると知っているから埋まる

    View full-size slide

  15. © Hitachi, Ltd. 2023. All rights reserved.
    15
    論理 ≠ 知識
    地球には四季が ある
    我々の世界で成り立っていると知っているから埋まる
    知識と論理は別モノ!
     知識 : 前提や結論の内容自体の妥当性=この世界で成り立っているか(真=1か偽=0か)
     論理 : もし仮に前提が成立したら結論が論理的に出てくるか
    →形式論理の統語論
    →NLPにおける世界知識・常識知識

    View full-size slide

  16. © Hitachi, Ltd. 2023. All rights reserved.
    16
    背景
     豊富な知識と高い推論能力を備えた=考える機械[1]の実現は大きなゴール
     言語モデル(LM)は知識は豊富 → 論理推論は苦手?
     例: LMは否定(negation)が苦手等[6-8].
     Can Large Language Models Reason? https://aiguide.substack.com/p/can-large-language-models-reason
     論理推論をどのように学習させる?
    1. 豊富な知識 = テキストコーパス中の大量の実例から学習.
    2. 論理推論能力 = 大量の論理推論の実例から学習させればよい?
    非自明な問い

    View full-size slide

  17. © Hitachi, Ltd. 2023. All rights reserved.
    前提知識②
    - 一階述語論理の完全性 -
    1. 要約
    2. 背景
    3. 前提知識① - 演繹推論とは?
    4. 前提知識② - 完全性定理
    5. 公理系による多段推論事例の
    自動生成フレームワーク
    6. 実験
    7. まとめ

    View full-size slide

  18. © Hitachi, Ltd. 2023. All rights reserved.
    18
    様々な論証
    前提・結論に現れうる論理式は多様なパターン
    → 論証は多様なパターンが考えられる
    (三段論法)

    View full-size slide

  19. © Hitachi, Ltd. 2023. All rights reserved.
    19
    多段演繹推論
    複雑な論証は,より“原子的な”な論証で導出できる?

    View full-size slide

  20. © Hitachi, Ltd. 2023. All rights reserved.
    20
    完全性
    一階述語論理の完全性定理 [Gödel, 1929]
    1. 全ての妥当な(*)論証は,公理系による多段推論よって導出できる.
    2. 公理系による多段推論によって導出された論証は全て妥当である.
    (*)..前提が全て真 (=1) ならば結論も必ず真 (=1) となるような論証 のこと
    原子的な論証の集合
    (次ページ)

    View full-size slide

  21. © Hitachi, Ltd. 2023. All rights reserved.
    21
    公理系に含まれる論証

    View full-size slide

  22. © Hitachi, Ltd. 2023. All rights reserved.
    22
    言語モデルに何を学ばせる?

    View full-size slide

  23. © Hitachi, Ltd. 2023. All rights reserved.
    23
    言語モデルに何を学ばせる?
    問い: 論証は多様なパターン.言語モデルにどれを学ばせようか?

    View full-size slide

  24. © Hitachi, Ltd. 2023. All rights reserved.
    24
    言語モデルに何を学ばせる?
    [完全性] 公理系による多段推論は任意の論証を表すことができる
    問い: 論証は多様なパターン.言語モデルにどれを学ばせようか?

    View full-size slide

  25. © Hitachi, Ltd. 2023. All rights reserved.
    25
    言語モデルに何を学ばせる?
    公理系による多段推論を学ばせたい...!
    [完全性] 公理系による多段推論は任意の論証を表すことができる
    問い: 論証は多様なパターン.言語モデルにどれを学ばせようか?

    View full-size slide

  26. © Hitachi, Ltd. 2023. All rights reserved.
    26
    言語モデルに何を学ばせる?
    公理系による多段推論を学ばせたい...!
    [完全性] 公理系による多段推論は任意の論証を表すことができる
    「公理系による多段推論の実例」を大量に用意して
    学習させればよい!!
    問い: 論証は多様なパターン.言語モデルにどれを学ばせようか?

    View full-size slide

  27. © Hitachi, Ltd. 2023. All rights reserved.
    公理系による多段推論実例の
    自動生成フレームワーク
    1. 要約
    2. 背景
    3. 前提知識① - 演繹推論とは?
    4. 前提知識② - 完全性定理
    5. 公理系による多段推論事例の
    自動生成フレームワーク
    6. 実験
    7. まとめ

    View full-size slide

  28. © Hitachi, Ltd. 2023. All rights reserved.
    28
    Formal Logic Deduction
    FLD (Formal Logic Deduction)
     公理系により多様な多段推論の実例を生成
     様々な設定の実例を生成できる → 解析研究ができる(後述)

    View full-size slide

  29. © Hitachi, Ltd. 2023. All rights reserved.
    29
    多段推論の実例とは?
    実例データ
    facts

    View full-size slide

  30. © Hitachi, Ltd. 2023. All rights reserved.
    30
    FLDで生成された演繹推論実例
    Prompt
    Output
    facts
    hypothesis
    proof
    answer

    View full-size slide

  31. © Hitachi, Ltd. 2023. All rights reserved.
    31
     (RuleTaker) Transformers as soft reasoners over language
     論証 = 含意
     Critical thinking for language models
     論証 =クリティカルシンキング
    先行研究 - 演繹推論実例の生成
    (Peter Clark, Oyvind Tafjord, and Kyle Richardson)
    (Gregor Betz, Christian Voigt, and Kyle Richardson)
    𝑮𝑮(𝒂𝒂)
    ∀𝒙𝒙 𝑭𝑭 𝒙𝒙 → 𝑮𝑮(𝒙𝒙) 𝑭𝑭(𝒂𝒂)
    𝓕𝓕 → 𝓖𝓖
    ¬𝓖𝓖 → ¬𝓕𝓕
     論証が恣意的(=公理系ではないので完全性を持たず) → 多様な演繹推論実例を生成できない
    → 言語モデルに多様な演繹推論を教えられない
     実例に関する様々な条件を設定できない → 解析研究ができない.
    問題点

    View full-size slide

  32. © Hitachi, Ltd. 2023. All rights reserved.
    実験
    1. 要約
    2. 背景
    3. 前提知識① - 演繹推論とは?
    4. 前提知識② - 完全性定理
    5. 公理系による多段推論事例の
    自動生成フレームワーク
    6. 実験
    7. まとめ

    View full-size slide

  33. © Hitachi, Ltd. 2023. All rights reserved.
    実験1: 言語モデルは演繹推論を解けるか?

    View full-size slide

  34. © Hitachi, Ltd. 2023. All rights reserved.
    34
    言語モデルの演繹推論能力を評価
    FLD : 証明ステップ数=1~3
    FLD★ : 証明ステップ数=1~8
    言語モデル(T5/GPT-4)の,提案コーパスFLDでの性能(証明正解率[21])を評価
    小さい言語モデル(0.2Bパラメタ).
    fine-tuningした後に評価.
    (30kデータ, 20k ステップ).
    例のでかいやつ(105B パラメタ?)
    20-shotで評価.
    言語モデルの演繹推論能力はまだ十分ではない.

    View full-size slide

  35. © Hitachi, Ltd. 2023. All rights reserved.
    実験2: 演繹推論コーパスでの学習は有用か?

    View full-size slide

  36. © Hitachi, Ltd. 2023. All rights reserved.
    36
    演繹コーパスでの学習の効果
    ベンチマーク= 自動生成された演繹コーパス
    学習コーパス
    ベンチ
    マーク
    ベンチマーク=人手作製コーパス (EntailmentBank[14])
    学習
    コーパス
    提案コーパスでの学習は演繹推論能力の向上に繋がる
    言語モデルT5(演繹コーパスでの学習あり/なし)を
    論理推論ベンチマークで評価
    ベンチマーク
    学習無し
    先行コーパスで学習
    提案コーパスで学習

    View full-size slide

  37. © Hitachi, Ltd. 2023. All rights reserved.
    実験3: 言語モデルの演繹推論能力で
    不十分な側面は何か?

    View full-size slide

  38. © Hitachi, Ltd. 2023. All rights reserved.
    38
    不十分な側面は何?
    性能×→LMは元々「複雑な論理式を理解する能力」を持たず
    言語モデルに足りない側面が明らかになる → 今後の方向性を議論できる
    作製したコーパス群
    学習コーパス
    評価
    コーパス
    「論理式の複雑さ」に関する調査
    問題設定が異なる様々なコーパスを作製
    → 言語モデルT5の転移性能を測り「差分を埋められるか」を特定
    「言語的多様性」に関する調査
    性能○→LMは元々「多様な言語表現」を理解する能力を保持
    学習コーパス
    評価
    コーパス
    転移評価
    単純: 𝐴𝐴 → 𝐵𝐵
    複雑: ¬ 𝐴𝐴 ∧ ¬𝐵𝐵 → ¬¬𝐶𝐶
    単純
    複雑

    View full-size slide

  39. © Hitachi, Ltd. 2023. All rights reserved.
    39
    各側面における結果と,今後の方向性
    側面 側面の説明 言語モデルのみで十分か? 今後の方向性
    複雑な論理式の理解 例:
    単純: 𝐴𝐴 → 𝐵𝐵
    複雑: ¬ 𝐴𝐴 ∧ ¬𝐵𝐵 → ¬¬𝐶𝐶
    ×
    (事前学習コーパスに明示的な教示なし)
    • 演繹コーパスにもっと複雑な
    論理式を含める.
    • 学習論的アプローチ[Pröllochs
    19, Hosseini 21]
    多様な言語表現の理解 例:
    “A cause B” ≓ “A leads to B”
    ○ (不要)
    ステップ数が多い演繹の実行 1 ~ 8 ステップを試行 ×
    (FLDでの学習後でも4ステップ以上は解
    けない.公理系の組み合わせによる証明
    木の空間は膨大.探索できてない.)
    • 証明木の空間上での,賢い探
    索方法を取り入れる.
    ノイズ事実への頑健性 事実群(facts)に最大20個のノ
    イズ事実を混入
    ×
    (事前学習コーパスにはノイズ事実は含
    まれず)
    • より実際的なシーンを模擬し
    たノイズ事実を使う(e.g., 検索に
    よって集めたノイズ混じりの事実群を
    使う)
    演繹規則(論証)の知識 公理系や三段論法等,無限個. × • FLDで様々な論証を原理的に
    学習可(完全性の恩恵).
    詳細は予稿を参考のこと

    View full-size slide

  40. © Hitachi, Ltd. 2023. All rights reserved.
    まとめ
    1. 要約
    2. 背景
    3. 前提知識① - 演繹推論とは?
    4. 前提知識② - 完全性定理
    5. 公理系による多段推論事例の
    自動生成フレームワーク
    6. 実験
    7. まとめ

    View full-size slide

  41. © Hitachi, Ltd. 2023. All rights reserved.
    41
    まとめ
    ご静聴ありがとうございました.
     言語モデルに演繹推論を学習させるため,
    演繹推論コーパスを自動生成するフレームワークを提案.
    1. 一階述語論理の完全性に基づき,多様な演繹推論実例を生成.
    2. 解析実験のため様々な条件でコーパスを生成可能.
     実験により:
    1. LM(GPT-4/T5)の演繹推論能力を評価.
    2. 提案コーパスでの学習による演繹推論能力の向上を確認.
    3. LMの演繹推論能力で不十分な側面を解析 → 方向性を議論
     コーパス・モデル・コードを公開
     https://github.com/hitachi-nlp/FLD

    View full-size slide