Slide 31
Slide 31 text
© Hitachi, Ltd. 2023. All rights reserved.
31
(RuleTaker) Transformers as soft reasoners over language
論証 = 含意
Critical thinking for language models
論証 =クリティカルシンキング
先行研究 - 演繹推論実例の生成
(Peter Clark, Oyvind Tafjord, and Kyle Richardson)
(Gregor Betz, Christian Voigt, and Kyle Richardson)
𝑮𝑮(𝒂𝒂)
∀𝒙𝒙 𝑭𝑭 𝒙𝒙 → 𝑮𝑮(𝒙𝒙) 𝑭𝑭(𝒂𝒂)
𝓕𝓕 → 𝓖𝓖
¬𝓖𝓖 → ¬𝓕𝓕
論証が恣意的(=公理系ではないので完全性を持たず) → 多様な演繹推論実例を生成できない
→ 言語モデルに多様な演繹推論を教えられない
実例に関する様々な条件を設定できない → 解析研究ができない.
問題点