ACL読会2024「Chain-of-Question- A Progressive Question Decomposition Approach for Complex Knowledge Base Question Answering」

Transcript

1. Chain-of-Question: A Progressive Question Decomposition Approach for Complex Knowledge Base Question Answering Peng Yixing, Quan Wang, Licheng Zhang, Yi Liu, Zhendong Mao 静岡大学狩野研究室B3 河口欣仁(Kawaguchi Kinji)
2. 研究背景 • KBQA : 構造化ナレッジベース(KB)を利用して、自然言語の質問に回答す るタスク • 複数のエンティティやリレーションを跨ぐ、マルチホップ推論を必要とす る質問に課題 • ComplexWebQuestionsデータセット • 質問の70%が2ホップ以上の推論が必要 • 従来手法ではF1スコアが60%程度 • LLMの推論能力に注目 • 直接適用はKBの事実に基づかない回答生成の可能性 Chain-of-Question(CoQ)はLLMの推論能力とナレッジベースの 事実性を効果的に組み合わせたアプローチを提案 Subject-Relation-Objectのトリプレット集合
3. CoQソリューション 「ディーン・L・ブレスシアーニが所属する組織のマスコットは何ですか？」 ⇩ 1. ディーン・L・ブレスシアーニの所属組織を見つける 2. その組織のマスコットを特定する 複数の推論ステップが含まれているのが複雑な質問
4. CoQソリューション第1ステップ：段階的質問分解 GPT-3.5-turboやLlama2(7B)などを使用してこの分解を行う 「レアル・マドリード C.F.がUEFAチャンピオンズリーグ決勝で最後に優勝したのはいつですか？」 ⇩ ステップバイステップで質問分解: ステップ1： サブクエスチョン：「レアル・マドリード C.F.がUEFAチャンピオンズリーグ決勝で優勝した のはいつですか？」 回答：「#1」（具体的な日付は不明なため、仮の変数を使用） ステップ2： サブクエスチョン：「#1のうち、最も新しい日付はいつですか？」 (ステップ1の回答を利用) 回答：「#2」（具体的な日付は不明なため、仮の変数を使用） ⇩(線形化) [SUBQ] レアル・マドリード C.F.がUEFAチャンピオンズリーグ決勝で優勝したのはいつですか？ [ANS] #1 [SUBQ] #1のうち、 最も新しい日付はいつですか？ [ANS] #2 CoTプロンプティング Few-shotプロンプティング
5. CoQソリューション第2ステップ〜回答生成にかけての概要 ⇧まだKBに検索を掛けられる形にはなっていない。 質問q「レアル・マドリード C.F.がUEFAチャンピオンズリーグ決勝で最後に優勝したのはいつですか？」 質問の連鎖D「 [SUBQ] レアル・マドリード C.F.がUEFAチャンピオンズリーグ決勝で優勝したのはいつで すか？ [ANS] #1[SUBQ] #1のうち、最も新しい日付はいつですか？ [ANS] #2」 KBに検索をかけるために質問への回答に関連しそうなエンティティと リレーションの組(パターン）を特定するステップ 関連性の高いk個のパターンから論理形式の生成 関連性の高いk個のパターンから確率的な回答を予測 KBに対して論理形式の実行 有効な回答が得られなかった場合 確率的に予測した回答を利用
6. CoQソリューション第2ステップ〜回答生成にかけての概要 ⇧まだKBに検索を掛けられる形にはなっていない。 質問q「レアル・マドリード C.F.がUEFAチャンピオンズリーグ決勝で最後に優勝したのはいつですか？」 質問の連鎖D「 [SUBQ] レアル・マドリード C.F.がUEFAチャンピオンズリーグ決勝で優勝したのはいつで すか？ [ANS] #1[SUBQ] #1のうち、最も新しい日付はいつですか？ [ANS] #2」 KBに検索をかけるために質問への回答に関連しそうなエンティティと リレーションの組(パターン）を特定するステップ 関連性の高いk個のパターンから論理形式の生成 関連性の高いk個のパターンから確率的な回答を予測 KBに対して論理形式の実行 有効な回答が得られなかった場合 確率的に予測した回答を利用
7. CoQソリューション第1ステップ：スキーマとリレーションの検索 質問q,質問の連鎖D KBに検索をかけるために質問への回答に関連しそうなエンティティと リレーションの組(パターン）を特定するステップ • 候補エンティティの検索 • 質問文中のエンティティ言及を直接検出し、それらを適切なエンティティにリンクする ELQ という end-to-end エンティティリンキングモデル • 質問内の文字列に対応する可能性のあるエンティティ候補を大規模ウェブコーパスから提供する FACC1 というエンティティアノテーションプロジェクト • これら2つの手法からそれぞれ上位𝒍 𝟐 個のエンティティを取得し、合計で𝒍個の候補エンティティを特 定する方法 • 候補リレーションの検索 • 質問と各候補エンティティの間に存在する可能性のあるリレーションを、ベクトル空間での類似度に 基づいて効率的に検索する Dense Retrieval という手法
8. CoQソリューション第1ステップ：スキーマとリレーションの検索 質問q,質問の連鎖D KBに検索をかけるために質問への回答に関連しそうなエンティティと リレーションの組(パターン）を特定するステップ • リレーション分類 • 候補リレーションが質問に関連しているかを判断するプロセス • 質問q、分解された質問の連鎖D、候補リレーションをT5エンコーダーで処理 • 得られた表現を全結合層で変換し、シグモイド関数を適用してスコア化 • スコアが高いほど、そのリレーションが質問に関連していると判断 • エンティティ曖昧性解消 • 候補エンティティが質問の文脈に適しているかを判断するプロセス • 質問q、分解された質問の連鎖D、エンティティとその1ホップ近接リレーション情報をT5エンコーダーで処理 • リレーション分類と同様に全結合層とシグモイド関数を使用してスコア化 • スコアが高いほど、そのエンティティが質問の文脈に適していると判断 • エンティティとリレーションのスコアを足し合わせて質問との関連性の高い,エンティティとリレーションの組(パ ターン)を作成し,上位k個を後のクエリ作成で利用するパターンとする エンティティの候補, リレーションの候補
9. CoQソリューション第2ステップ〜回答生成にかけての概要 ⇧まだKBに検索を掛けられる形にはなっていない。 質問q「レアル・マドリード C.F.がUEFAチャンピオンズリーグ決勝で最後に優勝したのはいつですか？」 質問の連鎖D「 [SUBQ] レアル・マドリード C.F.がUEFAチャンピオンズリーグ決勝で優勝したのはいつで すか？ [ANS] #1[SUBQ] #1のうち、最も新しい日付はいつですか？ [ANS] #2」 KBに検索をかけるために質問への回答に関連しそうなエンティティと リレーションの組(パターン）を特定するステップ 関連性の高いk個のパターンから論理形式の生成 関連性の高いk個のパターンから確率的な回答を予測 KBに対して論理形式の実行 有効な回答が得られなかった場合 確率的に予測した回答を利用 質問の回答に関係しそうなk個パターン
10. CoQソリューション第2ステップ〜回答生成にかけての概要 ⇧まだKBに検索を掛けられる形にはなっていない。 質問q「レアル・マドリード C.F.がUEFAチャンピオンズリーグ決勝で最後に優勝したのはいつですか？」 質問の連鎖D「 [SUBQ] レアル・マドリード C.F.がUEFAチャンピオンズリーグ決勝で優勝したのはいつで すか？ [ANS] #1[SUBQ] #1のうち、最も新しい日付はいつですか？ [ANS] #2」 KBに検索をかけるために質問への回答に関連しそうなエンティティと リレーションの組(パターン）を特定するステップ 関連性の高いk個のパターンから論理形式の生成 関連性の高いk個のパターンから確率的な回答を予測 KBに対して論理形式の実行 有効な回答が得られなかった場合 確率的に予測した回答を利用 質問の回答に関係しそうなk個パターン
11. 性能実験 データセット 1. ComplexWebQuestions(CWQ) 総質問数: 34,689 特徴: 70%以上が2ホップ以上の推論を必要し、最大4ホップの推論を必要とする 2. WebQuestionsSP(WebQSP) 総質問数: 4,937 特徴: 最大2ホップの推論を必要とする 3. GraphQ 特徴: 訓練セットが小さく、非独立同分布設定 実験設定 • 質問分解に使用したモデル: gpt3.5-turbo, llama2(7B) • 使用モデル: T5-baseモデル(約220Mパラメータ) • 学習設定 • CWQ: 16エポック,バッチサイズ16 • WebQSP,GraphQ: 20エポック,バッチサイズ8 • 最適化: AdamWオプティマイザ • 学習率: 2e-5から線形でウォームアップさせ、線形で減衰 • ハードウェア: V100GPU一基 評価指標 • F1スコア • Hit@1（5回のランダムサンプリングの平均）
12. 制限事項と今後の課題 • パイプラインアプローチ:ある段階でのエラーが伝搬し、エラー が蓄積されやすい • パターン検索精度:エンティティと関係の検索精度の向上が重要 • 今後の課題:エラー伝搬を最小限に抑えるためのエンドツーエン ドのアプローチを模索
13. Chain-of-Question: A Progressive Question Decomposition Approach for Complex Knowledge Base Question Answering Peng Yixing, Quan Wang, Licheng Zhang, Yi Liu, Zhendong Mao 静岡大学狩野研究室B3 河口欣仁(Kawaguchi Kinji)