（論文読み）データ強化LLMアプリケーションの包括的調査

元論文
[Retrieval Augmented Generation (RAG) and Beyond: A Comprehensive Survey on How to Make your LLMs use External Data More Wisely](https://arxiv.org/html/2409.14924v1)

Transcript

1. データ強化LLMアプリケーションの包括 的調査 Retrieval Augmented Generation (RAG) and Beyond: A Comprehensive Survey on How to Make your LLMs use External Data More Wisely 1
2. 目次 1. はじめに 2. 問題定義 3. 明示的事実クエリ（L1） 4. 暗黙的事実クエリ（L2） 5. 解釈可能な根拠クエリ（L3） 6. 隠れた根拠クエリ（L4） 7. 結論 2
3. 想定読者 AI研究者および開発者 ▶ データサイエンティスト ▶ 機械学習エンジニア ▶ 自然言語処理の専門家 ▶ LLMアプリケーションの設計者 ▶ データベース管理者 ▶ ビジネスアナリスト ▶ 3
4. 1. はじめに 4
5. 外部データで強化されたLLMの特徴 実世界のタスクで向上した能力を示す ▶ 専門分野の知識と時事性を強化 ▶ 幻覚の発生を減少 ▶ 出力の制御可能性と解釈可能性を向上 ▶ 5
6. データ強化LLM展開の課題 多様なソースから関連データを取得 ▶ 複雑なクエリにおけるユーザーの意図を正確に解釈 ▶ 複雑なタスクに対するLLMの推論能力を十分に活用 ▶ 専門分野の知識と要件に適応 ▶ 6
7. データ強化LLMアプリケーションの特性 万能解は存在しない ▶ 各分野とタスクに合わせたアプローチが必要 ▶ パフォーマンス低下の一般的な原因: ▶ タスクの核心を正確に特定できないこと - 複数の能力の組み合わせを本質的に必要とするタスク - 分解と対象を絞った解決戦略の必要性 ▶ 7
8. 2. 問題定義 8
9. データ強化LLMアプリケーションの定式化 f: 𝒬 → 𝒟𝒜 ▶ 𝒬: ユーザーの入力（クエリ） - 𝒜: 期待される応答（回答） - 𝒟: 与えられたデータ - f: 𝒟に基づいて𝒬から𝒜へのマッピングを行うアプリケーション - 9
10. クエリの層別化 1. 明示的事実: 情報の直接取得 2. 暗黙的事実: 基本的推論を伴う複数の事実の組み合わせ 3. 解釈可能な根拠: 明確な専門分野特有の根拠の適用 4. 隠れた根拠: 複雑で暗黙的な専門知識の推論 10
12. クエリの層別化: 詳細 レベル1: 明示的事実 ▶ 回答が与えられたデータに直接存在 - 最小限の推論が必要 - 例: 「2024年夏季オリンピックはどこで開催されますか？」 - レベル2: 暗黙的事実 ▶ 常識的推論を通じて複数の事実を組み合わせる必要がある - 単純な論理的推論を含む場合がある - 例: 「キャンベラがある国の現在の多数党は何ですか？」 - 12
13. クエリの層別化: 詳細（続き） レベル3: 解釈可能な根拠 ▶ 専門分野特有の根拠の理解と適用が求められる - 根拠は外部リソースに明示的に提供されることが多い - 例: FDAガイダンス文書に基づく医薬品申請の評価 - レベル4: 隠れた根拠 ▶ 明示的に記述されていない専門分野特有の推論方法を推論する - 歴史的データや複雑な知識ベースから暗黙知を統合する必要がある - 例: 財務報告と経済動向に基づく企業発展の予測 - 13
15. 3. 明示的事実クエリ（L1） 15
16. 3.1 概要 特定の専門文書に直接アクセスすることで回答可能な単純なクエリ ▶ 最小限の推論が必要 ▶ 外部データの特定の部分に明確かつ直接的に依存 ▶ データ依存性の定義: ▶ 16
17. 3.2 課題と解決策 データ処理の困難: ▶ 非構造化およびマルチモーダル要素の処理 - セグメンテーションまたは「チャンキング」中のコンテキスト維持 - データ取得の困難: ▶ 大規模な非構造化データセットからの効率的かつ正確な取得 - 評価の困難: ▶ 取得と応答の品質を評価するための堅牢な指標の開発 - RAG（Retrieval-Augmented Generation）が主要な解決策 ▶ 17
18. 3.3 検索拡張生成（RAG） データ処理の強化: ▶ マルチモーダル文書解析 - チャンキングの最適化 - データ取得の強化: ▶ インデックス作成方法: スパース、デンス、ハイブリッド検索 - クエリ-文書アライメント技術 - 再ランキングと修正戦略 - 再帰的または反復的な検索アプローチ - 応答生成の強化: ▶ 取得された知識と内部知識の矛盾の処理 - パフォーマンス向上のための教師あり微調整 - 18
19. 4. 暗黙的事実クエリ（L2） 19
20. 4.1 概要 複数の文書から情報を収集・処理する必要がある ▶ 専門知識を必要としない常識的推論を含む ▶ 統計的クエリ、記述的分析、基本的な集計を含むことが多い ▶ 例: カウント、比較、傾向分析、選択的要約 ▶ 20
21. 4.2 課題と解決策 適応的な検索量: ▶ 異なる質問に対して必要な検索コンテキストの数が変化する - 情報ノイズと不足のバランス調整 - 推論と検索の調整: ▶ 推論を使用して検索の焦点を導く - 検索された情報に基づいて推論戦略を反復的に改善 - 21
22. 4.3 反復的RAG 計画ベースのアプローチ: ▶ 段階的な検索計画を生成（例: ReAct, IRCoT, RAT） - 思考の連鎖（Chain of Thought）を使用してRAGパイプラインを導く - 情報ギャップ埋め込みベースの方法: ▶ ITRG: 反復的な検索-生成コラボレーション - FLARE: 低確率トークンの再訪と修正 - Self-RAG: 検索継続を決定するためのモデル微調整 - 22
23. 4.4 グラフ/ツリー質問応答 従来の知識グラフ: ▶ LLMの事前学習と推論段階でKGを統合 - 様々なKGタスクにLLMを使用 - データチャンクグラフ/ツリー: ▶ テキストチャンクをノードとして使用し、エッジは関係を表現 - アプローチ: Knowledge-Graph-Prompting, MoGG, RAPTOR, GraphRAG - 23
24. 4.5 自然言語からSQLクエリへの変換 構造化データクエリのために自然言語をSQLに変換 ▶ テキストからSQLへのツールとLLMを統合 ▶ データベースコンテンツとの対話と解釈におけるLLMの能力を向上 ▶ 24
25. 5. 解釈可能な根拠クエリ（L3） 25
26. 5.1 概要 専門分野特有の根拠の理解と適用が必要 ▶ 根拠の提示形式: ▶ プレーンテキスト: 専門文書、ハンドブック、ガイドライン - 構造化指示: ワークフロー、決定木、疑似コード - 26
27. 5.2 課題と解決策 プロンプト最適化コスト: ▶ プロンプトの調整に高い時間と計算要求 - 労働集約的な手動設計プロセス - 限定的な解釈可能性: ▶ プロンプトがLLM応答に与える影響の判断困難 - LLMの意思決定プロセスにおける透明性の欠如 - 27
28. 5.3 プロンプトチューニング 特定の根拠へのLLMの遵守を強化する技術: 強化学習（例: TEMPERA, Rlprompt） ▶ 編集ベースの手法（例: GrIPS） ▶ LLM支援の最適化（例: OPRO, Reflexion） ▶ 28
29. 5.4 CoTプロンプティング 拡張推論を必要とする複雑な根拠に効果的 ▶ アプローチ: ▶ よく研究された問題に対する手動CoTプロンプト設計 - 自動CoT生成（例: Automate-CoT） - LLMを中心としたエージェントワークフロー構築 - 様々な分野での応用: ▶ ソフトウェア開発（例: MetaGPT） - カスタマーサービス - 医療質問応答 - 29
30. 6. 隠れた根拠クエリ（L4） 30
31. 6.1 概要 最も困難なクエリタイプ ▶ 根拠が明示的に記述されておらず、多数存在する ▶ データソース: ▶ 同一分野のデータ: 過去のQ&A記録、人工的に生成されたデータ - 予備知識: 包括的な公理系、証明済み中間結論 - 31
32. 6.2 課題と解決策 論理的検索: ▶ クエリの真の対象を捉えることの難しさ - 論理的類似性を持つテキストセグメントの特定 - データ不足: ▶ 関連情報が分散した知識や例に埋め込まれていることが多い - データの解釈と統合における堅牢な能力が必要 - 32
33. 6.3 オフライン学習 データセットから規則やガイドラインを特定・抽出 ▶ アプローチ: ▶ LLMベースの根拠生成（例: STaR, LXS） - 誤りベースの原則形成（例: GL, LEAP, RICP） - 複数の技術を組み合わせた統合手法（例: MedPrompt, Agent Hospital） - 33
34. 6.4 文脈内学習（ICL） 隠れた根拠を明らかにするために例を活用 ▶ LLMの少数ショット学習能力を強化 ▶ 技術: ▶ 例の選択と取得の最適化 - 多様なサンプリングと推論連鎖生成 - タスク分解とサブ問題解決の利用 - 34
35. 6.5 ファインチューニング LLMが新しい専門分野の根拠を迅速に把握できるようにする ▶ アプローチ: ▶ 指示微調整: ペアデータ（指示、出力）を使用 - アダプタ微調整: 小規模アダプタモデルをLLMと統合 - プレフィックス/プロンプト微調整: 入力前に訓練可能なベクトルを追加 - 低ランク適応: 低ランク制約を通じて訓練可能なパラメータを削減 - 35
36. 6.5 ファインチューニング 専門分野での応用: ▶ 数学的推論 - 金融 - 法律 - 医療 - 36
37. 7. 結論 37
38. データ強化LLMアプリケーションの分類 4つのレベルに分類され、それぞれ固有の課題と解決策がある ▶ LLMに知識を注入する3つのメカニズム: ▶ i. コンテキストベースの抽出: 簡潔に説明されたデータに適している - ii. 小規模モデルトレーニング: トレーニング時間の短縮を提供するが、性能に上限の可能性 - iii. 直接微調整: 大規模モデルの能力を活用するが、知識喪失のリスク - 38
39. 実際のアプリケーションの特徴 多くの場合、複数のクエリタイプを含む ▶ データソースとタスク要件に基づく慎重なデータ注入戦略の選択 ▶ 39
40. 今後の開発の焦点 モデルの解釈可能性と一貫性の向上 ▶ 専門分野への適応性の改善 ▶ より効率的かつ効果的な知識統合技術の開発 ▶ 40
41. まとめ 41
42. データ強化LLMアプリケーションの重要性 実世界のタスクにおける性能向上 ▶ 専門知識と最新情報の統合 ▶ 幻覚の減少と制御可能性の向上 ▶ 42
43. 主要な課題 1. クエリの複雑さに応じたデータ取得と処理 2. 効果的な推論と知識統合 3. 専門分野特有の知識と推論の適用 4. モデルの解釈可能性と一貫性の確保 43
44. 将来の方向性 より洗練されたデータ統合技術の開発 ▶ 専門分野に特化したLLMアプリケーションの拡大 ▶ モデルの透明性と説明可能性の向上 ▶ 効率的な学習と適応メカニズムの探求 ▶ 44
45. 付録：用語辞書 45
46. LLM: Large Language Model（大規模言語モデル） ▶ RAG: Retrieval-Augmented Generation（検索拡張生成） ▶ CoT: Chain of Thought（思考の連鎖） ▶ ICL: In-Context Learning（文脈内学習） ▶ KG: Knowledge Graph（知識グラフ） ▶ NL2SQL: Natural Language to SQL（自然言語からSQLへの変換） ▶ TEMPERA: TEMPlate-based Exploration for Reinforcement learning of Augmented prompts 強化学習を用いてプロンプト を最適化する手法。 ▶ FLARE: Feedback Loops for Augmenting Retrieval Efficiency 生成された回答の低確率部分を反復的に改善する検索拡張手 法。 ▶ 46
47. MoGG: Multi-order Graph-Granularity Reasoning 多階層のグラフ構造を用いて推論を行う技術。 ▶ OPRO: Optimizing Prompts through Reinforcement and Observation 強化学習と観察を通じてプロンプトを最適化する手 法。 ▶ STaR: Self-Taught Reasoner LLMが自身で生成した推論過程から学習を行う手法。 ▶ LXS: Learning to Explain from Scratch LLMに説明生成能力を獲得させる手法。 ▶ GL: Guideline Learning エラーから学習し、将来のタスクのためのガイドラインを形成する手法。 ▶ LEAP: Learning from Errors and Principles 誤りと原則から学習し、高レベルの推論能力を獲得する手法。 ▶ RICP: Retrieved In-Context Principles 過去の誤りから学習し、文脈内で適用可能な原則を抽出する技術。 ▶ MedPrompt: Medical Prompting 医療分野特化型の自己検証を含むプロンプト生成手法。 ▶ Agent Hospital: 医療分野での複数エージェント協調システム。反省と経験検索を活用。 ▶ 47