AI BASE #3.5 GraphRAG & BookRAG

AI BASE #3.5 で話した内容です https://aibase.connpass.com/event/380795/

Transcript

1. GraphRAG & BookRAG 複雑なドキュメントに特化した検索拡張生成（RAG） Tatsuro HANDA (@t2hnd) AI BASE #3.5
2. • 専門分野における複雑なクエリの理解が困難 : 多段階（マ ルチホップ）の推論や専門用語の扱いに苦労し、情報の間 の重要なつながりを見落とすことが多い • 分散したソースにまたがる知識の統合が難しい : チャンキ ング（文書の分割）によってドキュメントが孤立した断片にな り、全体の文脈や構造が失われる • 大規模化に伴うシステムの効率性のボトルネック : 大規模 なドキュメントを検索し処理するのことが非効率 従来のRAG (not GraphRAG)における課題 • Qinggang Zhang, et al. (2025) A Survey of Graph Retrieval-Augmented Generation for Customized Large Language Models https://arxiv.org/abs/2501.13958
3. 関係性の把握 グラフ構造を使用して、エンティティ間の複 雑な関係や階層を明示的にモデル化す る。 推論能力の強化 グラフ内のパス（経路）をたどることで、離 れた概念を結びつけ、多段階の推論を可 能にする。 説明可能性 回答がどのように導き出されたかという推 論の道筋を提示し、透明性を確保する。 GraphRAGによる解決策 • Qinggang Zhang, et al. (2025) A Survey of Graph Retrieval-Augmented Generation for Customized Large Language Models https://arxiv.org/abs/2501.13958
4. BookRAG: 現実世界の「本」に RAGを適用する 例えばLLMに関する本を読みながら、こんな質問に答えてほしい • 大規模言語モデルの定義はなんですか？ • TransformerとRNNにおける長距離依存関係の処理はどのように 違いますか？ • Section 4 にRNNに関する図表はいくつふくまれますか？
5. 従来のGraphRAG手法の限界 Text-based RAG (GraphRAG, RAPTOR): OCRを使いテキスト を抽出してセマンティクスを構築するが、入れ子構造になった表や セクションなどの構造的な依存関係を捉えることができない Layout based RAG(DocETL): マルチモーダルな情報ブロックを 抽出できるが、異なるセクション間の意味的なつながりは抽出され ない BookRAG: 現実世界の「本」に RAGを適用する 1. 文書構造とセマンティクス(意味体系)の深い接続の欠如 2. 固定的なクエリワークフロー
6. BookRAG: 現実世界の「本」に RAGを適用する • 大規模言語モデルの定義はなんですか？　-> ◯？ • TransformerとRNNにおける長距離依存関係の処理はどのよ うに違いますか？ -> △? • Section 4 にRNNに関する図表はいくつふくまれますか？ -> ✗ ? 従来のGraphRAG手法の限界 1. 文書構造とセマンティクス(意味体系)の深い接続の欠如 2. 固定的なクエリワークフロー
7. BookRAG: 現実世界の「本」に RAGを適用する BookRAGによる解決 1. 文書構造とセマンティクス(意味体系)の深い接続の欠如 => 両者を相互に関連付けるBookIndexを構築する 2. 固定的なクエリワークフロー => 動的なエージェントベース検索フロー を構築する
8. BookIndex 本論文で提唱される検索手法を実現するためのドキュメントの階層 構造と意味ネットワークを融合させたハイブリッドなインデックス Tree (T): 章やセクションなどの論理的な階層をデータ化したもの。 情報パッチ（Information Patches）」として機能する Graph (G): エンティティとその関係性を捉えるナレッジグラフ GT-Link (M): ナレッジグラフ上のエンティティを、ドキュメントツリー と結びつけるマッピング情報
9. Tree 構築 - Layout Parsing & Filtering: VLM（視覚言語モデル）を使用してタイトル、テキスト、画像を識 別し、レイアウトを解析・フィルタリングする - LLMが論理レベルを検証し、階層ツリー（目次構造）を構築する BookIndexの構築プロセス
10. Graph 構築 - Entity Extraction & Resolution: ツリーのノードからエンティティを抽出する - 勾配ベースエンティティ解決により類似概念（例：「LLM」と「大規模言語モデル」）を統合する - 抽出されたエンティティを保持するノードを全て記録しマッピングを作成する BookIndexの構築プロセス
11. （再掲）BookRAG: 現実世界の「本」に RAGを適用する BookRAGによる解決 1. 文書構造とセマンティクス(意味体系)の深い接続の欠如 => 両者を相互に関連付けるBookIndexを構築する 2. 固定的なクエリワークフロー => 動的なエージェントベース検索フロー を構築する
12. 検索ワークフロー Planning: クエリを分類し実行計画を立てる。計画はクエリタイプごと に異なる エージェントベースの検索 Information Foraging Theory BookRAGの検索手法は人間が調査を行う際の行動を模倣した情報 採餌理論（Information Foraging Theory）に基づく Retrieval: 実行計画に基づきBookIndexから情報を取得する Generation: 取得した情報を統合し回答を生成する • 情報の匂い (Information Scent): 質問に含まれるキーワードやエン ティティを「匂い」として、グラフ上を辿る • 情報パッチ (Information Patch): 匂いの先に繋がっているツリー上の 特定のセクション（パッチ）を特定
13. Single-hop クエリからエンティティ抽出 → GTリンク経由でツリー内の位置を特定 → 検索 → 回答生成 Multi-hop クエリをサブ質問に分解 → マップ → 検索 → リデュース → 回答を統合し、最終的な回答生成 Global Aggregation ドキュメント全体にフィルタを適用（例：「す べての表を探す」） → マップ（情報抽出） → リデュー ス（要約/カウント） → 回答生成 クエリタイプと実行計画 • 大規模言語モデルの定義はなん ですか？ • TransformerとRNNにおける長 距離依存関係の処理はどのよ うに違いますか？ • Section 4 にRNNに関する図 表はいくつふくまれますか？
14. BookRAG achieves state-of-the-art performance, significantly outperforming existing baselines in complex document QA tasks. Performance: Exact Match (M3DocVQA) 10x Token Reduction Compared to DocETL (<5M vs 53M) MMLongBench 2x Faster Speed Compared to DocETL MMLongBench
15. Error Response analysis • 検索（Retrieval）と生成（Generation）の精度: ◦ エラー分析の結果、最も支配的な失敗は「検索エラー」、次いで「生成エラー」 ◦ 特に、マルチモーダルなテキスト、図、表が混在する情報の特定と統合には、依然として課題が残る • プランニング（計画）の過剰な複雑化: ◦ エージェントによるクエリプランニングにおいて、詳細なシングルホップな質問を、不必要にマルチホップな サブタスクに分解するパターンが確認された ◦ 検索経路が断片化し、最終的に一貫した回答生成の邪魔になる • PDF解析への依存: ◦ レイアウト解析（PDFパース）の段階でエラーが発生すると、対象のブロックが候補から失われ、検索リコー ルが0になる
16. Conclusion • BookRAGは文書の構造とその中のエンティティをベースにハイブリッドなBookIndexを構築する手法 • エージェントが自律的に情報取得を計画することで、複雑な質問にも高い精度で対応できることが示された • 今後の展望: データ整形から高度なクエリまでを一体化した、文書ネイティブなデータベースシステムへの進化
17. Reference • Shu Wang, Yingli Zhou, Yixiang Fang (2025) BookRAG: A Hierarchical Structure-aware Index-based Approach for Retrieval-Augmented Generation on Complex Documents　https://arxiv.org/abs/2512.03413 • Qinggang Zhang, Shengyuan Chen, Yuanchen Bei, Zheng Yuan, Huachi Zhou, Zijin Hong, Hao Chen, Yilin Xiao, Chuang Zhou, Junnan Dong, Yi Chang, Xiao Huang (2025) A Survey of Graph Retrieval-Augmented Generation for Customized Large Language Models https://arxiv.org/abs/2501.13958 • sam234990/BookRAG https://github.com/sam234990/BookRAG