業務に精通したAIエージェントを作るために、今RAGを見直すべき理由 / To create AI agents that are well versed in business operations

昨今多くのRAGシステムが開発されています。
しかし多くのRAGシステムは、「情報を探して答える」段階にとどまり、実務で本当に使えるレベルには達していないものも多く存在します。
本スライドは、“業務に精通したAIエージェント”を実現する第一歩として、RAG精度改善という視点から、現状の課題を明らかにし、改善プロセスとアーキテクチャを整理します。

Transcript

1. 業務に精通したAIエージェントを作るために、 今RAGを見直すべき理由 “賢いだけじゃ足りない”AIエージェントのための 精度改善プロセスの再整理 2025年6⽉27⽇ @shuichiramen
2. 企業でのRAG活⽤例 社内問い合わせ対応エージェント 顧客サポート‧FAQ⾃動応答エージェント • 製品‧サービス情報の⼀元的な管理・提供 • RAG活⽤による、問い合わせ対応時間の短縮 • RAGを使った社内ドキュメントの活⽤ • エージェントの⼀次対応によるヘルプデスク負荷軽減 おおむね60~70%程度の精度 複雑な関連性や⽂脈を理解した 回答が必要な質問や、 業務の前提知識が必要な質問に 対しての対応が不十分 実務対応可能なレベルではない と判断されてしまう
3. 知識をかき集めて懸命に回答する“新人社員” →回答は努力しているが、実務では頼れない よくあるRAGの課題 回答生成プロセス 検索手法 学習・改善プロセス AS IS △単一検索による回答生成 多段階の推論が必要なケースに対応できない、複数の情 報源に対する横断的な推論が困難。 △単純なキーワード/ベクトル検索 キーワードや類似度による検索では、複雑な関連性や抽 象的な⽂脈を見落とし、情報の断⽚化が発生。 △改善サイクルが未整備 モデルの評価や更新がExcelなどを⽤いた手動対応に依 存しており、継続的な改善が非効率。 また、ユーザーからのフィードバックを⾃動的に学習へ反映す る仕組みが整備されていない。 例えるなら？
4. “実務エキスパート”レベルのAI →単なる⾃動化ではなく、人との協業により 業務の質を高める 目指したい姿 回答生成プロセス 検索手法 学習・改善プロセス AS IS TO BE ✓段階的推論 多段階に推論→実行を繰り返すReAct手法や、クエリ分 解を実行。 複数の検索ステップを連鎖させ、複雑な問いを分解して解 決することで、論理的思考が可能に。 ✓知識グラフの統合 ドキュメントの類似性のみでなく、Neo4jなどのグラフDBと 連携し、複合的な関連性を考慮。 業務の前提知識をもとに回答を生成する。 ✓自己学習機構の導入 運⽤する中で、LLMによる⾃動判別+ユーザフィードバック から⾃律的に学習し、企業独⾃の業務ドメインに最適化。 「育てるAI」として時間とともに企業価値を向上させる。 △単一検索による回答生成 多段階の推論が必要なケースに対応できない、複数の情 報源に対する横断的な推論が困難。 △単純なキーワード/ベクトル検索 キーワードや類似度による検索では、複雑な関連性や抽 象的な⽂脈を見落とし、情報の断⽚化が発生。 △改善サイクルが未整備 モデルの評価や更新がExcelなどを⽤いた手動対応に依 存しており、継続的な改善が非効率。 また、ユーザーからのフィードバックを⾃動的に学習へ反映す る仕組みが整備されていない。 例えるなら？
5. エージェント指向と知識グラフ活⽤ 複数回検索と⾃律的（エージェント指向）検索 による高度な情報取得 従来のRAG 単⼀検索 回答生成 次世代RAG 質問分析‧分解 検索1 検索2 検索N... 統合‧回答生成 GraphRAG 知識グラフを活⽤し、エンティティ間の関係性をたどって複数ホップの検索を実施。 Neo4jなどのグラフDBと連携。 エージェント型RAG LLMが⾃ら検索プロセスを計画‧実行。複雑な質問を分解、必要に応じて追加 質問を生成し、複数のデータソースに対して能動的に情報収集。 ReAct手法 「推論(Reasoning)」→「行動(Acting)」のサイクルを繰り返し、必要な情報を段 階的に収集‧統合。
6. エージェント型RAG アーキテクチャ Agent VectorDB Document Chunk1 Chunk2 Chunk3 チャンク分割 GraphDB Embedding Knowledge Graph Knowledge Base 関連データ付与 プロンプト入力 LLM 回答生成 出力 User ク エ リ 整 理 さ れ た 回 答 回答返却 ・検索戦略策定 ・クエリ分解 ・取得結果の評価 ・マルチステップ推論と 実行（ReAct） ・メモリとコンテキスト 管理 取得結果の評価・再検索 プロンプト最適化 エージェントがいくら賢くても、インプットデー タが整備されていなければ、期待される出 力は返ってこない エージェント活⽤の上でも、データの適切な 更新・管理が大切 どのようにやるか？
7. フィードバックループによる 継続的な学習 RAGシステムを⻑期運⽤する上で重要なのが、フィードバック ループによる継続的な改善です。 ユーザ評価の収集 回答の正確性や有⽤性に対する評価を蓄積し、弱点を特定 ⾃⼰改善機能 誤答が多い質問パターンを検出し、知識ベースを⾃動強化 アクティブラーニング フィードバックループが搭載されたシステムを使⽤しながら知 識とロジックを継続的に補完 フィードバックループ 継続的学習の効果（想定） 初 期 3ヶ⽉ 6ヶ⽉ 1 年 回答精度の向上 ユーザの質問 知識ベース強化 AIの回答 ユーザ評価 RAGシステム
8. ・Evaluator Agent：抽 出された情報の「信頼性」「明 確さ」「関連性」等を評価し、 スコアを付与（例：0.85）。 ・KG Storage：評価され た情報をナレッジグラフ （KG）に保存。 ・Ingestion Agent：入 力（ドキュメント）を受け取り、 セクション単位などに分割して 処理可能なテキストに変換。 ・Reader Agent：テキス トから必要な情報 （Abstract, Introduction, Resultsなど）を抽出。 ・Summarizer Agent： 各セクションを要約し、重要事 項を抽出。 ナレッジグラフ(DB)の⾃動更新・ 拡張アーキテクチャ 中央管理エージェント 構⽂解析・前処理 エージェント 統合・評価 エージェント ・Schema Alignment： 情報構造を既存の知識グラフ （KG）のスキーマにマッピング。 ・Extraction Agent：要 約された情報からエンティティと リレーション（関係性） を抽出。 ・Conflicts Resolution：情報の矛盾 を検出し、整合性を保つよう 調整。 情報抽出 エージェント 参考：KARMA: Leveraging Multi-Agent LLMs for Automated Knowledge Graph Enrichment[KARMA: Leveraging Multi-Agent LLMs for Automated Knowledge Graph Enrichment] 適宜、ユーザーフィード バックを取り入れ、知識 を洗練させる
9. 参考： ナレッジグラフ（DB）の⾃動更新・拡張機構の簡易実装 1. ドキュメント取得 → 処理対象の⽂書を取得します。 2. フォーマット調整 → ⽂書の形式を整え、統⼀された形に変換します。 3. エンティティ抽出 → ⽂書からエンティティ（固有名詞や関係性情報）を抽出します。 同時に、更新⽇時や信頼度スコアをメタデータとして保持 4. 評価 → 3.の抽出結果もとに評価を行い、信頼できるデータかどうかを確認します。 5. 既存情報との競合の有無 →エンティティ間に矛盾や重複がないかを判断します。 6. 競合解決 →信頼度スコアや更新⽇情報にもとづいて、矛盾や競合を解消します。 7. ユーザーフィードバック →必要に応じてユーザーが最終結果を確認し、修正や承認を行います。 8. グラフDB更新 →クリーンなデータをグラフDB（Neo4j）に追加・更新します。 9. AI Search更新 → AISなど他のシステムにも関係性データを追加・更新させます。 { "relationship": { "id": 123, "rel_text": "紫式部 WROTE 源氏物語", "embedding": [ 0.0008185..., ], "type": [ “WROTE", ], "metadata" "last_modified: {": "2025-06- 20T17:11:36+0900", "confidence_score": "0.80" } } } } 既存: "紫式部 WROTE 源氏物語" (confidence_score: 0.80, last_modified:2025-06- 26) 新規: "紫式部 WROTE 源氏物語“ (confidence_score: 0.60, last_modified:2025- 07-26) → 結果: 既存保持、新規棄却 GitHub：https://github.com/shuichiramen/light_karma_public
10. まとめ 社内問い合わせ対応 顧客サポート‧FAQ⾃動応答 複雑な質問への対応 • エージェント型RAGによる段階的推論により 論理的思考が可能に • RAGを使った社内ドキュメントの活⽤ • エージェントの⼀次対応によるヘルプデスク負荷軽減 • 製品‧サービス情報の⼀元的な管理・提供 • RAG活⽤による、問い合わせ対応時間の短縮 段階的推論とフィードバックからの学習により、 “実務エキスパート”レベルのAIエージェント実現 “実務エキスパート”レベルへ 「育てるAI」として 時間とともに価値が向上 業務知識集約‧伝承 • 暗黙知を形式知化し、組織に蓄積 • 人材異動/退職時の知識継承負担を軽減