Share
Embed
BEYOND THE RAG🚀 ~とりあえずRAG?を超えていけ! 本当に使えるAIエージェント&生成AIプロダクトを目指して~ / BEYOND-THE-RAG-Toward Practical-GenerativeAI-Products-AOAI-DevDay-2025
2025/7/18に開催されたAzure OpenAI Service DevDay(AOAI DevDay)2025でお話しさせていただいた資料です。
BEYOND THE RAG🚀~とりあえずRAG?を超えていけ!本当に使えるAIエージェント&生成AIプロダクトを目指して~
https://aoai-devday.com/
https://azureai.connpass.com/event/354972/
Junya Miyake
July 18, 2025
Transcript
45 slides
-
BEYOND THE RAG🚀 ~とりあえずRAG︖を超えていけ︕ 本当に使えるマルチAIエージェント&⽣成AIプロダクトを⽬指して~ 2025.07.18 AOAI Dev Day 2025
KDDIアジャイル開発センター株式会社 (KAG) 三宅 潤也(@jnymyk), ろむ/Naoki Sato(@rom6621) -
2 KDDI Agile Development Center Corporation はじめに • とりあえずRAG、とりあえずAIエージェントを作っておけばOK︕なフェーズは 終わった😱
◦ Azureをはじめとしたパブリッククラウド各社・SaaS・OSSのAIプロダクト がどんどん良くなっていき、RAGやAIエージェントの実装ハードルは劇的に 下がった🙌 • ⼀⽅でLLM・⽣成AIを活⽤して組織内の実際の業務で価値を出すための難しさは 変わらず🥺 ◦ 期待通りの価値を出せず幻滅して終わっていくプロジェクト・・・ -
3 KDDI Agile Development Center Corporation はじめに • 対象🎯 ◦
とりあえずRAGやAIエージェントをやってみたけど思ったように価値が出なかった⼈ ◦ RAGの次を模索している⼈ ◦ LLM・⽣成AIで価値を⽣み出したい⼈ • このセッションのゴール🏁 ◦ LLM・⽣成AIで本当に価値を⽣み出すには︖の実践知(しくじりからの学び)がわかる ◦ とりあえずRAGのその先の選択肢がイメージできる • 精度チューニング・評価 • マルチAIエージェント • MCP -
4 KDDI Agile Development Center Corporation まとめ・結論 どう作るか︖の技術はもちろん⼤切だけど、なぜ︖何に使うのか︖が重要💡 • ROIや精度からユースケースを⾒極めた👀︖
• ユースケースとなる業務で実運⽤に必要な精度を⾒極めた👀︖ • 必要な精度を評価できる👀︖ 技術選定や最新技術のキャッチアップに銀の弾丸はなさそう😇 • 幅広くいろいろ触ってみてチームに合うものを⾒極める ◦ マルチAIエージェントフレームワーク: LangGraph, mastra, AutoGen, Semantic Kernel etc… ◦ IaC: Terrform, Bicep • 最新技術のユースケースは技術ドリブン&ニーズドリブンどっちも⼤事 ◦ ビジネス・企画のメンバーがプロダクト仕様を考えてくれるまでエンジニアは待ち・・・ではなく、 こんなことが出来るよ︕をロール問わず提案していこう👍 -
5 KDDI Agile Development Center Corporation Who are we? ⽣成AIで本当に使える・価値を出せるプロダクトを
KAGで企画・開発してる⼈たちです︕ ろむ / Naoki Sato (@rom6621) KDDIアジャイル開発センター (KAG) ソフトウェアエンジニア • 得意領域 ◦ React ◦ TypeScript • 好きなもの ◦ 野球 ◦ びっくりドンキー MJ / Miyake Junya 三宅 潤也 (@jnymyk) KDDIアジャイル開発センター (KAG) スクラムマスター/ソフトウェアエンジニア ⽣成AI⾃社プロダクト企画・開発チームのとり まとめを担当。 • 好きなもの ◦ アーキテクチャ設計 ◦ CI/CD ◦ ガンダム ◦ オードリー -
7 KDDI Agile Development Center Corporation なぜ︖何に使うのか︖の⾒極め • どんな業務に使おうとしているのか👀 •
どの部分に︖どのように適⽤していくのか︖ • どんな情報をコンテキストとしてLLMに渡すのか︖ • LLMからどんなアウトプットが得られれば、どんな効果・価値が⾒込めそ うか👀 ◦ ⼈が対応している業務をAIに完全置き換え︖⼀部を省⼒化・効率化︖ ◦ ⼈の対応の質向上︖ -
8 KDDI Agile Development Center Corporation 本当に使えるものになっているか︖の評価 • ⽣成されたアウトプットの良し悪し(=精度)の評価ができるか︖ •
どんなユースケースで、どんなアウトプットを期待するか︖で精度を定義できる • 対象業務次第で完璧なものでなくてもOK👌 ◦ 最初からRagasなどのLLM as a Judgeで全てを評価するのは難しい😢 • 現場の感覚≠Ragasの評価 • ⼈の評価とLLMの評価の相関を⾒て信⽤できるものにしていく -
11 KDDI Agile Development Center Corporation KIKIMAS for QAポータル(何にどう使うのか︖の⾒極め) •
業務プロセスを分解し、⼈とシステムの動きを可視化 • ボトルネックになるポイントと⽣成AIにより改善を図るポイントについて特定 • ⽬指す姿の定義し、社内SaaSとして横展開・共通化可能な範囲を明確化 ビジョン・ゴール策定 プロセスマップ ⽬指す姿の定義 -
12 KDDI Agile Development Center Corporation KIKIMAS for QAポータル(回答精度の定義・評価) •
社内問い合わせの現場の業務に必要なAI回答精度の⾒極め ◦ 営業・SEによるAIチャットで55%⾃⼰解決できることを⽬標に設定 ◦ 問い合わせ業務のエキスパートと共にAI回答を評価 • ナレッジ(FAQ形式の社内情報)、社内⽂書ファイルの検索チューニング、AIの回答⽣成時 のプロンプトエンジニアリングにより当初50%程度の回答精度から88%へ精度向上を達成 -
13 KDDI Agile Development Center Corporation KIKIMAS for QAポータル(プロダクトについて) •
プロダクトの特徴 ◦ カテゴリによる部署・サービスの検索絞り込み • カテゴリで論理的に分割し異なる部署・サービスでのマルチテナント利⽤が可能 ◦ システム管理者向けナレッジ(FAQ形式のグッドデータ)・社内情報ファイル・カテゴリ 管理機能 ◦ RAG AIチャットボット->サポートスタッフ問い合わせへのシームレスな連携 カテゴリ検索 ナレッジ管理 AIチャット->有⼈問い合わせ切り替え -
14 KDDI Agile Development Center Corporation KIKIMAS for QAポータル(アーキテクチャ・技術詳細) •
アーキテクチャ ◦ Azureの閉域内で社内⽂書ファイルをセキュアに 取り扱い ◦ RagasによるLLM as a Judge ◦ 社内SaaSとして異なる部署・サービスに拡張可 能なマルチテナント構成 ◦ FAQ形式のナレッジ・社内⽂書ファイル検索を中 ⼼にWeb検索も可能 • 技術詳細 ◦ Azure • AOAI, AppService, AI Search, Azure Functions, CosmosDB, Bing Search ◦ Next.js, TypeScript ◦ Ragas, Python ◦ IaC: Bicep -
15 KDDI Agile Development Center Corporation ⾼い回答精度を⽀えるナレッジデータ整備(FAQ⾃動⽣成) • モチベーション ◦
問い合わせ特化AIチャットにおいて⾼い回答 精度を達成する上でFAQ形式のナレッジデー タが重要 ◦ ⼀⽅で業務エキスパートが多くのリソースを 割いてナレッジを作成・メンテしているため、 省⼒化・効率化が課題 • プロダクトについて ◦ AI FILE2FAQ GENERATOR • 社内⽂書ファイル・過去対応履歴からFAQ を⽣成 ◦ AI FAQ CLEANER • 過去問い合わせ履歴からノイズとなる情報 (個⼈情報・あいさつ等)を削除 -
16 KDDI Agile Development Center Corporation ⾼い回答精度を⽀えるナレッジデータ整備(FAQ⾃動⽣成) • アーキテクチャ ◦
ワークフロー型のAIエージェント ◦ ワークフローの制御部分(AppService)とツ ール部分(Azure Functions)に分割 ◦ Azure Functions上で柔軟にToolを追加・ 拡張可能 • 技術詳細 ◦ Azure • AOAI, AppService, AI Search, Azure Functions, CosmosDB ◦ mastra, Next.js, TypeScript ◦ Python ◦ IaC: Terraform -
17 KDDI Agile Development Center Corporation ふりかえり(社内問い合わせ特化AIチャット・FAQ⾃動⽣成) • よかったこと👍 •
技術ドリブンでエンジニアから動くものベースでビジネスメンバー、ステークホルダーに何を 作るか︖の⽅向性を⽰したこと • しくじり😢 • その業務をどうしていきたいか︖の意志を明確に持っているビジネスメンバーとマッチングし ないと精度評価が⾮常に難しい・・・ • Bing検索APIの廃⽌に直⾯(2025/5/16以降新規デプロイ不可、8/11以降API呼び出し不可) • https://learn.microsoft.com/en-us/bing/search-apis/ • 学び🚀 • 業務エキスパートの属⼈性を排した精度評価へのシフトとLLM as a Judgeの伸びしろ • Azure上で単にWeb検索したいだけでもAIエージェント経由でのBing検索(Grounding with Bing Search)が必須となってしまうこと • https://learn.microsoft.com/en-us/azure/ai-foundry/agents/how-to/tools/bing-grounding -
19 KDDI Agile Development Center Corporation RAGのその先の技術とは︖ • AIエージェント、特にマルチAIエージェント •
LangGraph, mastra, AutoGen, Semantic Kernelなど世はマルチAIエー ジェントフレームワーク戦国時代🔥 • AIエージェント関連の周辺技術: MCP, A2A -
20 KDDI Agile Development Center Corporation RAGのその先の技術とは︖ • 選択肢は⾊々あるけど結局何が⼤事なんだろう︖ ◦
地に⾜のついたユースケースと実践あるのみ💪 ◦ これが圧倒的な勝者︕みたいな解はないので、チームやプロジェクト に合ったライブラリ・ツールを幅広く試してみて⾒極めた上で使って いく🔍 -
21 KDDI Agile Development Center Corporation RAGのその先の技術とは︖ ◦ 実際に⼿を動かして試してみる🧑💻👩💻 ◦
チーム内であえて⾔語やフレームワークに幅を持たせて技術選定してみる ◦ それぞれ業務課題・組織課題などリアルなお題に取り組んでみて合ったも のを⾒極める チーム サブチーム A サブチーム B LangGraph.js TypeScript Bicep mastra TypeScript / Python Terraform -
23 KDDI Agile Development Center Corporation AIエージェントとは 諸説あるけど⼤きく分けて以下2つ • 完全⾃律型
◦ プロンプトを与えるとAIエージェントが⾃律的に⾏動し、タスクを実⾏する • ワークフロー型 (Agentic Workflow) ◦ 予め構築したワークフローの中でAIエージェントを⾏動させる -
24 KDDI Agile Development Center Corporation AIエージェントとは 諸説あるけど⼤きく分けて以下2つ • 完全⾃律型
◦ プロンプトを与えるとAIエージェントが⾃律的に⾏動し、タスクを実⾏する • ワークフロー型 (Agentic Workflow) ◦ 予め構築したワークフローの中でAIエージェントを⾏動させる ← 今回はこっちの話 -
25 KDDI Agile Development Center Corporation KAGにおけるAIエージェントに関する取り組み • 資料作成やMTGの議事録作成 ◦
Google WorkspaceやGemini • コーディング業務での活⽤ ◦ GitHub Copilot AgentやCline • ⼀⽅でその他の業務では活⽤し切れていない → AIエージェントを⽤いたアプリケーションで業務効率化を⾏うことができないか -
26 KDDI Agile Development Center Corporation モチベーション • AIエージェントによって何ができるかを⽰したい ◦
時間単価が⾼いマネージャーをより創造的な仕事に集中させたいという 組織課題 • 開発チーム内でAIエージェントの知⾒を深めたい ◦ プロジェクト始動前は「AIエージェントとは︖」という状態 • MCPなどの最新技術のキャッチアップ -
27 KDDI Agile Development Center Corporation モチベーション • AIエージェントによって何ができるかを⽰したい ◦
時間単価が⾼いマネージャーをより創造的な仕事に集中させたいという 組織課題 →マネージャーへのインタビュー、 なぜ︖何を作るのか︖の⾔語化 • 開発チーム内でAIエージェントの知⾒を深めたい ◦ プロジェクト始動前は「AIエージェントとは︖」という状態 • MCPなどの最新技術のキャッチアップ -
28 KDDI Agile Development Center Corporation インタビュー • マネージャーへのインタビューを実施 ◦
複数⼈のマネージャーにインタビュー ◦ 業務上で困っていることやAIに置き換えられそう な業務はないか︖ • インタビュー内容から業務課題を洗い出し ◦ 内容の付箋出し・カテゴライズ ◦ 課題解決をするためにはどうすればよいのか︖ → インタビューの結果、勤怠管理に課題 -
29 KDDI Agile Development Center Corporation なぜ︖何を作るのか︖の⾔語化 • インセプションデッキの作成 ◦
我々はなぜここにいるのか︖ ◦ エレベーターピッチ ◦ やること・やらないこと ◦ トレードオフスライダー • 作成の意図 ◦ 開発チームの⽬線合わせ ◦ 本来の⽬的を⾒失わないように -
30 KDDI Agile Development Center Corporation 勤務管理AIエージェントのワークフロー 36協定への 抵触チェック スタート
Slackに通知 チェック 情報取得 結果出⼒ 勤務ルールの 取得 通知を ⾏うか 終了 勤務状況の 取得 -
31 KDDI Agile Development Center Corporation モチベーション • AIエージェントによって何ができるかを⽰したい ◦
時間単価が⾼いマネージャーをより創造的な仕事に集中させたいという 組織課題 →マネージャーへのインタビュー、 なぜ︖何を作るのか︖の⾔語化 • 開発チーム内でAIエージェントの知⾒を深めたい ◦ プロジェクト始動前は「AIエージェントとは︖」という状態 → AIエージェントのフレームワークやデザインパターンの⽐較・検討の実施 • MCPなどの最新技術のキャッチアップ -
32 KDDI Agile Development Center Corporation フレームワークの⽐較 • ワークフローの実装にあたってフレームワークの⽐較から開始 ◦
様々な観点からのマトリクスを作成 ◦ 実際にチュートリアルをやってみる • ⽐較の結果、LangGraph.jsを採⽤することに決定 ◦ Web上の参考⽂献の多さ ◦ チームがJS(TS)に慣れていた ◦ サーバーレス環境へのデプロイの容易さ -
33 KDDI Agile Development Center Corporation デザインパターンの⽐較 • LangGraphが提唱するマルチAIエージェントのデザインパターンがいくつか存在 ◦
今回のユースケースにはどのパターンが適しているかをチーム内で議論 • 議論の結果、以下2つを実装してみてアウトプットの⽐較を⾏なっていくことに ◦ カスタム型 (開発者が予め構築) ◦ スーパーバイザー型 (親エージェントが⾃律⾏動) -
34 KDDI Agile Development Center Corporation モチベーション • AIエージェントによって何ができるかを⽰したい ◦
時間単価が⾼いマネージャーをより創造的な仕事に集中させたいという 組織課題 →マネージャーへのインタビュー、 なぜ︖何を作るのか︖の⾔語化 • 開発チーム内でAIエージェントの知⾒を深めたい ◦ プロジェクト始動前は「AIエージェントとは︖」という状態 → AIエージェントのフレームワークやデザインパターンの⽐較・検討の実施 • MCPなどの最新技術のキャッチアップ → なるべく最新技術を使⽤したアーキテクチャの設計・実装 -
36 KDDI Agile Development Center Corporation AIエージェントにどこまで委任させるか • King Of
TimeのAPIはユーザーごとの勤務情報を取得できない ◦ 所属部署ごとに取得可能 ◦ 個⼈ごとの情報は取得不可、、、😫 • APIをラップしたMCPサーバーを実装した場合、AIエージェントが認可を⾏うことになる ◦ AIエージェントが暴⾛した場合、予期せぬ情報が通知されてしまう可能性がある ◦ AIエージェントに認可まで任せることは現状難しい...︖ • ⼀⽅でMCPサーバーに認可を組み込むことは可能 ◦ ヘッダーにAPIキーを指定し認証認可 ◦ OAuthによる認証認可 -
37 KDDI Agile Development Center Corporation MCPサーバーに対する簡易的な認証認可 • ワークフロー発⽕時に社員番号が渡される ◦
MCPサーバーへの接続時に社員番号を指定 • ヘッダーに社員番号を付与 ◦ → 認証 • MCPサーバーに社員番号から勤務情報を絞り込むロジックを実装 ◦ → 認可 -
38 KDDI Agile Development Center Corporation Azure Functions MCPトリガーの制約 •
当初はAzure FunctionsのMCPトリガーを⽤い て実装していた • MCPトリガーだとヘッダー値を取得することがで きない ◦ やり⽅わかる⽅いたら教えてください🙇 • King Of Time MCPはAppServiceにデプロイ ◦ Streamable HTTPトランスポートを使 ⽤ ◦ HTTPサーバーとして動作 ◦ ヘッダー対応してください😭 -
40 KDDI Agile Development Center Corporation [再掲]モチベーション • AIエージェントによって何ができるかを⽰したい ◦
時間単価が⾼いマネージャーをより創造的な仕事に集中させたいという 組織課題 →マネージャーへのインタビュー、 なぜ︖何を作るのか︖の⾔語化 • 開発チーム内でAIエージェントの知⾒を深めたい ◦ プロジェクト始動前は「AIエージェントとは︖」という状態 → AIエージェントのフレームワークやデザインパターンの⽐較・検討の実施 • MCPなどの最新技術のキャッチアップ → なるべく最新技術を使⽤したアーキテクチャの設計・実装 -
43 KDDI Agile Development Center Corporation ふりかえり(マネージャー勤務管理AIエージェント) • よかったこと👍 •
AIエージェントの⾃分たちに合う開発フローが⾒えてきた • ヒアリング・要件の整理→ワークフローへの落とし込み→チューニング • しくじり😢 • ツールではなくMCPサーバーを使う意義を明⽰できなかった • 認証認可が簡易的なので共通基盤としての利⽤が難しい • AIエージェントに代替させる仕事に対する認識・表現🔥 • その仕事はブルシットジョブではない。さまざまな背景・理由があってその仕事が存在している。 • その仕事のドメインエキスパートへの敬意を忘れずに︕ • 学び🚀 • カスタム型とスーパーバイザー型の⽐較・⾒極めがむずかしい • 今回のユースケースだと出⼒がほぼ同じ • 決まった順番で確実にツール実⾏させたいならカスタム型、より創造的なユースケースだとスーパーバイザー型︖ • AIエージェントに実際の業務データ(勤務時間ログなど)を渡すハードルの⾼さ • 本番データ連携に必要な調整にかけた時間>>>AIエージェント設計・開発にかけた時間 • まずは必要な本番データのみ個別にAPIで取ってきてモックで開発が吉👍 -
44 KDDI Agile Development Center Corporation [再掲]まとめ・結論 どう作るか︖の技術はもちろん⼤切だけど、なぜ︖何に使うのか︖が重要💡 • ROIや精度からユースケースを⾒極めた👀︖
• ユースケースとなる業務で実運⽤に必要な精度を⾒極めた👀︖ • 必要な精度を評価できる👀︖ 技術選定や最新技術のキャッチアップに銀の弾丸はなさそう😇 • 幅広くいろいろ触ってみてチームに合うものを⾒極める ◦ マルチAIエージェントフレームワーク: LangGraph, mastra, AutoGen, Semantic Kernel etc… ◦ IaC: Terrform, Bicep • 最新技術のユースケースは技術ドリブン&ニーズドリブンどっちも⼤事 ◦ ビジネス・企画のメンバーがプロダクト仕様を考えてくれるまでエンジニアは待ち・・・ではなく、 こんなことが出来るよ︕をロール問わず提案していこう👍