AIエージェントを現場で実践する際の落とし穴.pdf

AIエージェントを現場で実践する際の落とし穴について紹介します。

※本資料はWeights & Biases主催のFully Connected 2025 Tokyoのワークショップで発表した資料になります。

Transcript

1. Fully Connected 現場で活用するためのAIエージェントワークショップ 2025年10月30日 株式会社 電通総研 後藤 勇輝 AIエージェントを現場で実践する際 の落とし穴・今後の注目領域
2. 2 © DENTSU SOKEN INC. 自己紹介 所属 • 株式会社 電通総研 クロスイノベーション本部 AIトランスフォーメーションセンター 業務 • エンタープライズ生成AI活用ソリューション「Know Narrator」の設計・開発 • AI案件の支援 • 研究開発 出版系 • 「PyTorch実践入門」の翻訳/出版 • 「アジャイルとスクラムによる開発手法 」の翻訳/出版 • 「現場で活用するためのAIエージェント実践入門」の４章の執筆 後藤 勇輝
3. 3 © DENTSU SOKEN INC. 背景：AIエージェントの現実 2025 年はAIエージェントが大きな話題となり、各社でAIエージェントの検証が行われエンタープライズ領 域でのAIエージェントの活用に期待が集まっている
4. 4 © DENTSU SOKEN INC. 背景：AIエージェントの現実 2025 年はAIエージェントが大きな話題となり、各社でAIエージェントの検証が行われエンタープライズ領 域でのAIエージェントの活用に期待が集まっている 実際にどれくらい現場で使われているの？
5. 5 © DENTSU SOKEN INC. エンタープライズ向けで本番稼働に到達しているのはわずか エンタープライズ向けのタスク特化のAIシステムは本番稼働で成功したのはわずか 5% 出典：MIT NANDA, “The GenAI Divide STATE OF AI IN BUSINESS 2025 “, P 6
6. 6 © DENTSU SOKEN INC. エンタープライズ向けで本番稼働に到達しているのはわずか エンタープライズ向けのタスク特化のAIシステムは本番稼働で成功したのはわずか 5% 出典：MIT NANDA, “The GenAI Divide STATE OF AI IN BUSINESS 2025 “, P 6 なぜAIエージェントが本番稼働に至らないのか？
7. 7 © DENTSU SOKEN INC. 本日お話しすること ◼ 現場でAIエージェントを実践する際のよくある落とし穴 ① 「現場担当者の負荷が想定以上」 ② 「データ更新のプロセスが回っていない」 ③ 「フィードバックから学ぶ仕組みがない」 ◼ 今後の注目領域
8. 8 © DENTSU SOKEN INC. 落とし穴 ① 「現場担当者の負荷が想定以上」 業務知識をAIエージェントに教えられるのは現場の人間だけ 現場の人間を適切に巻き込めないとAIエージェント開発はうまくいかない エージェントのプロンプト エージェントの参照情報 エージェント 出力 AIエージェント開発では現場の業務知識が必要な場面が多数 エージェントの出力評価
9. 9 © DENTSU SOKEN INC. 具体的にどんな大変さがあるのか ◼ 業務の言語化（プロンプト化） ➢ 例外や判断基準を漏らさず明文化する ➢ 断片的な説明ではなく構造化・抽象化が必要 ◼ 参照情報の整理 ➢ 現場の情報は往々にして属人化・散在 ➢ ファイルは存在しても「何が書かれているか」まで整理されていない （＝わざわざ内容を確認しないといけない） ◼ AIエージェントの出力評価 ➢ 出力が自然文のため、間違いを見抜くにも理解・読解が必要 ➢ 正誤を判断した上で「どこがどう違うか」の言語化が必要 エージェントのプロンプト 参照情報 エージェント 出力
10. 10 © DENTSU SOKEN INC. 落とし穴 ② 「データ更新のプロセスが回っていない」 運用ではAIエージェントが正しく動くこと＋参照情報が正しいことの両輪が必要 • RAGでは情報源の鮮度（正確さ）が重要 • 参照文書の更新が止まるとAIエージェントは間違った答えを返すようになる • AIエージェントが参照する情報はどのように追加・更新するのかの運用プロセスの設計が必要 業務に関連するデータ 検索ツール AIエージェント 参照データが正しい必要がある AIエージェントが意図した動作をするだけでは不十分
11. 11 © DENTSU SOKEN INC. データの運用プロセスを変えるのは大変 検証用にデータを集めることと、運用で継続的にデータを更新・蓄積し続ける仕組みを作ることは、 難易度がまったく違う ◼ 生成AIが処理できる情報に変換する必要がある ➢ 検索用にチャンク化・インデックス化するなど、人が扱っていたデータをAI用に変換する工程が必要 ➢ 「いつ」「誰が」「どの形式で」「どこに」「どのデータを」置くかを明確化しなければならない ◼ 既存の業務フローを変える必要がある ➢ 従来の管理方法のままでは、技術的に更新が回らないもしくは非効率なこともある PDF パワポ エクセル 参照 変換 生成AIが参照可能なデータ AIエージェント
12. 12 © DENTSU SOKEN INC. 落とし穴 ③ 「フィードバックから学ぶ仕組みがない」 運用を始めてから改善点に気づくことがある • 複雑な業務を事前に全てのパターンで検証することはできない • 運用していくうちに業務に求める要件も変わることもある • フィードバックされた内容を反映するための方法が確立されていない AIエージェント フィードバックが届く ユーザー 答えが 間違ってる このケースに 対応してない 運用担当者 改善が反映されない どこをどうやっ て変更すべきか 時間がない
13. 13 © DENTSU SOKEN INC. フィードバックから改善するアプローチはなぜ難しいのか ◼ 改善には入出力とフィードバックを読み、妥当性を判断する必要がある ➢ AIエージェントの出力を理解し、直すべきかを人が判断 ◼ 依存関係が複雑で、どこを直すべきかの判断が難しい ➢ 誤答の原因箇所がプロンプト、エージェントの構成、検索設定、参照文書など複数考えられる ➢ プロンプトだけをみても、フィードバックがちゃんと反映されているか矛盾がないか確認するのは大変 ◼ 変更の影響を確認する必要がある（回帰テスト） ➢ 改善後に、過去にできていたパターンを壊していないか検証が必要 ➢ テストケースが増えると検証する仕組みがないとそもそもテストが不可能
14. 14 © DENTSU SOKEN INC. まとめ AIエージェントは作って終わりではない。現場で育てていくもの 落とし穴を踏まえた事前のシステム設計と同時に、既存の業務の進め方を見つめ直すことも必要 ◼ 落とし穴 ① 「現場担当者の負荷が想定以上」 ➢ AIエージェントの作成・検証には現場の知見が必要不可欠 ➢ 現場の人間を巻き込む,こと、現場の人間の時間を確保することが重要 ◼ 落とし穴 ② 「データ更新のプロセスが回っていない」 ➢ AIエージェントが正しく動くだけでは不十分 ➢ AIエージェントが参照するデータも正しい状態にし続けることが重要 ◼ 落とし穴 ③ 「フィードバックから学ぶ仕組みがない」 ➢ 事前に全てのパターンの検証は難しい ➢ 運用の中で改善していくことを前提とした設計が重要
15. 15 今後の注目領域
16. 16 © DENTSU SOKEN INC. 今後の注目領域 ◼ 自己進化エージェント ➢ 人間がフィードバックをもとに改善していくのは非常に負荷がかかる ➢ そこで人間が改善するのではなく、フィードバックからエージェントが改善方法を考え改善する ◼ スモールモデル・特化型LLM ➢ 従来より小さいモデルでもある程度の性能が出ることがわかっている ➢ 外部から参照を行う構成ではなく、モデルのパラメータに必要な情報の記憶させることでシンプルな運用ができ る