【CA.ai #3】ワークフローから見直すAIエージェント — 必要な場面と“選ばない”判断

https://cyberagent.connpass.com/event/371245/

Transcript

1. ワークフローから見直す AIエージェント — 必要な場面と“選ばない”判断 —
2. 佐藤晴輝 • 所属 サイバーエージェント > AI 事業本部 • 業務内容 クリエイティブ生成AIプラットフォーム「AI SCREAM」の バックエンドエンジニア @akp_working
3. 1. エージェントを使って失敗した例 2. LLM/ワークフロー/エージェント 3. ワークフローの強みと弱み 4. エージェントの強みと弱み 5. まとめ
4. エージェントを使って 失敗した例
5. ※これから紹介するサンプルはかなり抽象化してます 雰囲気で読み取ってください
6. ケーキ作成エージェント
7. オーブンツール • インプット 焼く内容の指定 • 副作用 焼いた結果が倉庫に保存される • レスポンス オーブンリザルトID
8. 素材準備ツール • インプット 欲しい材料の指定 • 副作用 用意した材料が倉庫に保存される • レスポンス 材料IDのリスト
9. デコレーションツール • インプット ユーザーからのデザインの要望 素材のIDのリスト • 副作用 完成したケーキが倉庫に保存される※ • レスポンス 完成したケーキのID ※バーチャルケーキなので倉庫にある材料も無くならないとします
10. ケーキ作成エージェント • エージェントの目的 ユーザーの要望に従ってケーキを作成するエージェント • 提供されるツール 1. オーブンツール 2. 素材準備ツール 3. デコレーションツール それぞれのツールは完璧に仕事をこなし、在庫もなくならない夢のツールとします
11. (再掲)ケーキ作成エージェント いちごショー トが食べた い！
12. 夢のようなツールを持ってしても 失敗した例をご紹介します
13. 失敗ケース1 デコレーションする元がないためケーキが完成しない
14. 失敗ケース2 ケーキは完成するが、今回用意したみかんと生クリームは使われない
15. 失敗ケース3 ケーキは完成するがスポンジが一つ使われない
16. • ケース３：余計なステップの実行 エージェントが常に最短経路を選んでくれるとは限らない • ケース１：実行漏れ/順序崩れ ツールの実行順に前提条件があっても、それを守らせるのが難しい • ケース２：中間物の取り違え 今回のケーキ作成エージェントはツールの成果物をIDでしか認識していない。 「今回作った素材を使う」という判断を必ずさせるのは難しい 失敗ケースまとめ エージェントの判断次第で想定した動きをしてくれないことがある
17. エージェント辛い。。。 他に方法はなかったのかな？
18. LLM/ ワークフロー/ エージェント
19. エージェントとは？ 定義が人によって様々 Anthropic は広義のエージェントという概念について ワークフローや（狭義 の）エージェントのようなアーキテクチャの区分があるとしています LLM/ワークフロー/エージェントという単語について 以下のページをもとに整理します https://www.anthropic.com/engineering/building-effective-agents
20. (拡張)LLM シンプルなモデルの呼び出しに加えて、検索やツールの実行などの拡張機能ま でを含めたもの 以降のワークフロー、エージェントが内部で利用するLLMはこれらの拡張機能が使える前提になります 引用：The augmented LLM
21. ワークフロー LLMとツールを「事前定義されたコードパス」で オーケストレーションするシステムのこと 実行フローは固定され、各ステップにゲートや検証を挿入できる 構成パターン例: プロンプトの連鎖／ルーティング／並列化 など
22. エージェント LLMが自らプロセスとツールの使用を「動的に指揮」するシステム • 計画→行動→観測を反復し、環境からの事実で進捗を評価 • チェックポイントや停止条件、HITL（人手インザループ）を組み込める • エージェントがワークフローを呼び出すことも可能 逆にワークフローが特定のステップでエージェントを呼ぶことも可能
23. ワークフローの強みと弱み
24. (再掲)ワークフロー LLMとツールを「事前定義されたコードパス」でオーケストレーションするシ ステムのこと 実行フローは固定され、各ステップにゲートや検証を挿入できる 構成パターン例: プロンプトの連鎖／ルーティング／並列化 など
25. ワークフローの強み • 決定的に実行できる • 条件分岐やエラーハンドリングも融通が効く • LLMの問題ではなくプログラムの問題にできる 引用：プロンプト連鎖ワークフロー 引用：ルーティングワークフロー
26. ワークフローを使った分岐 ショートケーキ専門LLM チョコケーキ専門LLM ルーターLLM
27. ワークフローの弱み • 未知のパターンへの弱さ • コンテキストの管理が難しい • 機能が増えてくると保守が困難
28. 未知のパターンへの弱さ ショートケーキ専門LLM チョコケーキ専門LLM ルーターLLM チーズケーキを作っ て 作れないと回答するべき？近いやつで出すべき？
29. コンテキストの管理が難しい ショートケーキ専門LLM チョコケーキ専門LLM ルーターLLM このLLMの思考はコンテキストに残す？ 残す場合はどこまで残す？
30. コンテキストの管理が難しい ショートケーキ専門LLM チョコケーキ専門LLM ルーターLLM このLLMの思考はコンテキストに残す？ 残す場合はどこまで残す？ ショートケーキ専門LLMのコンテキスト をチョコケーキ専門LLMに渡す？
31. 機能が増えてくると保守が困難 ショートケーキ専門LLM チョコケーキ専門LLM ルーターLLM ・ ・ ・
32. エージェントの強みと弱み
33. (再掲)エージェント LLMが自らプロセスとツールの使用を「動的に指揮」するシステム • 計画→行動→観測を反復し、環境からの事実に基づいて進捗を評価 • チェックポイントや停止条件、HITL（人手インザループ）を組み込める • エージェントがワークフローを呼び出すことも可能 逆にワークフローが特定のステップでエージェントを呼ぶことも可能
34. エージェントの強み • 目的に対し計画→行動→観測を自律ループで遂行（途中で再計画が可能） 道のりが決まってない問題や未知のパターンへの適応力を持つ 引用：自律エージェント
35. 自律ループ 終了条件を満たしていなければ追加の作業を実行できる イチゴが 足りな い！
36. 自律ループ エラー内容を確認し、計画を修正できる エラー発 生！ 再計画 キャンセ ル
37. 未知パターンへの適応力 みかんケーキ を作って！ りんごパイを 作って！
38. エージェントの弱み • ばらつき/非決定性が高く、SLAや再現性の確保が難しい 挙動が安定しない • 制御できる方法はあるが、実装難易度が高い チェックポイント/停止条件/ツール設計 など整備のコストが高い • LLMの思考が挟まるので時間と推論コストがかかる
39. • ケース３：余計なステップの実行 エージェントが常に最短経路を選んでくれるとは限らない • ケース１：実行漏れ/順序崩れ ツールの実行順に前提条件があっても、それを守らせるのが難しい • ケース２：中間物の取り違え 今回のケーキ作成エージェントはツールの成果物をIDでしか認識していない。 「今回作った素材を使う」という判断を必ずさせるのは難しい (再掲）失敗ケースまとめ エージェントの判断次第で想定した動きをしてくれないことがある
40. まとめ
41. まとめ 1. 一種類のケーキのみ作れればOK -> LLM 2. いちごショートもみかんケーキも作りたい（焼く->素材作る->デコる） 単発LLMでは済まないが固定の手順 -> ワークフロー 3. りんごパイ(想定外のケーキ)も作りたい(焼く,素材作る,デコるが順不同） -> エージェント
42. 結論 エージェントを使うのはどうしても必要な時だけにしよう
43. ありがとうございました