AI Agentのキャッシュ、再利用、Ops

https://layerx.connpass.com/event/346351/#_=_ の登壇資料です。

Transcript

1. AI Agentの キャッシュ、再利用、Ops 2025/03/10 しぶい
2. 本発表は個人の見解に基づくものであり、所 属組織を代表するものではありません。
3. 自己紹介 shibui yusuke • もともとクラウド基盤の開発、運用 • ここ8年くらいMLOpsとバックエンドとインフラと データとレコメンデーションと生成 AI関連で仕事 • 最近やってること： PBスケール非構造化データの管理基盤 • Github: @shibuiwilliam • FB: yusuke.shibui • 最近の趣味：オタマトーン cat : 0.55 dog: 0.45 human : 0.70 gorilla : 0.30 物体検知 3
4. 出版物 『機械学習システムデザインパターン』 機械学習を実用化するための学習、推論、評価シ ステムの作り方をデザインパターンとして整理し、 サンプルコードとともに説明した一冊。 『機械学習システム構築実践ガイド』 前著機械学習システムデザインパターンを実プロ ダクト（需要予測、違反検知、検索）で実践するシ ステム構成や開発、運用方法を説明。 連載『MLOpsのすすめ』 総集編に寄稿 2023年8月号〜2024年5月号にて『MLOpsのすす め』を連載。機械学習、LLM、生成AIを含めて広い 範囲でのDevOpsの方法論を解説。 2018-2023総集編に生成AI時代のエンジニアのあ り方をテーマに寄稿。 共著『事例でわかるMLOps』 国内各社のMLOps事例を当事者が解説した本に 共著者として参加。マルチテナントSaaSにおける学 習パイプラインや推論システムの作り方を解説。
5. AI Agentは作るよりも使うほうが多い • 最近作ったもの：事務処理の異常値を検出して通知する AI Agent。 AI Agent / LLM 業務システム コミュニケーションツール 打刻と 経費精算で ミスってる 社員に DMして😓 今月の打刻と経費精算 データを取得 データが必要 間違いの決定が必要 異常値になる記録の 一覧を作る データを整形してDM 各従業員に通知 Reasoning Action
6. AI Agentで解決したいこと • LLMがなんかすごい知的な作業をやってくれるのをいい感じに活用したい。 超簡単な作業 やり方はわかってるけど、 作る必要がある作業 やり方はわからないけど、 できたらすごいこと Slackで打刻 月末に従業員の 打刻・経費精算ミスを 集計し、修正依頼する 宇宙の膨張速度を 調べて論文を書く 人間でもOK まずは解決したい Deep Researchに期待？
7. AI / AI Agentを活用！ テスト設計やQAが重要 R&D 人 / AIに相談しつつ AI Agentを試してみる AI Agentで解決したいこと や り 方 が わ か ら な い や り 方 が わ か る 評価・検証・後戻りできない 結果の安全性 評価・検証・後戻りできる 注：別の象限として費用対効果や 　　運用があることを忘れずに！ 手 順
8. ワークフローは何故必要か • 本来ほしいのはActionが成功して結果を得ること。そのために PlanningやReasoningがある。 • ワークフローは作らなくて済むなら作りたくないし、手順が減るなら減らしたほうが良い。 AI Agent / LLM 業務システム コミュニケーションツール 打刻と 経費精算で ミスってる 社員に DMして😓 今月の打刻と経費精算 データを取得 データが必要 間違いの決定が必要 異常値になる記録の 一覧を作る データを整形してDM 各従業員に通知 Reasoning Action
9. 推論とキャッシュ • ML/AIでは決まった入力の推論が繰り返される場合は結果をキャッシュして返却することが効果的。 • LLMでもキャッシュは有効。AI Agentではワークフローがキャッシュ対象になる（たぶん）。 学習済み MLモデル LLM 同じ入力 推論 キャッシュ 同じ入力データには キャッシュから推論を返却 同じタスク 結果 Reasoning Action キャッシュ ワークフローをキャッシュして 同じタスクを再現する
10. 決まった手順は再利用する • 人間が業務フローを作るのと同じで、 AI Agentで解決のワークフローが決まったものは Actionだけを残して再利用する。 AI Agent / LLM 業務システム コミュニケーションツール 今月の${targets} データを取得 データが必要 間違いの決定が必要 異常値になる記録の 一覧を作る データを整形してDM 各従業員に通知 # 汎用的な関数 def gather_data(targets): return data def detect(data): return anomalies def notify(anomalies): send() # AI Agentで定義したワークフロー def notify_mistake(targets): data = gather_data(targets) anomalies = detect(data) notify(anomalies) 異常値検知モデルの 学習、推論
11. 安定した関数ほど再利用しやすい • Tool callする関数は安定的なものを使う。 • 不安定・不明確な関数を使って LLMの不確かさを増幅しない。 （人間がレビューとトラブルシューティングすることを忘れない！） AI Agent タスク 結果 Reasoning Action Function list Tool call Callする関数を選ぶ 引数とともに実行する Call対象の関数は以下のように作る。 - 責任範囲を狭く - わかりやすく - 引数と返り値が明確 AIに作らせても良いが、 理解とテストは必要。
12. 安定した関数ほど再利用しやすい AI Agent タスク 結果 Reasoning Action Function A Function B Function C 実行する関数と 引数を決める 実行する このワークフローがタスクを 実践する手順になる。 - 手順書化して人間に提供 - データ化してAIの学習に利用 - それ自体を関数として再利用 • Tool callする関数は安定的なものを使う。 • 不安定・不明確な関数を使って LLMの不確かさを増幅しない。 （人間がレビューとトラブルシューティングすることを忘れない！）
13. SWE-RLの衝撃と、AI Agentを自動で作るAI • SWE-RL：Meta社が出したLLMのコーディング能力を向上させる強化学習手法。 ◦ https://arxiv.org/pdf/2502.18449 ◦ https://github.com/facebookresearch/swe-rl
14. SWE-RLの衝撃と、AI Agentを自動で作るAI • 同様の方法論でAI Agentを自動で作るようにLLMを学習できるはず（たぶん）。 Task workflows Workflow dataset Workflow Task Predicted workflow Oracle workflow
15. • AI Agent management service ◦ 安定的に再利用可能な社内AI Agentの登録、提供基盤があると便利。現時点ではMCP準拠が良さそ う。 ◦ ワークフロー、利用している関数、依存している環境とバージョン、開発者、登録日、利用履歴、その 他諸々。 ◦ 確立済みのワークフローを定期的に再評価、再定義するDevOps基盤。AI Agentを自動生成できるなら 自動で再評価、再定義できるはず。 • Tool call management service ◦ クライアント認証（ブラウザ、API）が必要なので、特定のAI Agentをcertify / authorizeする仕組みがほ しい。IAMみたいなもの。 ◦ 同様に、AI Agentごとに外部システム利用のThresholdと課金を管理、可視化できると助かる。 その他雑感
16. 宣伝
17. MLOpsコミュニティイベント 第50回MLOps勉強会 & AI Agent Ops LT大会 • 第50回記念MLOps勉強会開催のお知らせ！ • 3/26（水）19:00- • 六本木メルカリオフィス & オンライン配信 • AI Agent Ops LT大会を開催します！ • 4/16（水）19:00- • オンライン配信 • LT登壇者募集中です！