Kubernetes上でAgentを動かすための最新動向と押さえるべき概念まとめ

Transcript

1. © LayerX Inc. Kubernetes上でAgentを動かすための最新 動向と押さえるべき概念まとめ Sota Makino, LayerX Inc. Kubernetes Novice Tokyo #40
2. 自己紹介 Sota Makino（sotamaki） 所属：株式会社LayerX ロール：SWE X：@kyudobu_0421 主に前職でKubernetesを触っていました。最近は AI Agentで色々遊んでいます。
3. 今日話すこと • KubernetesでAI Agentを動かしたい！と思った時に考えないといけないこと • Agentに対してKubernetesのコミュニティとしてどのような動きがあるか
4. AI Agent、触ってますか 日々凄まじい進化をするAI Agent。Kubernetes上で動かしたい！と 思った方も一定数いらっしゃるのではないでしょうか。 私もその1人です。 そういえば... AI Agentのランタイムに対する要件って何？ 🤔
5. Agentの定義から調べてみた 「エージェント」の定義は多岐にわたるが、Anthropicはこれらを広く エージェン ティックシステム（agentic systems）と捉えたうえで、LLMの自律性と制御の方法に もとづき、アーキテクチャを workflow と agent の2つに大別している。 概要・特徴 LLM・ツールの制御 ① ワークフロー（Workflows） 事前に定義された手順に従って 動くシステム 人間（コード）が主導あらかじめ決まった経路 （コードパス）で連携・実行される。 ② エージェント（Agents） 自律的にプロセスを決定・実行 するシステム LLM自身が主導動的にタスクの達成方法やツー ルの使用を判断・指示する。 https://www.anthropic.com/engineering/building-effective-agents
6. Agentの定義から調べてみた 「エージェント」の定義は多岐にわたるが、Anthropicはこれらを広く エージェン ティックシステム（agentic systems）と捉えたうえで、LLMの自律性と制御の方法に もとづき、アーキテクチャを workflow と agent の2つに大別している。 概要・特徴 LLM・ツールの制御 ① ワークフロー（Workflows） 事前に定義された手順に従って 動くシステム 人間（コード）が主導あらかじめ決まった経路 （コードパス）で連携・実行される。 ② エージェント（Agents） 自律的にプロセスを決定・実行 するシステム LLM自身が主導動的にタスクの達成方法やツー ルの使用を判断・指示する。 https://www.anthropic.com/engineering/building-effective-agents
7. タスク入力 質問：エッフェル塔が建築されて から何年経ちましたか？ AI/ML Agent（思考1） 何をする必要がある？ 質問に答えるためにエッフェル塔がいつ建 築されたか知る必要があります。 行動： web_search(‘エッフェル塔 竣工’) 観察（Step１完了） 検索結果： 1889年 竣工 AI/ML Agent（思考2） 何をする必要がある？ 竣工された年は今分かったので、2026か らその年数を差し引く必要がある 行動： calculate(2026 - 1889) 観察（Step２完了） 計算結果結果： 137 AI/ML Agent（思考3） 答えを得た エッフェル塔は建築されてから2026年時 点で137年経っていることが分かった 最終的な答え（成功）： エッフェル塔は2026年で建築から137年経ちました
8. タスク入力 質問：エッフェル塔が建築されて から何年経ちましたか？ AI/ML Agent（思考1） 何をする必要がある？ 質問に答えるためにエッフェル塔がいつ建 築されたか知る必要があります。 行動： web_search(‘エッフェル塔 竣工’) 観察（Step１完了） 検索結果： 1889年 竣工 AI/ML Agent（思考2） 何をする必要がある？ 竣工された年は今分かったので、2026か らその年数を差し引く必要がある 行動： calculate(2026 - 1889) 観察（Step２完了） 計算結果結果： 137 AI/ML Agent（思考3） 答えを得た エッフェル塔は建築されてから2026年時 点で137年経っていることが分かった 最終的な答え（成功）： エッフェル塔は2026年で建築から137年経ちました 行動： web_search(‘エッフェル塔 竣工’) AI/ML Agent（思考1） 何をする必要がある？ 質問に答えるためにエッフェル塔がいつ建 築されたか知る必要があります。 観察（Step１完了） 検索結果： 1889年 竣工 ReAct…推論と行動を組み合わせた手法
9. タスク入力 質問：エッフェル塔が建築されて から何年経ちましたか？ AI/ML Agent（思考1） 何をする必要がある？ 質問に答えるためにエッフェル塔がいつ建 築されたか知る必要があります。 行動： web_search(‘エッフェル塔 竣工’) 観察（Step１完了） 検索結果： 1889年 竣工 AI/ML Agent（思考2） 何をする必要がある？ 竣工された年は今分かったので、2026か らその年数を差し引く必要がある 行動： calculate(2026 - 1889) 観察（Step２完了） 計算結果結果： 137 AI/ML Agent（思考3） 答えを得た エッフェル塔は建築されてから2026年時 点で137年経っていることが分かった 最終的な答え（成功）： エッフェル塔は2026年で建築から137年経ちました 行動： web_search(‘エッフェル塔 竣工’) 行動： calculate(2026 - 1889) ツール…AI Agentが外部のツールや API とやり取り するためのもの。任意のコードも実行する
10. タスク入力 質問：エッフェル塔が建築されて から何年経ちましたか？ AI/ML Agent（思考1） 何をする必要がある？ 質問に答えるためにエッフェル塔がいつ建 築されたか知る必要があります。 行動： web_search(‘エッフェル塔 竣工’) 観察（Step１完了） 検索結果： 1889年 竣工 AI/ML Agent（思考2） 何をする必要がある？ 竣工された年は今分かったので、2026か らその年数を差し引く必要がある 行動： calculate(2026 - 1889) 観察（Step２完了） 計算結果結果： 137 AI/ML Agent（思考3） 答えを得た エッフェル塔は建築されてから2026年時 点で137年経っていることが分かった 最終的な答え（成功）： エッフェル塔は2026年で建築から137年経ちました タスク入力 質問：エッフェル塔が建築されて から何年経ちましたか？ 最終的な答え（成功）： エッフェル塔は2026年で建築から137年経ちました セッション…Agentが一度起動してから、いったん区切られる までの1回の実行単位 セッションまたぎ…前回の文脈を外部状態に落として、次回そ れを読んで再構築すること Anthropicは、次のセッションのために claude-progress.txt, feature list, git history のような artifacts を残す設計を取っています。これで「何をやったか」「今 どこまで進んでいるか」「次に何をやるか」をセッション外に保存します。
11. タスク入力 質問：エッフェル塔が建築されて から何年経ちましたか？ AI/ML Agent（思考1） 何をする必要がある？ 質問に答えるためにエッフェル塔がいつ建 築されたか知る必要があります。 行動： web_search(‘エッフェル塔 竣工’) 観察（Step１完了） 検索結果： 1889年 竣工 AI/ML Agent（思考2） 何をする必要がある？ 竣工された年は今分かったので、2026か らその年数を差し引く必要がある 行動： calculate(2026 - 1889) 観察（Step２完了） 計算結果結果： 137 AI/ML Agent（思考3） 答えを得た エッフェル塔は建築されてから2026年時 点で137年経っていることが分かった 最終的な答え（成功）： エッフェル塔は2026年で建築から137年経ちました 最終的な答え（成功）： エッフェル塔は2026年で建築から137年経ちました Agentは、単発のLLM呼び出しではなく、 ツールを使いながら複数ステップ・複数セッションにまたがって動く。
12. では、Agentのランタイムには何が必要か？ • 永続性 — ファイルや進捗を保持できること • 継続性 — 複数セッションをまたいで作業を続けられること • 分離性 — 実行環境を安全に隔離し、影響範囲を限定できること • 再開性 — 中断後も途中状態から再開できること • 観測性 — 実行内容や判断過程を追跡できること
13. 標準のKubernetesリソースで足りるのか？ リソース 向いていること ギャップ Deployment stateless な常駐サービス 状態保持やセッション継続が弱い Job 単発処理と再試行 再開ではなく再実行 StatefulSet stable identity と永続ストレージ 文脈復元や進捗管理は別途必要 Deployment / Job / StatefulSet は、それぞれ一部の性質は満たせるが、 Agentにコード実行や外部ツール利用を許すなら、安全に閉じ込める分離性が別途必要
14. Agent Sandbox
15. Agent Sandbox • これは何 ◦ 通常の Deployment や Job では扱いにくい、長時間・状態保持型のワークロードを Kubernetes 上で扱うための OSS ◦ AI agent runtimes も代表的なユースケースに含まれる • コア機能 ◦ Sandbox CRD によって、安定した実行先、永続ストレージ、停止・再開を含むライフサイク ル管理を提供する • 拡張機能 ◦ SandboxTemplate / SandboxClaim / SandboxWarmPool により、定義の再利用、利用の簡 略化、起動時間の短縮を実現します。
16. • AI Agent のコード実行環境 LLM が生成したコードや、信頼できないコードを 隔離された環境で安全に実行する用途。公式 overview でも、 AI agent runtimes は代表的ユースケースとして挙げられている • コーディング Agent の実行基盤 公式 examples には “Coding Agent on Agent-Sandbox and LangGraph” があり、コーディング Agent を Kubernetes 上で動かす例が用意されている • computer use / browser 操作 Agent runtime templates には “Python Runtime Sandbox for Gemini Computer Use Agent” があり、ブラウザ操作 を伴う Agent の実行基盤として使える • JupyterLab や単一ユーザー向け開発環境 examples には JupyterLab や Isolated ML Workspaces もあり、Agent 以外にも 長時間・状態保持・単一実体 の作業環境に使える • 小さな stateful single-pod service overview では、build agent や small database のような 単一インスタンスで安定したIDが必要なサービス も対象 に挙げている Agent Sandbox の具体的なユースケース
17. デモ 『エッフェル塔の質問に答える途中でセッションが切れてしまった。しかし Agent Sandbox に状態が残っているので、再接続して続きから再開できる。』
18. デモ Python スクリプト 仮想Agent ①思考させる ②Sandboxで実行 するコードを生成 ③Sandbox上で② のコードを実行 ④Sandbox上で ツール呼び出し 進捗 ⑤Sandbox上に進 捗を保存
20. プラットフォームの力を借りてこんなにシンプルに書ける！
21. まとめ • AI Agent のランタイムには、永続性・継続性・分離性・再開性・観測性が求めら れる。 • 標準の Kubernetes リソース（Deployment / Job / StatefulSet）だけでは、これ らを統合的に満たすのは難しい。 • Agent Sandbox（SIG Apps 配下の OSS）は、stable identity / persistent storage / pause・resume などを Sandbox CRD としてまとめて提供し、この ギャップを埋める。 • コード実行 Agent、browser-use Agent、JupyterLab など、長時間・状態保持型 ワークロードの実行基盤として活用できる。
22. Appendix
23. 参考文献 • https://claude.com/blog/tool-use-ga • https://www.anthropic.com/engineering/effective-harnesses-for-long -running-agents • https://www.anthropic.com/engineering/building-effective-agents • https://vinayakajyothi.com/blog/2026-02-22-react-thought-action-o bservation/ • https://github.com/kubernetes-sigs/agent-sandbox