Falco Premptiでつくる クラウドネイティブな AI Agent Guardrail

Transcript

1. Falco Premptiでつくる クラウドネイティブな AI Agent Guardrail Kumo Ishikawa / 株式会社サイバーエージェント
2. 自己紹介 Kumo Ishikawa（石川 雲） CyberAgent Service Reliability Group(SRG)所属 • 担当サービス Ameba Platform • 得意領域 Platform Engineering, CI/CD, Security • 登壇歴 • Cloud Native Kaigi 2026 • SRE NEXT 2025 • Platform Engineering Kaigi 2025 • Kubernetes Meetup Novice 数回 Kubestronaut (2024) CyberAgent Next Expert of Platform Engineering(2025)
3. 本日の内容 01 AI Agent Guardrailの紹介と課題点の整理 02 Falco Premptiによる01の課題点の解決 03 Falco Premptiを活用したKAgent上Guardrailの実装例紹介
4. Kubernetes上で動く AI Agent Guardrailの話
5. AI Agent Guardrailとは AI Agentの処理を制限し、安全に制御する仕組み • Input guard：入力プロンプトの検査 • Output content guard：出力内容の検査 • Tool call guard：ツール呼出の検査と権限制御 • Tool result guard：実行結果の検査
6. AI Agent Guardrailとは AI Agent Guardrailそれぞれの検査対象 • すべての製品に共通する基準はないが、基本Tool or LLM二種類中心 • 個別の製品には、Sandbox環境やPolicy EnforcementをGuardrailと呼ぶ場合もあ る
7. この発表で扱う範囲 • 扱う範囲 ◦ Tool Callを実行前に評価するGuardrail • 検査対象 ◦ Tool名、command、file path、arguments、作業ディレクトリ • Prompt InjectionなどのLLM Input Guardrailは範囲外
8. よくあるAI AgentのGuardrail Claude Code/Codex/KAgent
9. Claude CodeのGuardrail HooksとPermissionの組み合わせ 1. Hook: UserPromptSubmit 入力の検査 2. Hook: PreToolUse ツール呼出の検査 3. Config: Permission settings.json+permission mode 4. Hook: PostToolUse 実行結果の検査
10. CodexのGuardrail Codex側がClaude Code互換のスキーマを採用したため、構造はほぼ同じ
11. KAgentのGuardrail Kubernetes上でAI Agentを宣言的に運用するプロジェクト • Solo.ioが開発し、2025年にCNCFへ寄贈 (Sandbox Project) • Agent/ModelConfig/MCPServerをCRDで定義し、kubectlとGitOpsで管理 • Google ADK、A2A、MCP、OpenTelemetryに対応 • CloudNative運用ツール群をMCPとして同梱
12. KAgentのGuardrail Google ADKのcallbacksで実現す る制御の仕組み • before_tool_callback ツール呼出の検査 • after_tool_callback 実行結果の検査 • DenyOrAllowのみ 人間承認はcallback内で自前実装
13. KAgentのGuardrail Google ADKのcallbacksで実現す る制御の仕組み • before_tool_callback ツール呼出の検査 • after_tool_callback 実行結果の検査 • DenyOrAllowのみ 人間承認はcallback内で自前実装
14. Agentごとに異なるGuardrail仕 様 Claude ↔ Codex スキーマは同じ、サポートされる decision の範囲が違う Claude / Codex ↔ KAgent プロトコル自体が違う(stdin/stdoutのJSON vs 関数呼び出し)
15. 問題点 AgentごとのGuardrail設定は、増えるうえに共通化できない 1. 設定が肥大化し、しかも抜け道が多い 2. Agent 間で共通化できない 「使いそうなツール名を全部禁止」に膨らみがち Local の Claude / Codex 個別のツール名指定によるブラックリスト方式では設定 が煩雑化する 互換スキーマである程度吸収できる 禁止しても別ツール・別コマンドで回避できる Cloud 上の自律 Agent（KAgent 等） 同等の機能を持つ代替コマンドやスクリプト経由で容易 にバイパスされる 共通の hook / settings 層が存在しない OpenToolGuardrailなんてあったらいいな〜
16. 一つの解決方法: Falco Prempti
17. Falcoとは ランタイムセキュリティチェックOSSツール • システムコールの監視 ◦ 事前にFalco Rulesで定義された「通常行われないような操作」を検知して通知する • 2018年: SysdigがCNCFへ寄贈 • 2024年: CNCF Graduated
18. Falco Premptiとは Tool Call Eventを実行前に受け取り、FalcoのRule Engineで判定するGuardrail CLI • Syscallを見ないのでkernel 権限不要、macOS/Windowsでも動作 • Claude/Codexに対応 • v0.2.1
19. 既定ruleの対象 機密情報 危険な操作 Guardrailの変更 • SSH key • 破壊的コマンド（rm -rf 等） • MCP 設定の改変 • cloud credential • 外部への exfiltration • slash commandへの注入 • .env • reverse shell • git hookの書き換え • /etc/ 配下 • sandbox無効化 • ~/.aws/ などの cloud credential ディレクトリ • pipe-to-shell • package registry の向き先変 更 • API keyのenv fileへの書き込 み • encoded payload • 作業directory外の変更 • Hookの改変 • Prempti serviceの削除 • Falco ruleの変更
20. DEMO1 START
21. Falco Ruleで定義する動き 例: gh cliの利用を禁止
22. Falco Ruleで定義する動き 例: gh cliの利用を禁止 + 特定のlocal repoなら許可
23. Falco Ruleで定義する動き 例: gh cliの利用を禁止 + 特定のlocal repoならread系のみ許可
24. DEMO1 END
25. KAgentなどへの転用 Prempti公式のサポート範囲 • Claude Code PreToolUse • Codex PreToolUse / PermissionRequest（experimental） • premptictlによるローカルAgentの管理 ローカルのCoding Agentだけでなく、一般のAI Agentにも使いたいな〜
26. KAgentなどへの転用 本発表の独自実装 • KAgent BeforeToolCallback Adapter (Sidecar Container)
27. KAgent + Falco Prempti 目標：KAgent本体のTool実装を変更せずにTool Call判断をFalco Premptiに移譲する ① KAgent Tool名とargumentsをPrempti eventへ変換 PoC利用Version •Prempti 0.2.1 •KAgent 0.9.12 ② Allow時だけTool bodyを実行 ③ Deny理由をKAgentのTool resultへ返す •AWS Bedrock API
28. KAgentとPremptiの接続 構成図
29. KAgentとPremptiの接続 Python / GoでのAdapter実装
30. DEMO2 START
31. Falco Rules
32. DEMO2 END
33. まとめ 課題 解決 AI AgentのTool Call Guardrailは、Agentごとに仕様が異なり、 ブラックリスト設定は肥大化・回避されやすいという課題が存在 Falco Premptiを使えば、Tool Call EventをFalco Ruleで統一されたルールで実行前に判 定できた 転用 KAgentにはBeforeToolCallback Adapter（Sidecar + Unix Domain Socket）を自作し、 ローカル・KAgentに同一形式のFalco Ruleを利用できた
34. ありがとうございました