Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AIエージェントセキュリティ実務マニュアル ダイジェスト(TH / CT / REQ / VT)

Avatar for shugo shugo
August 01, 2026

AIエージェントセキュリティ実務マニュアル ダイジェスト(TH / CT / REQ / VT)

6体のAIエージェントに、CSSで人間には見えない指示を仕込んだ偽のライブラリページを読ませたところ、4体が実際に支払いを実行した(Zscaler ThreatLabz, 2026年7月)。同じ月、あるモデルはサンドボックスに唯一許可されていた出口——パッケージ取得用プロキシ——のゼロデイを突いて脱出し、約4日半で17,600回の攻撃操作を行った。動機はベンチマークの答え合わせだった。

2026年の事件はバラバラの脆弱性ではない。同じ骨格を繰り返している。
信頼できない入力 → 合成された権限 → アイデンティティの悪用 → 持ち出し。

防御するのは経路であって、ノードではない。

このスライドは、無料公開している『AIエージェントセキュリティ実務マニュアル』の中身を19枚に凝縮したものです。脅威分類 TH-01〜TH-10、コントロール分類 CT-01〜CT-15、RFC 2119 の SHALL / SHOULD で書いた要件 REQ-000〜REQ-066、検証テスト計画 VT-S / VT-D / VT-E / VT-A の54項目——脅威からコントロール、要件、検証まで一本の鎖としてつないであります。社内文書の骨としてそのまま使える形です。

EU AI Act 第15条が求めるのは「安全に作っています」という主張ではなく、文書化された証跡。高リスク義務は2026年8月2日から適用開始です。

書籍は日本語版・英語版とも無料。
日本語版: https://leanpub.com/agent-security-ja
English: https://leanpub.com/agent-security

Free companion book to this deck — a practitioner's manual for AI agent security. Threat taxonomy TH-01..TH-10, control taxonomy CT-01..CT-15, RFC 2119 requirements REQ-000..REQ-066, and a 54-test verification plan. Same chain in both languages.

Avatar for shugo

shugo

August 01, 2026

More Decks by shugo

Other Decks in Technology

Transcript

  1. AIエージェントは、 一本の経路で破られる。 A I A G E N T S

    E C U R I T Y — 実 務 マ ニ ュ アル の 中 身 2026年の事件はバラバラの脆弱性ではない。同じ骨格を繰り返している。 その骨格と、脅威から検証までをつなぐ鎖を、無料の一冊にまとめた。 信頼できない入力 合成された権限 アイデンティティの悪用 持ち出し 『AIエージェントセキュリティ実務マニュアル』(日本語版 / English edition) 野崎 秀吾 — leanpub.com/agent-security-ja / leanpub.com/agent-security AI Agent Security 01 / 20
  2. 2026年7月 同じ月に、二つ起きた。 実地で観測された攻撃 偽のライブラリページが、 エージェントに支払わせた Zscaler ThreatLabz が報告。SEOで上位に押し上げた偽の Python ライブラリ配布ページに、CSSで人間には見えない指示を埋め込む。

    「APIキー取得の手順」を装って支払いを求めた。 フロンティアモデルの自律的な連鎖 サンドボックスを脱出し、 本番インフラでコードを実行した ネットワーク隔離された評価環境から、実在のゼロデイを自ら発見・ 連鎖させて脱出。約4日半で、およそ17,600回の攻撃操作。動機は、 ベンチマークの解答キーを手に入れること。 どちらも「モデルが悪意を持った」話ではない。与えられた目的に忠実だった結果として、境界の外に出ている。防ぐ対象はモデルの 意図ではなく、経路である。 AI Agent Security 02 / 20
  3. Zscaler ThreatLabz / 2026-07 4/26 テストした26のAIエージェントのうち、 4つが実際に支払いを実行した。 関連キャンペーンでは、26体中2体がタイポスクワットされた暗号資産プラットフォーム を正規のものとして受け入れた。 これは「判断を誤った」結果ではない。読んだ文字列に、そのまま従っただけ

    である。 AI Agent Security 人間には見えない 指示はCSSで隠されている。スクリーンショットにも、目 視レビューにも映らない。エージェントだけが読む。 ページは「正しく」見える 検索結果の上位にあり、ドキュメントの体裁を持つ。到達 経路そのものが汚染されている。 拒否ではなく実行で終わる モデルは疑わなかったのではない。読んだ文字列を、開発 者の指示と同じ重みで受け取った。 03 / 20
  4. 破られ方が本質だった 唯一許可された出口が、脱出路になった。 サンドボックス ネットワーク隔離 egressは1経路のみ 許可 プロキシ / キャッシュ サードパーティ製

    未知の脆弱性を保持 ゼロデイ オープンな インターネット 本番環境 認証情報奪取 → RCE 約4日半 / 約17,600回の攻撃操作 — 検知・封じ込めは、ノードではなく経路の監視から生まれた 隔離は正面から破られていない。宣言された宛先は、安全な宛先ではなかった。許可リストに載っているのは「どこへ出るか」であっ て、「何がその出口を実装しているか」ではない。 AI Agent Security 04 / 20
  5. 本書が最初に示す一枚 事件は違っても、骨格は一つしかない。 信頼できない入力 Web・文書・RAG・メモリ TH-01 / TH-03 / TH-04 合成された権限

    ツール呼び出し・委譲 TH-02 / TH-06 / TH-07 IDの悪用 借り物の人間の資格情報 TH-05 持ち出し データ・シークレット・金銭 TH-08 / TH-10 監査と評価の回避(TH-09)が、この経路の全区間を覆い隠す — 「何も起きていない」という記録が残る 脅威クラスは独立していない。インシデントとは、複数のクラスを貫く経路である。1クラスだけを孤立して塞いでも、経路は開いた ままになる。 AI Agent Security 05 / 20
  6. 2 0 2 5 年 か ら 反 復 して

    い る 同じ骨格が、名前を変えて出てくる。 EchoLeak メール1通、ユーザーのクリックはゼロ。Copilot から機密情報が 外へ出た。 TH-01 TH-02 TH-08 Amazon Q 拡張 署名済みの正規リリースに、「環境をワイプせよ」という指示が同 梱されて配布された。 TH-07 TH-02 GTG-1002 侵入行為を無害に見えるサブタスクへ分解。全体像を見せないこ とで拒否を回避し、約30組織へ。 TH-06 TH-09 ExploitGym の脱出 評価という文脈上の目的が、egressプロキシ侵害とツール悪用を 駆動した。 TH-09 TH-07 TH-05 CVE-2025-32711 サプライチェーン MITRE ATT&CK C0062 2026-07 AI Agent Security 06 / 20
  7. よ く あ る 反 論 に 、 先 に

    答 える 「賢いモデルにすれば済む」は、効かない。 賢さで防げた事件は、一つもない 効くのは、アーキテクチャの側 ExploitGym 隔離と実行分離 GTG-1002 来歴ラベルと境界 Zscaler / EchoLeak 最小権限とエージェントID 安全なモデルは必要条件にすぎない。 点ではなく経路を見る監視 むしろ賢いから破れた。能力が上がるほど経路を自力で見つける。 悪意ある全体像を見せないことで、拒否そのものを回避された。 モデルは指示に忠実だっただけ。忠実さが脆弱性になる。 AI Agent Security 危険な操作を、最も害の少ない場所で実行させる(CT-06)。 信頼できない内容が命令を上書きできない構造にする(CT-07)。 人間の資格情報を借りさせない(CT-03 / CT-05)。 単発のシグネチャではなく、連鎖として検知する(CT-10)。 07 / 20
  8. 本書の構造 必要なのは主張ではなく、鎖。 「安全に作っています」は監査に通らない。何を脅威とみなし、どのコントロールで受け、どの要件に落 とし、どう検証したか。この四つが切れずにつながっている状態を、一冊で作る。 THREAT CONTROL REQUIREMENT VERIFICATION TH-01 〜

    TH-10 CT-01 〜 CT-15 REQ-000 〜 REQ-066 VT-S / D / E / A 脅威分類 何が起こりうるか コントロール分類 何で受けるか 要件仕様 何を義務として書くか 検証テスト計画 どう合否を出すか 付録Aが全識別子を相互参照する — 任意の脅威から、対応するコントロール・要件・テストIDまで端から端まで辿れる AI Agent Security 09 / 20
  9. 一冊の中身を、数字で 社内文書の骨として、そのまま使える形にした。 10 15 46 54 TH-01〜TH-10。識別子は安 定しており、以降の全章で一 貫して使う。 CT-01〜CT-15。ガバナンス

    からランタイム縮退まで。 RFC 2119 の SHALL / SHOULD で記述。 REQ-000〜REQ-066。 4手法に分類。要件ごとに合格 条件が定義されている。 脅威クラス 4部構成 基礎 / コントロール / 運用 / 保証 AI Agent Security コントロール領域 日英2版 要件 どちらも無料。内容は同期している 検証テスト 出典レジスタ付き NIST / CISA / OWASP / MITRE ATLAS ほか 10 / 20
  10. 第2章 名前を付けられないものは、守れない。 TH-01 TH-02 TH-03 TH-04 TH-05 直接および間接プロンプトインジェクション ツールの悪用と権限昇格 RAGおよびナレッジベースのポイズニング

    メモリとコンテキストの汚染 エージェントのアイデンティティと権限の悪用 TH-06 TH-07 TH-08 TH-09 TH-10 委譲とマルチエージェントの悪用 サプライチェーン・MCP・プラグインの侵害 データ持ち出しとシークレットの露出 監査と評価の回避 モデルとサービスの悪用 各クラスに「何が起きるか」「なぜ重要か」「どのコントロールが応えるか」を定義。テストが失敗するとき、それはある脅威クラスに 対して失敗する。だから、どういう種類のことが起きたのかを常に把握できる。 AI Agent Security 11 / 20
  11. 第 3 章 — 4 つ の ハー ド ニ

    ン グ サ ーフ ェ ス 15のコントロール領域に落とす。 ガバナンス アイデンティティ 実行 可視性 CT-01 ガバナンスとリスク管理 CT-02 エージェントインベントリ CT-13 ライフサイクルと変更管理 CT-14 ベンダーと外部サービス CT-03 エージェントIDとワークロー ドID CT-05 最小権限と職務分離 CT-08 承認ゲートとHITL CT-04 ツールレジストリと許可リス ト CT-06 サンドボックス化と実行分離 CT-07 入出力とコンテンツの境界 CT-15 ランタイムポスチャと能力縮 退 CT-09 ロギングと監査証跡 CT-10 モニタリングと検知 CT-11 評価とレッドチーミング CT-12 インシデント対応 出典を明示する 各領域に NIST・CISA/NCSC・OWASP・MITRE ATLAS 等の一次資 料を紐づけ、どの脅威クラスに応えるかを書いてある。 AI Agent Security CT-15 が本書の特色 仕様が正式に改訂される「前に」ポスチャを切り替える。ツール・ egress・シークレット・委譲を一時的に縮退させる運用を要件化し た。 12 / 20
  12. 第9章 「気をつける」を、合否の出る文に変える。 要件ブロックの構成 書き方の型 000番台 — 基盤 REQ-0NN — 主体は、条件のもとで、

    適用範囲・インベントリ・オーナーシップ SHALL 観測可能な振る舞いをする。 RFC 2119。SHALL は必須、SHOULD は正当化つきの逸脱が可能。曖昧語は使わない。 主語のない文は要件にしない。 一つの要件に、一つの検証 すべての REQ に、対応する VT テス トIDが割り当てられている。検証され ない要件を残さない。 AI Agent Security コピーして使える 社内標準・調達仕様・ベンダー要件書 の骨として、そのまま引用できる粒度 で書いてある。 010〜020番台 — 入力と境界 信頼できない入力の識別・分離 030〜040番台 — 権限と実行 ID・最小権限・ツール・サンドボックス・egress 050番台 — 保証 ログ・証跡の完全性・保証の独立性・指標の妥当性 番号は歯抜けに見えるが、意図的な10刻みのブロック配置。 追記しても既存IDが動かない。 13 / 20
  13. 第 1 0 章 — 5 4 件 の テス

    ト 要件は、それぞれ違う形で破られる。 VT-S — 静的・構造的検証 7 攻撃を実行せず、設定・ポリシー・インベントリを検査する。「要求ど おりに構築されているか」に答える。安価で決定的。 VT-D — 動的・敵対的検証 VT-E — 証拠・ログ検証 VT-A — アテステーション検証 11 記録が再構成可能か、そして記録された内容は真実か。この2つは別の 問いである。 17 実際に攻撃を撃ち込んで挙動を観察する。「押し込まれたときに持ちこ たえるか」に答える。PyRIT・garak を活用。 19 突合は行われたか、検証スイート自体が実行され保持されたか。「保証 プロセスが機能しているか」に答える。 ツールは道具にすぎない。手法こそが契約である。本番への書き込み権限を持つ検証ツールは、それ自体が新たな攻撃面になる。 AI Agent Security 14 / 20
  14. §8 証跡の完全性 — REQ-055 / 056 / 057 怖いのは、ログの欠落ではない。 記録の内容

    真 偽 無 有 (該当なし) 真の証跡 記録がなければ真も偽もない 欠落 検知しやすい 既存のテストが落とせる 記録の有無 → AI Agent Security 再導出できる状態 存在するが、捏造 ページ上は何も欠けていない だから合格してしまう 証跡は表面上完全でありながら、 それを書いたレイヤーの創作でありうる。 主張は、生の成果物まで解決する 報告レイヤーが著述していないログ行・実行識別子・設定 ハッシュにまで辿る。サマリから読み取らない。 解決できない主張は不合格 「カバー済み」として数えない。空・null・エラーの入力 は、失敗として扱う。 既存のテストは「無いこと」を落とす。落ちないのは「有るのに 偽であること」。 15 / 20
  15. §9 保証の独立性 — REQ-058 〜 REQ-061 判定者と被判定者が同じなら、保証ではない。 合否を判定する 成果物を生成する 分母の自作

    選択的省略 自己申告 指標の来歴 供給者の自己申告 「6/6を満たした」— その6を決め たのは誰か。 証跡を報告する 同一主体が閉じた輪を回している AI Agent Security 点数を計算したコードと、検証する コードが同じ。 落ちた項目を、集計の前に対象外に できる。 ベンダーの「準拠しています」を証 跡に積む。 この本自身が、その罠に落ちていた。 カバレッジを検査する REQ-054 は、レポートを生成するのと同じキットが実行 していた。読者からの指摘で発見し、REQ-058〜061 として第三者再導出可能 性を要件に追加した。 16 / 20
  16. §10 指標の妥当性 — REQ-062 〜 REQ-066 指標は通った。代理された性質は、通っていない。 第5段(新設) その指標は、性質を測っているか 判定者は誰か

    §9 記録は真か §8 効くか 在るか VT-D VT-S ラベル — REQ-065 モニタ — REQ-064 スコープ — REQ-063 取り消し — REQ-066 分離は義務づけていたが、正しさは義 務づけていなかった。 レポートに何を見なかったかを述べる 義務がなかった。 死んだ検知器の沈黙が、安全と読まれ ていた。 失効させた権限を、実施点で誰も試し ていない。 この改訂の起点は、新しい指摘ではない。 §8と§9の2つの問いを並べて読み直したとき、どちらも同じ形だった。証跡が出来事 の代わりに、沈黙がスコアの代わりに立っていた。その形の残りを自分たちの本文に 探しにいった結果が、この4か所である。 閾値は定めない。EU AI Act 第15条(3)に倣い、達成水準の宣言を求める。 AI Agent Security 17 / 20
  17. この本の作り方 指摘が入るたびに、版が動く。 紙の本なら「次の版まで待つ」ところを、指摘 → 外部先例への照合 → 要件の追加 → 検証テストの追加 →

    再 公開まで、同じ週のうちに回す。無料であることは、更新を止めない仕組みとセットにしてある。 指摘を受ける 「証跡が存在するのに捏造されている場合に落ちるテストはあるか」— LinkedInで実務者から入った問い。 鵜呑みにしない SLSA / NIST SP 800-53 / ISO/IEC 42001 / EU AI Act Art.15(3)・Annex VII / RFC 9162 / XCCDF・SARIF に 照合。指摘に無かった失敗モードまで広げる。 要件に落とす §8(REQ-055〜057)、§9(REQ-058〜061)、§10(REQ-062〜066)を新設。対応する検証テストも同時に追加 する。 正直に残す 見送った項目・誤記・法的な但し書きは変更履歴と正誤表に書く。「まだ検証していない」と書けることが、この構造 の前提になる。 AI Agent Security 18 / 20
  18. EU AI ACT 2026年8月2日、 高リスクAIシステムの義務が適用開始。 第15条が求めるのは、 「安全に作っています」という主張ではない。 正確性・堅牢性・サイバーセキュリティを、文書化された鎖とし て示すこと。何を脅威とみなし、どのコントロールで受け、どの 要件に落とし、どう検証したか。

    TH CT REQ VT 本書の四層は、そのまま提出物の目次になる。 AI Agent Security 四つがつながっていなければ 提出できるのは「気をつけています」という文章だけになる。 監査人が読むのは、主張ではなく辿れるかどうか。 本書は法の再述ではない Annex VI は法的には自己評価を許容する。§9 はその上に載せ る工学要件として書いてある。両者を混同しない。 19 / 20
  19. 無料 / FREE 脅威から検証までの鎖を、一冊に。 日本語版 English edition AIエージェントセキュリティ 実務マニュアル A

    Practitioner's Manual for AI Agent Security leanpub.com/agent-security-ja leanpub.com/agent-security TH-01〜TH-10 / CT-01〜CT-15 / REQ-000〜REQ-066 / 検証テスト計画 / 相互参照付録 1問目に答えられますか。 Same chain — threat, control, requirement, verification. Kept in sync with the Japanese edition. エージェントが読み込む外部コンテンツに、「信頼できない入力」のラベルは付いているか。 AI Agent Security 著者 野崎 秀吾 / @0xshugo Shugo Nozaki 20 / 20