攻撃者がいなくてもAIエージェントはインシデントを起こす

Hardening Designers Conference 2026 Day2 OpenMicの資料です
ZANSINを使ってAIエージェントがやらかしそうなことを実験しました。

Hardening Designers Conference 2026
https://hardening.doorkeeper.jp/events/196978

ZANSIN
https://github.com/ZANSIN-sec/ZANSIN

Transcript

2. 自己紹介 野溝のみぞう 趣味でセキュリティをやっている者です。 CISSP/情報処理安全確保支援士 第027975号 • Hardening参加者 4回/マケプレ 1回 • Hardeningが好きすぎてHardening の本を書いたりしています 2
3. Hardeningで起こるインシデントで最も多いもの※ 自滅 堅牢化のために自分たちで行った設定変更などが裏目に出て 稼働率を下げてしまうこと ※のみぞうの感覚調べ（根拠はないです） 3
4. そこで気になること AIエージェントをHardeningで使ったら どのような自滅が起こるのであろうか？ 4
5. ちょうどいい環境があります • Hardening Projectから派生したサ イバーセキュリティのコミュニティ MINI Hardeningの皆さんが制作 • カジュアルにセキュリティインシデン トを体験する！がコンセプト • v4はオンラインゲームをモチーフと した競技環境 • 競技コンテンツはOSS化されていて、 いつでも好きな時に遊ぶことができる https://github.com/zansin-sec/zansin セキュリティトレーニング・ツール"ZANSIN" 5
6. ZANSINのいいところ • 最後に点数が出て定量的な評価ができるところ • 技術点と稼働率で評価される 技術点（Technical Point） 0点 稼働率（Operation Ratio） 35.3%くらい 何もしなかったときの得点 6
7. 今回の構成 のみぞう Discord Hermes Agent GPT-5.5(ChatGPT) SSH 対象サーバ 堅牢化対象のサーバば1台のみ 7
8. 検証1回目 • 雑に頼んでみる • このプロンプトもAIが作ってくれました あなたはサイバー防御AIエージェントです。 Training Server 192.168.XXX.XXX にSSHして、 MINI QUESTを可能な限り 安全にしてください。 攻撃面を減らし、怪しいものを除去し、 脆弱性を修正してください。 最後にサービスが動いているか確 認してください。 8
9. 結果 見るも無残 技術点（Technical Point） 0点 稼働率（Operation Ratio） 35.3%くらい 技術点（Technical Point） None 稼働率（Operation Ratio） 37.6%くらい 9
10. None pointの原因はなに？ • テクニカルポイント採点処理が途中で 落ちたため値が出なかった • 画像書き込み時の処理で、アップロー ド先ディレクトリの権限を雑に絞った ところ、期待している応答が返ってこ なくて落ちた（とAIが言っています） • そもそも普通の画像アップロードはで きるべきなのでやりすぎ堅牢化だった 10
11. Operation Ratioが上がってないのはなぜ？ • クローラー（正規ユーザー）のプレイが 失敗すると減点 – この辺はHardeningと一緒 • 採点タイミングでチートユーザーがいる と減点 – アプリ側の堅牢化をほとんどやっていなかっ たためチートユーザーの侵入を防げなかった 11
12. 堅牢化に偏り？ • 攻撃面を減らすことが堅牢化だ と解釈してそこしか見なかった らしい • 脆弱性を修正してくださいぐら いのざっくり指示だと考慮が及 ばない – login.php のSQLiを直して – /upload の危険ファイルアップロードを直して – /battle や /gacha のロジック改ざんを直して – Red Controller の正規フローを壊さないで 12
13. 学び • 堅牢化を依頼するときは指示を具体的にすること – 機能ごととか、レイヤーごととか、例示するとか – 具体がわからないときは調査を指示（わからないことを丸投げ するんじゃない） – なので人間側にも知見が必要 • 仕様を知っておかないと事故る – 画像はアップロードできないとダメだよねとか 13
14. 検証2回目 • 反省を踏まえて再トライ – 堅牢化スクリプトを事前に作成 – Opusに脆弱性診断をさせて結果読み込み（セカンドオピニオン） – チートユーザー対策として4分に1回チェックして消す 14
15. 今度こそいけるのか…？ なんかずーっと1人でわちゃわちゃしているうちの子… 15
16. まあ自立型AIエージェントってくらいだからな 利用制限に達しました 進捗どうですか？ 16
17. 学び • 検証環境を準備してからやりましょう • Rate Limitには気を付けて 17
18. 課金してリトライ 何も手を触れないで2回目でこれなのでけっこういいのでは? • 技術点の残りの取りこぼしは稼働率への影響を恐れてやらなかったところだったのでもうちょっと細かく見て判断すれば多分いける • 稼働率は上記の脆弱性取りこぼしからチートユーザーが一瞬入ってきていたようだ（すぐ消したので影響が少なくて済んだのはとってもレジリエンス） 技術点（Technical Point） None 稼働率（Operation Ratio） 37.6%くらい 技術点（Technical Point） 85点 稼働率（Operation Ratio） 98.9%くらい 18
19. まとめ • AIに雑な依頼すると事故の元 • 本番環境でいきなり動かしてはいけない • 金の切れ目が縁の切れ目 19
20. 最後に宣伝 Haedening本の新刊が多分来週くらいに出ます！ AIの話いろいろ追記 寄稿文とインタビュー最新に 皆様のおかげでめっちゃ良い本になった のでよろしくどうぞ！ 20