RapidPen: AIエージェントによる高度なペネトレーションテスト自動化の研究開発

Hack Fes. 2025 での発表です。

スライド中のデモ動画: https://www.youtube.com/watch?v=OI7Ct7f0F7M
RapidPen Webサイト: https://rapidpen.secdevlab.com/

Transcript

1. Hack Fes. 2025 RapidPen: AIエージェントによる高度な ペネトレーションテスト自動化の研究開発 2025/07/19 株式会社SecDevLab 代表取締役CEO 中谷 翔
2. 自己紹介 2 中谷 翔 X, GitHub: @laysakura 株式会社SecDevLab CEO (2025-現職) トヨタ自動車 主幹/プリンシパル・リサーチャー (2021-現職) 株式会社FOLIO 執行役員 (2016-2020) IPA未踏クリエーター (2012) Black Hat USA Arsenal 採択 (2025) Automotive CTF 国内決勝2位, 世界大会4位 (2024) 防衛省サイバーコンテスト 7位 (2024) OffSec Certified Professional (OSCP) (2024-) CISSP (2024-)
3. • 初出 & 戦略上まだ広く公表 したくない内容を会場で 発表しました ◦ それらのスライドは除いた 状態で公開しています アジェンダと公開版の注意 3 1. RapidPen開発の背景・ゴール・貢献 2. ここまでの道のりと課題 3. 現在の取組み状況 4. これからの取組み予定 アジェンダ 公開版の注意
4. 背景 ペネトレーションテスト 4
5. 貢献 やったこと・新規性 • ﾍﾟﾈﾄﾚｰｼｮﾝﾃｽﾄ自動化ツールRapidPenを開発 ◦ AIエージェントによる創造性 ◦ ｵﾌｪﾝｼﾌﾞｾｷｭﾘﾃｨ専門知の活用による職人芸 • 新規性 ◦ 高速な完全自動初期侵入 (IP-to-Shell) ▪ 人間の介在を排する強力なタスク計画と実行 5
6. ユースケース 先行研究と本研究の比較 ターゲットユーザー プロのペンテスター (支援) ペンテスト知識ない開発者 (委託) プロのペンテスター (支援・委託) 6
7. 既存のペネトレーションテストツール、何が足りない？ 7 人間のエキスパートレベルに達していない • 人間エキスパート → 「複合初期侵入」ができる ◦ 攻略ターゲットについて様々な調査を行い、複数の脆弱性や そこからの発見を組合わせて目的（初期侵入）を達成する ▪ 例: FTPの認証が弱い 　→窃取したファイルからWeb管理者のクレデンシャル発見 　→Web管理者になってWebshell仕込む → 初期侵入 • RapidPenのありたい姿 ◦ 複合初期侵入を実現し、上位5% (※) の人間並の初期侵入精度 ▪ 人間よりも安価・高速 ▪ (※) 未知脆弱性発見・Exploit Development等は人間に適う道筋見えていない
8. RapidPenで目指したい世界 8 セキュリティ意識のある「普通の」企業が、stg 環境で毎日CIでペンテスト • 「普通の企業」 ◦ スタートアップ ~ 大企業 ◦ プロダクト開発してるIT企業, 自社システム運用している企業 ◦ もちろんOT, 重要インフラ等、普通以上の企業にも使ってもらえる • 人間ペンテスターとの比較 ◦ 安価・いつでも使える・都度契約不要・システム状況を継続把握 ◦ ただし大事な認証・監査等では人間ペンテスターも併用 • 既存ペンテストツールとの比較 ◦ 初期侵入への精度が段違い ◦ AIエージェントによる自律的な探索により、細かい設定不要でテスト実行 年内のβ製品化を目指す
9. 第1世代 (2025/02~03) Dify版初期実装 9 1. RapidPen開発の背景・ゴール・貢献 2. ここまでの道のりと課題 3. 現在の取組と状況 4. これからの取組み予定
10. 技術の概要と特徴 10
11. 先行研究 との比較・差分 11
12. 初期評価 HackTheBox Legacyマシンへの初期侵入 6回成功/10試行 実行時間 200~400秒程度で侵入成功 コスト ($) 0.6$ 弱で侵入成功 12
13. 第1世代成果 13 • 2025/02 ◦ HTB の Easy マシン2種類で、初期侵入の完全自動化達成（世界初） ◦ プレプリント論文をarXivに投稿 • 2025/03 ◦ セキュリティ・キャンプフォーラム2025で初口頭発表
14. 第2世代 (2025/04~05) Dify版→LangGraph移植 14 1. RapidPen開発の背景・ゴール・貢献 2. ここまでの道のりと課題 3. 現在の取組と状況 4. これからの取組み予定
15. 第2世代成果 15 • 2025/04 ◦ 開発を加速するため、プロトタイプ実装を Dify（ノーコードツール）からPythonに移植 • 2025/05 ◦ LLMでペネトレーションテストを全自動化するための手法を 日本国内特許出願 ▪ プレプリント論文に未記載の、精度・速度向上手法を含む
16. 第3世代 (2025/06) Reasoning強化 + XXXXXXXXXX 16 1. RapidPen開発の背景・ゴール・貢献 2. ここまでの道のりと課題 3. 現在の取組と状況 4. これからの取組み予定
17. 優れたペネトレーションテスターは何がすごいか 17 • 状況判断能力 ◦ ここまでのスキャン・攻撃試 行状況に基づき、攻撃対象の 像（モデル）を徐々に固める • 創造力 ◦ 状況判断に基づき、次に何を すべきか立案する Re (思考力) Act (実行力) • Offsecテクニック ◦ すべきことを確実にこなす技 術力 • ロバスト ◦ うまくいかなくても粘り強く 手法を修正しリトライ 実装済 実装済 PTT(後述)で表現 どうする？
18. 優れたペネトレーションテスターは何がすごいか 18 • 状況判断能力 ◦ ここまでのスキャン・攻撃試 行状況に基づき、攻撃対象の 像（モデル）を徐々に固める • 創造力 ◦ 状況判断に基づき、次に何を すべきか立案する Re (思考力) Act (実行力) • Offsecテクニック ◦ すべきことを確実にこなす技 術力 • ロバスト ◦ うまくいかなくても粘り強く 手法を修正しリトライ 場数・経験が育む（仮説）
19. 創造力のためにRapidPenに経験を積ませたい 19 • 自身のやってきたペネトレ経過・結果 （特に成功事例）をPTTの形態で蓄積する ◦ “RapidPen: Fully Automated IP-to-Shell Penetration Testing with LLM-based Agents” 論文で発表 PTTを中心としたデータセントリック戦略 PTTが増えるほど創造性→精度向上する アーキテクチャを目指す
20. 第4世代 (2025/06~) XXXXXXXXXX + XXXXXXXXXX 20 1. RapidPen開発の背景・ゴール・貢献 2. ここまでの道のりと課題 3. 現在の取組と状況 4. これからの取組み予定
21. 第4世代途中成果: HTB “Access” マシンへの初期侵入 (Orchestration + Tool) 21
22. 今後の展望 22 1. RapidPen開発の背景・ゴール・貢献 2. ここまでの道のりと課題 3. 現在の取組と状況 4. これからの取組み予定
23. β製品化に向けた機能追加予定 23 • 現状Webサイト起点のペネトレに 未対応 ◦ Webはクライアントサイドレ ンダリング後の見た目・コー ドを見たりする必要あり、ブ ラウザとのMCP連携とか必要 そう（やればできるかもだが やれてない） • 自社のWeb診断で使えるように するのが目下の目標 Web Scan, Exploit Web UI • 競合製品並のWeb UIを備えたい 撮影禁止
24. 参考文献 [1] Deng, Gelei, et al. "PentestGPT: Evaluating and harnessing large language models for automated penetration testing." 33rd USENIX Security Symposium (USENIX Security 24). 2024. [3] Yao, Shunyu, et al. "ReAct: Synergizing reasoning and acting in language models." arXiv preprint arXiv:2210.03629 (2022). 24
25. アンケートご回答お願いします！ 25