セキュリティ診断AIエージェント「Takumi」の雇用によって実現する開発生産性の向上

開発生産性Conference 2025(https://dev-productivity-con.findy-code.io/2025) にて、CTO米内が登壇した際のスライド資料です。

Transcript

1. © 2025 https://Äatt.tech セキュリティ診断AIエージェン5 「Takumi」の雇用によって実現す 開発生産性の向上 開発生産性Conference2025
2. © 2025 GMO Flatt Security Inc. All Rights Reserved. 前置き① 取締役CTO 米内 貴志 2019年株式会社Flatt Securityに入社。2021年6月にCTOに就任し、 以後同社にて製品セキュリティに関するソリューションの研究開発を 牽引する† サイバーセキュリティ国際会議「CODE BLUE 2024」レビューボー ド、サイバーセキュリティ競技「International Cybersecurity Challenge 2023」アジア代表チームキャプテン等を歴任† 著書に『Webブラウザセキュリティ ― Webアプリケーションの安全 性を支える仕組みを整理する』（2021年、ラムダノート社）等。
3. Our Mission エンジニアの背中を預かる より多くのエンジニアがものづくりに集中できる社会を、セキュリティ面からつくる会社
4. © 2025 GMO Flatt Security Inc. All Rights Reserved. 前置き② ― AIエージェントといっしょに に貢献 世界の安全 CVE-2025-29768 potential data loss with zip.vim and special crafted zip tles in Vim < v9.1.1198 vim/vim CVE-2025-30218 x-middleware-subrequest-id may be leaked to external hostr vercel/next.js CVE-2025-31483 Stored XSS in Mini¢ux Media Proxy due to improper Content-Security- Policy contguration mini¶ux/v2 CVE-2025-32391 XSS possibility through malicious SVG uploads hedgedoc/hedgedoc 修正中 × 6 ▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓ ▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓ ▓▓▓▓ ▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓ ▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓ …
5. © 2025 GMO Flatt Security Inc. All Rights Reserved. 前置き③ ― AIエージェントといっしょに に貢献 お客様の安全 ※ もちろん、AI使用に関しては、お客様との種々のご調整の上で 14kメッセージ 3~6月 3~6月 2k レポート お客様システムの診断/ペンテストで~ アシスタントとして Takumi を活用
6. © 2025 GMO Flatt Security Inc. All Rights Reserved. 本セッションの流れ ƒt Vibe CodingとセキュリテW Ut 対抗技術としてのVibe Hackinb st まとめ: AI時代の開発生産性へ
7. © 2025 https://Äatt.tech Chapter 1 Vibe Codingとセキュリティ AI-Assisted Coding も含め、そのセキュリティリスクを考察
8. © 2025 GMO Flatt Security Inc. All Rights Reserved. 実例考察: ぶっちゃけ Vibe Coding コードどうよ？ https://blog.catt.tech/entry/ai_code_security
9. © 2025 GMO Flatt Security Inc. All Rights Reserved.
10. © 2025 GMO Flatt Security Inc. All Rights Reserved.
11. © 2025 GMO Flatt Security Inc. All Rights Reserved. 機微な情報の URL 内への露出 （ログに残ったりして面倒）
12. © 2025 GMO Flatt Security Inc. All Rights Reserved. ただ、そんなの当たり前の話 AI生成コードは安全ではなP という話ではない | これは問題が起こるか起こらないか（白黒）の話ではなく、 Likelihood（起こりやすさ）の話である• | 現状気にしないと “それなりに” 起こる、とは考えておきたい が、Likelihood を下げることは可能（例: Wiz の Rule Files やセ キュリティ系 CI） https://www.wiz.io/blog/safer-vibe-coding-rules-‡les
13. © 2025 GMO Flatt Security Inc. All Rights Reserved. ただ、無尽蔵には速くならないA P 見極める必要がある 組織が耐えられる最大速 で、Vibe/AI-Assisted Coding で、僕らは何を考えなくてはならないのか
14. © 2025 GMO Flatt Security Inc. All Rights Reserved. 考察 ― リスク増大に繋がる速さとは “The Secret Life of Software Vulnerabilities: A Large-Scale Empirical Study” Iannone et al. (2023r Ž OSS中心としたデータセット内で、脆弱性の発 生タイミング等を考察した研} Ž Vulnerability-Contributing Commit (VCC) の タイミングを評価してい« Ž 結果、VCC は、Commit Workload が高いとき = 忙しい時に発生傾向有と報告されていF Ž リリース前の重圧等、他要素との交絡も考えら れるが、行き過ぎた AI Coding で VCC が発生 しそう、というのは体感に違わないのでは？ Iannone et al. (2023) より引用
15. © 2025 GMO Flatt Security Inc. All Rights Reserved. 考察 ― Four Keys で速度を捉えることの Drawbacks ë みんな大好き Four Keyˆ « 組織の最大速は、一定この手の指標で評価できw « 許容可能な破壊度（Budget）の範囲で出せる頻度こそが（その時の）最大速、と捉えられw ë 課題は、セキュリティリスクが、必ずしもインシデント化しない → 観測できない こm « Four Keys での Tech debt 観測難しい問題と構造は近£ « しかし、Tech debt はせめて頻度等に影響を出すが、セキュリティリスクの増大はより implicitÙ « Four Keys がよくても、本来耐えられないはずのスピードで走っている可能性があh « もちろん相対する脅威次第では、リスクの増大を許容してよい（誰も攻撃しないなら被害は出ない） デプロイ頻度 変更リードタイム 変更障害率 サー ビス復元時間
16. © 2025 GMO Flatt Security Inc. All Rights Reserved. まとめ ― Vibe Codingとセキュリティ (3) “だから使わない”は NW 限界速度を見極めf ＆引き上げて活用したい (1) Vibe/AI Codingは偉大 (2) ただ脆弱性発生リスクも
17. © 2025 https://Äatt.tech Chapter 2 対抗技術としてのVibe Hacking Flatt の変化と経験から、AI × セキュリティレビューの実用性を考察
18. © 2025 GMO Flatt Security Inc. All Rights Reserved. (3) “だから使わない”は N7 限界速度を見極めF ＆引き上げて活用したい そのために、増大リスク„ 高サイクル/高品質評価が必要
19. © 2025 GMO Flatt Security Inc. All Rights Reserved. 例えば GMO Flatt Security = 外部レビュワー 9 かb へ変化してきた “Hacking By Experts” “Hacking By Experts, with AI”
20. © 2025 GMO Flatt Security Inc. All Rights Reserved. Sonnet 3.7 ごろは明確な転換点 強力な “モデル + プリミティブなツール” の到来 ① RAG を採用する多くのシステム ② Claude Code (25/2 リリース) ツールがあるだけ（Bash, Edit, View, GlobTool, GrepTool） ベクトル検索に帰着して、”似た” ものを探索 大規模コードベースを予め Index しておかずとも、コードに対する問いに、Tool use の連続で答えられるようになった Embed うまく Embed うまく (0.1, 0.3, 0.4, ...) (0.3, 0.1, 0.8, ...) このベクトル 空間で検索 対象コードベース 検索クエリ “ファイル走査時に…”
21. © 2025 GMO Flatt Security Inc. All Rights Reserved. 脆弱性を探す 読む のコアスキルであるA の飛躍的向上 訪れた重要な変化
22. © 2025 GMO Flatt Security Inc. All Rights Reserved. 「脆弱性を探す人」に起こった変化 #1 とりあえず初動は Takumi に投げるように
23. © 2025 GMO Flatt Security Inc. All Rights Reserved. 「脆弱性を探す人」に起こった変化 #2 読む、探す → とても楽になった n 初めて見るコードベースに対して、怪しいものを探す、あちこち見て回る、は著しく素早くできy n 色々チューンした結果、Takumi は他製品比でも人間的なイシューを見つけてくるように 弊社ベンチマーク: Recall = TP/(TP + FN)
24. © 2025 GMO Flatt Security Inc. All Rights Reserved. 14kメッセージ 3~6月 3~6月 2k レポート お客様システムの診断/ペンテストでq アシスタントとして Takumi を活用していG GMO Flatt Security with AI！ 結果としo 社内の利活用は著しく進んだ
25. © 2025 GMO Flatt Security Inc. All Rights Reserved. Vibe Coding の速度H セキュリティレビューも近づいてきたと言える
26. © 2025 GMO Flatt Security Inc. All Rights Reserved. [宣伝] Takumi はだれでも今日から利用できます \Hire me!/
27. © 2025 GMO Flatt Security Inc. All Rights Reserved. Vibe Coding の速度H セキュリティレビューも近づいてきたと言え) … が、まだ、2つの壁がある
28. © 2025 GMO Flatt Security Inc. All Rights Reserved. 壁1: ノイズレートの壁 些細なことや嘘は一定量入る • False positive や、Trivial な True positive（それリスクにつながる？というようなもの）はまだまだ出’ • Takumi は Cline 差 22.9% ほどまでこぎ着けたが、それでも 61.4% ほどノイズ。精査は要る水準 弊社ベンチマーク: Weighted Noise Rate = (FP + βTPt)/(FP + βTPt +TPs), β=2
29. © 2025 GMO Flatt Security Inc. All Rights Reserved. 弊社ベンチマーク: Weighted Noise Rate = (FP + βTPt)/(FP + βTPt +TPs), β=2 ノイズがこの水準だ 新脆弱性の完全自律量産はきびしい
30. © 2025 GMO Flatt Security Inc. All Rights Reserved. 壁1: ノイズレートの壁（問題の実例） curl への AI 製の粗悪な脆弱性報告が過去問題に “We now ban every reporter INSTANTLY who submits reports we deem AI slop. A threshold has been reached. We are e•ectively being DDoSed. If we could, we would charge them for this waste of our time.” “AI生成の粗悪なレポートを提出する報告者は、今後すべて即座にBANする。閾値はすでに超えた。こちらは事実上 DDoS攻撃を受けているようなものだ。できることなら、この時間の浪費に料金を請求したい。” Daniel Stenberg, https://www.linkedin.com/feed/update/urn:li:activity:7324820893862363136 日本語は筆者訳
31. © 2025 GMO Flatt Security Inc. All Rights Reserved. 壁2: 責任の壁 Vibe Coding & Hacking 時代h 最後の責任は人に集約されている Ä Vibe Coding と Vibe Hacking の併用で、高速に作る・治すは確 かに進んでいく、とそれなりに信じられる状況¶ Ä 一方、AI/LLM に責任能力を与えることは現状出来ていないの で、結局、デプロイを決める我々の指には多くのものが乗Ÿ Ä 何らかの理由で誰にも金銭的・感情的責任を負わなくて済むよう になったり、保険のようなダウンサイドリスクを低減できるス キームがあれば別なのだが あくまで人が最Í 報告への責任を持つ Flatt 内の Takumi 活用（概念図）
32. © 2025 GMO Flatt Security Inc. All Rights Reserved. まとめ ― 対抗技術としてのVibe Hacking 1 ノイズレートの壁 完全自動化は苦しい 2 責任の壁 最後は人の責任が残っている (2) 真の “Vibe Hacking” にq まだ超えるべき壁がある (1) Vibe Codingの速度| AIでついていく時代へ (3) 弊社はこの問| 真剣に向き合っています!!
33. © 2025 https://Äatt.tech Chapter 3 まとめ: AI時代の開発生産性へ
34. © 2025 GMO Flatt Security Inc. All Rights Reserved. まとめ ― Vibe Codingとセキュリティ (3) “だから使わない”は NW 限界速度を見極めf ＆引き上げて活用したい (1) Vibe/AI Codingは偉大 (2) ただ脆弱性発生リスクも
35. © 2025 GMO Flatt Security Inc. All Rights Reserved. まとめ ― 対抗技術としてのVibe Hacking 1 ノイズレートの壁 完全自動化は苦しい 2 責任の壁 最後は人の責任が残っている (2) 真の “Vibe Hacking” にq まだ超えるべき壁がある (1) Vibe Codingの速度| AIでついていく時代へ (3) 弊社はこの問| 真剣に向き合っています!!
36. © 2025 GMO Flatt Security Inc. All Rights Reserved. [宣伝] Takumi はあなたも今日から利用可能！ \Hire me!/
37. Our Mission エンジニアの背中を預かる より多くのエンジニアがものづくりに集中できる社会を、セキュリティ面からつくる会社