Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
セキュリティ診断AIエージェント Takumi がもたらす変化 - 著名OSS 向け0-day...
Search
GMO Flatt Security
July 01, 2025
0
32
セキュリティ診断AIエージェント Takumi がもたらす変化 - 著名OSS 向け0-dayリサーチを例に
AI Engineering Summit(
https://ai-engineering-summit.findy-tools.io/
) にて、CTO米内が登壇した際のスライド資料です。
GMO Flatt Security
July 01, 2025
Tweet
Share
More Decks by GMO Flatt Security
See All by GMO Flatt Security
診断AIエージェントによるセキュリティの未来 – 著名OSS向け0-dayリサーチを例に
flatt_security
2
850
セキュリティ診断AIエージェント「Takumi」の雇用によって実現する開発生産性の向上
flatt_security
0
5
AIエージェントの「作業場」としてのサンドボックス技術
flatt_security
1
14
「攻め」と「守り」で理解する PHP アプリケーション
flatt_security
1
260
セキュリティ視点からみる生成AIアプリケーションとMCP ~ 脅威とリスク、認可・権限 ~
flatt_security
5
2.9k
脅威をモデリングしてMCPのセキュリティ対策を考えよう
flatt_security
6
2.4k
利用者目線で考える、MCPを安全に使うために
flatt_security
6
2.2k
アプリケーション固有の「ロジックの脆弱性」を防ぐ開発者のためのセキュリティ観点
flatt_security
43
21k
開発組織のための セキュアコーディング研修の始め方
flatt_security
5
4k
Featured
See All Featured
How to Think Like a Performance Engineer
csswizardry
25
1.8k
The Cost Of JavaScript in 2023
addyosmani
51
8.6k
Scaling GitHub
holman
460
140k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
Code Reviewing Like a Champion
maltzj
524
40k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Bash Introduction
62gerente
613
210k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
The Pragmatic Product Professional
lauravandoore
35
6.8k
Measuring & Analyzing Core Web Vitals
bluesmoon
7
520
The Cult of Friendly URLs
andyhume
79
6.5k
Music & Morning Musume
bryan
46
6.7k
Transcript
ÉÆÄÄÅÈÃÇÇÂÄÄÁÄÀÆ "#%'$!($ ($!%&( @GQTRIHV"#BAX597 CW264310)USPD8 virehtgsfdTbAqcaY
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ 75643102) HECFBA@DG@98 t¯r¨«£y°z¬wy}¤t¯tr¨¤¤®¢ ¤f|§{©¤ovs¡§rqpmlj ivs ~hgr|§{©ey dxn¦rr ¢~hgr|§{© dyzz}ªywwy}
zutvtksrqp{pih ug¤fdªba`|§{©Ydªtp§XrqpW VUscTS¥xvsRt¯tr¨¢aqQPrIei
Our Mission エンジニアの背中を預かる より多くのエンジニアがものづくりに集中できる社会を、セキュリティ面からつくる会社
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ U8ATDQE49RVHG IFCBB@S76C532P01) YXW
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ 2DC7@68A54310B B)9 IHGFE `WUTSYSQTSVXRP w vsxvvswuusi rsq ph ysvxs uf vsfgvdxsq seus sc yss hbptpttba
`WUTSYSQTYSP sny xxivgnukjghkun xsyvfsjs vexswssgvsrwul ~}| { `WUTSYSQTP ªwgxs¤ªªs s kssx vs¡gwsfs xksws ygwgswnªfkg fn ¡w ffsfwe kgv w ~°®}² `WUTSYSQTSV ¤ªªswuu j fsrgwk rsyv f wkus ªc·skwvxu ÏÎÍÎÌÏÎÍÎÌ ÕÑÔÒÐÒR ÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖ ÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖ ÖÖÖÖ ÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖ ÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖ ×
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ 2DC7@68A54310B B)9 PIGEHF xvXwtrsqVUbphugesfdi`YcWYaSTYRQ y 7@
y 7A rj|wx{uyvtnxwmls k|wgnmiz}hqed~hpfo
© 2025 GMO Flatt Security Inc. All Rights Reserved. TBD
© 2025 GMO Flatt Security Inc. All Rights Reserved. 本セッションの流れ
tR 実録: 「脆弱性を探す」の変T VR オフェンシブ領域での AI 転c CR 全部賭けるために
ÉÆÄÄÅÈÃÇÇÂÄÄÁÄÀÆ $#! " 9054321)68('&%
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ 4B8635721A 084B8635721@) 89 IGFHEIDC cbxswvupitr8qgf118d7YX2W1BUVTT8SRQP`
© 2025 GMO Flatt Security Inc. All Rights Reserved. 昔話
― 2025年2月27日 自社SaaSのI/Fとしての Chatbot 開発をしていた 作るものを考えるために人間がロールプレイングしている様子
© 2025 GMO Flatt Security Inc. All Rights Reserved. 昔話
― 2025年2月27日 (Sonnet 3.7 リリース2日後) 複数のモデルを並べて実証実験 ± 気分で社内の新卒向け登竜門をAIにや らせてみること ± 当時は事前にコードを index しておく か、one shot で context window 内に 詰め込む芸の何れかは必要と睨んでい® ± が、Sonnet 3.7 が著しく良かった。同 日リリースの Claude Code のツール構 成も、解析すると著しくシンプルであ ることがわかった 暴走の様子(怖い)
© 2025 GMO Flatt Security Inc. All Rights Reserved. Sonnet
3.7 ごろは明確な転換点 強力な “モデル + プリミティブなツール” の到来 ① RAG を採用する多くのシステム ② Claude Code (25/2 リリース) ツールがあるだけ(Bash, Edit, View, GlobTool, GrepTool) ベクトル検索に帰着して、”似た” ものを探索 大規模コードベースを予め Index しておかずとも、コードに対する問いに、Tool use の連続で答えられるようになった Embed うまく Embed うまく (0.1, 0.3, 0.4, ...) (0.3, 0.1, 0.8, ...) このベクトル 空間で検索 対象コードベース 検索クエリ “ファイル走査時に…”
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ 7652413 0) EQPSIRHFCB GEDA@98 WaYXVUT`
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ 31)20 B@A9768745 ·s §¯ w«q«¤¨±¦¥®v«i } |dx¬iv´£r o~imul{ ¢h¡yg³¸³tf «e¨v«µ} ««©s¥s«
««xvwiu«t«¨r« °q o ²phpvgr fedcb¶zµ«a«t« ¨r« `³ g£XvnW VUª kTSªRQªPIªHGFYªPIªEyDjGªQC ÂżÁ¼Ã½¾ Å1ÄÀº¼¿¿¿¹
© 2025 GMO Flatt Security Inc. All Rights Reserved. 「脆弱性を探す人」に起こった変化
#1 とりあえず初動は Takumi に投げるように
© 2025 GMO Flatt Security Inc. All Rights Reserved. 「脆弱性を探す人」に起こった変化
#2 読む、探す → とても楽になった f 初めて見るコードベースに対して、怪しいものを探す、あちこち見て回る、は著しく素早くできv f 色々チューンした結果、Takumi は他製品比でも人間的なイシューを見つけてくるように 弊社ベンチマーク: Recall = TP/(TP + FN)
© 2025 GMO Flatt Security Inc. All Rights Reserved. 「脆弱性を探す人」に起こった変化
#2 ― ベンチデータセットの一部 本来あるセキュリティチェックを削除 割とこういうのも拾える
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ 10) 65432 @987 @987 B) FE3C yeWupqtxhrigaqp`Yf XupTa`VsvUdRQPIwUcSbsvHG
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ 310)2 VQFIEUDCSA@HR8765PU5TTBU5P7G594 cb`XaWY
© 2025 GMO Flatt Security Inc. All Rights Reserved. 「脆弱性を探す人」に起こった変化
#3 検証する → とてもつらくなった u False positive や、Trivial な True positive(それリスクにつながる?というようなもの)はまだまだ出d u Takumi は Cline 差 22.9% ほどまでこぎ着けたが、それでも 61.4% ほどノイズ。精査は要る水準 弊社ベンチマーク: Weighted Noise Rate = (FP + βTPt)/(FP + βTPt +TPs), β=2
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ 9657310428) cbaVQTXQSPQIXWHGFD`YCBE@RUA rwyvryts pig iv fevs sfs sedgfgxxweqpfupfssiqsg qpgieh vt£¥| u¡vyvr§{wvrz§} xxwp¢xso£¦tn§wml£}utkhtgjv fieds§h xgfwus ¸¼¼efg´gei¼q¼p¼p¸fg¸gg¸Ç¬«Ëª«³ª©¬ªÆ«¬Æ¬¹¬Æ
ÕÓÒÔÐ
with by Takumi (AI)
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ GFI@HACDD@87B659DE@ @3C264910) SRQP ixtpywufr Ycbgavgqd`XWVeUsTh ¼ ªºhq¡¸´®¯±ty¨z°~sªº¥~ ªº¡´®¯±tÄh£yÃz¢¥¶§¹Âk
£¦£¬µ¢µÁ zy·¬h ¼ ©}|¬§¶§½ÀÄ{Áh£y xh«wur¡pv z¢¥³lji¾¾fehodÄm¡» ¼ ²§Än¤·» §²§Ä¿£ ¢g· »q£ ¡¬¢xÄ »¸¡ ÕÔÓÐÒÏÌÑ ËÎÊÉÇÍÆÅÈ
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ 4B8635721A 084B8635721@) 89 IGFHEIDC cbxswvupitr8qgf118d7YX2W1BUVTT8SRQP`
ÉÆÄÄÅÈÃÇÇÂÄÄÁÄÀÆ $#! " 3506)1('28470&%
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ B7FDC9@86534A2E1)0 adbYVXTeWUScRQPIHG`Se wfz~o{xsrp|utwnmligeodh j vixvutsrqwpiyyqhig~fk} ºÅ´°È¸¼È«¸§´µ¼±°°´ÈÆÀ³Æ¼È´¸À«Àȱ¼À³¸°±±Àư³«°¼Èµ¼È³¼ÈµµÀµ¸È³¹ ¬Â¬·¨½Ä£¶¬Ç»¨
Ä·¶½Ç¬»¬Á½¨¥¨½ÁÇ¿¬½Á·¿¿¬½ÄìÁ¶½É¶¤½¶Â¥½¶½®¥¨¢¦½Ç¬½¬ÁĪ¬Ã½£ª½¶¶ ·½ÄǨ¥½ÄǬ·½Ç· ·½·Ã½®¥ ·¬¶¬½ ¨¨¬·¬¶½¿ÇĶ©½¥¬ª½¶¬½¾½¡Äǽ½»Ç ¬¨ª½Ä¡½Á  Ķ½Â¨ » ¨ ¬¶½ ·ÂÁà ·¿½¶ÂÇ ¨ ·¿½·Ã½¥ ¶¥ ·¿½¶¶ ¶¨·Â¬½»Á·¬Ç£ Á ¨ª½Ç¬¶¬ÇÂ¥½·Ã½¨Ç¿¬¨½ ǬÂÄ·· ¶¶·Â¬©½¥¬½Ç ·Â Á½Ã·¿¬Ç½Á ¬¶½·Ä¨½ ·½¬·¨ ǬÁª½·¬¯½Ç ¶¶½£¨½Ç¨¥¬Ç½ ·½¾¶½Â ¨ª½¨Ä½¬·¥·Â¬½¬ ¶¨ ·¿½¨¬Â¥· ¬¶½ÁÁį ·¿½¡Äǽ¨¥¬½¶¶ »¬½ à ¶¨Ç £¨ Ä·½Ä¡½¡¬½¨Ç¿¬¨¬Ã½·ÇǨ »¬¶½ ·ÂÁà ·¿½¶Ä Á½¬Ã ½Ä¶¨¶½Ç¨ ÂÁ¬¶½¬¬¶½·Ã½¥Ä¨Ä¶©½¬½¥»¬½ÁǬ꽯 ¨·¬¶¶¬Ã½ ¨¶½Â£ Á ¨ ¬¶½¯ ¨¥½ ÃĨÄǬýǬÂÄÇà ·¿¶½Ä¡½½Â·Ã 謽ÁÁ¬¿ ·¿½¬Á¬Â¨ Ä·½Ç ¿¿ ·¿½Äǽ¬·ÃÄǶ ·¿²½·Ä¨¥¬Ç½Ç¬¶ ì·¨ Á½Â·Ã 謩 ÔßÜÛÝÕÚØÖÓßÕØÚÑÕÜÐÝ×ÕÒßÚÞÍÞÌÚËÏÊÙÎ à à
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ EDC8AB965473 210)@ deaScYXaVUT`RWQbPIH6FX`T
© 2025 GMO Flatt Security Inc. All Rights Reserved. 国際的な
AI-Driven Pentesting の波(学術寄り文脈) 当然攻撃全体の自動化可能性も検討されている 特に2023年以降、順当にリサーチが進められている印 CTF、Metasploitable, Hack The Box のような学習/試験環境でのベンチマークがよく見られる 3 PentestGPT (Deng et al., 2023/08): パイオニア、Pentesting Task Tree(PTT)の導u 3 AutoAttacker (Xu et al., 2024/03): 経験情報のRAG。Post-breach へのアプローs 3 PenHeal (Huang & Zhu, 2024/07): 自動修正の提案を含D 3 BreachSeek (Alshehri et al., 2024/08): 既存のアーキ差分は薄いが、Reporting までE2Eで頑張る 3 VulnBot (Kong et al., 2025/01): やや Layering + PTG の導u 3 RapidPen (Nakatani, 2025/02): ReAct+RAG
© 2025 GMO Flatt Security Inc. All Rights Reserved. 国際的な
AI-Driven Pentesting の波(産業寄り文脈) XBOW Hacktron Stealthnet 海外スタートアップも徐々に登場してきた こぞって脆弱性発見 / Bug Hunting Platform での実績を競い合うように
© 2025 GMO Flatt Security Inc. All Rights Reserved. HackerOne
では AI が一部で一位(XBOW) 世界有数のバグハンティングプラットフォームHackerOng Vulnerability Disclosure Program(VDP)カテゴリでは XBOW が人を抜いて一位を記録していi 単なる報告窓口にとどまらず、報奨金も伴う Bug Bounty Program(Bug Bounty Program)カテゴリに比べれば競 争は穏やかだが、それでもすごい 総量も結構見つけている 毎月見つけている
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ 9@D8A8 8E8465D7 3 12C0B) IFHG IFHG qafgd8WY81Vh)pBdTSRaX12Q)3P
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ P48PQ1HSGFIVCBACE6R529730DU)@T ghrfif fsfbdcre a Y`qXpW wtvu wtvu {t{w~s |ponkj
xuqhzdrzmhy l gih f veyix} fgaaY ÓfÒ¹ÍbÄËdY¤¯fÈ³ÇÆÁ¿Àfµ Ã¥¾·¼·¼«º¦«¶´²±Ê°» §®Å´¸¶¬£©¨¡ ¨§ °¢½Éѧд¾ fáÞÜâÙØYÖÕßÔ ③f脆弱性発見Yhケル可能µ º¦«¶´²±Ê°脆弱性Ñ見が¢検証 で«E2E«で可能£なÊば¢利用でき 穴¾増え§で¾ fNoÁsÀfRÇtÀfYキモÖÕßÔ
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ P48PQ1HSGFIVCBACE6R529730DU)@T ghrfif fsfbdcre a Y`qXpW wtvu wtvu {t{w~s |ponkj
xuqhzdrzmhy l gih f veyix} fgaaY ÓfÒ¹ÍbÄËdY¤¯fÈ³ÇÆÁ¿Àfµ Ã¥¾·¼·¼«º¦«¶´²±Ê°» §®Å´¸¶¬£©¨¡ ¨§ °¢½Éѧд¾ fáÞÜâÙØYÖÕßÔ ③f脆弱性発見Yhケル可能µ º¦«¶´²±Ê°脆弱性Ñ見が¢検証 で«E2E«で可能£なÊば¢利用でき 穴¾増え§で¾ fNoÁsÀfRÇtÀfYキモÖÕßÔ
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ VH`FRTISWXTGEDS9CTBa@YA865UQ43P2170) wxtuvrqyipyhfwhsdpgcfrbhcthfegd
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ 8UTG4P3HIPDCFBSCR@E9571620Q)A qxxrhuwwipfescdxxsxb`qwbgxtWwv`rVhb`YtaxWVXthx
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ P48PQ1HSGFIVCBACE6R529730DU)@T ghrfif fsfbdcre a Y`qXpW wtvu wtvu {t{w~s |ponkj
xuqhzdrzmhy l gih f veyix} fgaaY ÓfÒ¹ÍbÄËdY¤¯fÈ³ÇÆÁ¿Àfµ Ã¥¾·¼·¼«º¦«¶´²±Ê°» §®Å´¸¶¬£©¨¡ ¨§ °¢½Éѧд¾ fáÞÜâÙØYÖÕßÔ ③f脆弱性発見Yhケル可能µ º¦«¶´²±Ê°脆弱性Ñ見が¢検証 で«E2E«で可能£なÊば¢利用でき 穴¾増え§で¾ fNoÁsÀfRÇtÀfYキモÖÕßÔ
© 2025 GMO Flatt Security Inc. All Rights Reserved. Noise
Rate の高さ 「AI で万物壊す」「AIで万物安全にする」の双方が今ぶつかっている最大障壁
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ HXTaRVUI9WGCFS6ECDW7YFBCWQ@ECW8WAP4W3W214E05AP4W3W214EW314B0)W28` ysv xq wupitfrehgdcb
© 2025 GMO Flatt Security Inc. All Rights Reserved. “Vibe
Bug Hunting” が始まる 逆に、Noise Rate が下がると?
© 2025 GMO Flatt Security Inc. All Rights Reserved. Noise
Rate が下がると? “Vibe Bug Hunting” が始まる k ¸ÍÌuhÌd°w˳5°À¼À¹wËqÉ¿º¶´Ì¢±À¹Àd˧ˢ±Æw˳5°À¼À¹wËqº¦¤bb£´É¿º¶¾V k ή£¦hb¸Í̬¥tx( k ³ËË¢±À¹Àd˧ˢ³Ëȧi¢±À¹ÀdË{§iË¢³ËzÄxÇÈËr5À°wËld¼w{j{ pi§iywÇvshrÇqgÃhe§p k ca¦`$XW¬UÌo7SRnÌfnt7@TnqQPHG¶¥FE¤CB k A8¬"3UÌofÌhId1)'ub¥¾0&¡G bbq# D²µ k 0%(Ì@2nÌ«tÌÅ«@tÌ¥ ©( k s6Á¯vÊme½vÊ4Ê~»9Êy·Yi!¨iÉÆÅf}e½½Ê|ĪÃiÂÁÀgi
ÉÆÄÄÅÈÃÇÇÂÄÄÁÄÀÆ $#! " 210)('&%
© 2025 GMO Flatt Security Inc. All Rights Reserved. 本日登場したキーワード
① 実録: 「脆弱性を探す」の変 f 探す人の「読む」が徐々に自動 f 徐々に足がかりはAI、深い所や精 細な検証業は人間、のスタイルp f with AI は探す人にとっても必要な 生き方となった ② AIのオフェンシブ領域への転 f AI 実戦投入は着々と進© f 0-Day を見つけるAIは種々登 f 変化するのは Likelihoo¶ f サプライチェーンが Fragile にt f 検出ノイズの低減が転換点?
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ Q6F3RG3 BH@8I75EP@S9A3432D0C)1 T weestbhhpuqixfgeexedawhdreyXhvasWtda`yceXWYyteVU
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ Q6F3RG3 BH@8I75EP@S9A3432D0C)1 T vddrsaggitphwefddwdc`vgcqdxYgrxpurdXbqWc`dbpqVU
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ E@IFCH8A76458AA329F0)BG1D `aeYbY YfYUWVeX T RSdQcP pgih pgih tmtp|wl~uihgd{
q nj}skysfrx exwxuv otsrzvyqv Y ` TTR ÌY˲ÆU½Ä WR¨YÁ¬À¿º¸¹Y® ¼·°µ°µ¤³¤¦¯«ªÃ©´ §¾±¯¥¢¡¡ ©¶ÂÊ É· YÚ×ÕÛÒÑRÏÎØÍ RY)IÅ1BRaÄ 0"E® ³¤¦¯«ªÃ©$ #Ê@ ¤¤5ÆÃFÇ&7 ÷ÁD · Yhfºb¹YXÀ`¹YRWUÏÎØÍ Ax 0)BG1DFtF s0rqpp
Our Mission エンジニアの背中を預かる より多くのエンジニアがものづくりに集中できる社会を、セキュリティ面からつくる会社