Upgrade to Pro — share decks privately, control downloads, hide ads and more …

セキュリティ診断AIエージェント Takumi がもたらす変化 - 著名OSS 向け0-day...

セキュリティ診断AIエージェント Takumi がもたらす変化 - 著名OSS 向け0-dayリサーチを例に

Avatar for GMO Flatt Security

GMO Flatt Security

July 01, 2025
Tweet

More Decks by GMO Flatt Security

Transcript

  1. ('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ 2DC7@68A54310B B)9 IHGFE `WUTSYSQTSVXRP ‚w€„†€…vsxv€vswuusi…€rsq…‚ph…ysv†xs u‚„f…vsfgvd€„xsq…‚se„us…†sc…ysƒs hbptpttba ‰ˆ‡‰ˆ

    `WUTSYSQT’YS”P sny…xx„ivg„nukjg„hk„u€n…xsyvfsj„s „ve„xs€ws„s€„g†vsrwu€l „€‡~}|‚…{ `WUTSYSQT’”ŠP’ ª€wg„xs¤ªªs…†s›…†…škss›„x…vs¡gwsfs xk„s€ws…y‚gw‚„gs’w†€„†€nª„fkg…€fn ¡w…ffsfw†e kgv€…w† ˆ‰~‰°®}‡² `WUTSYSQT’S’V” ¤ªªs‚wuu…j……€fs€rgwk rsyv…f…wkus ªc·sk‚wvxu ρÎ́Î̄‡ÏÎ́Î̄ ÕÑÔÒÐÒR ÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖ ÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖ ÖÖÖÖ ÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖ ÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖ ×
  2. © 2025 GMO Flatt Security Inc. All Rights Reserved. 本セッションの流れ

    tR 実録: 「脆弱性を探す」の変T VR オフェンシブ領域での AI 転c CR 全部賭けるために
  3. © 2025 GMO Flatt Security Inc. All Rights Reserved. 昔話

    ― 2025年2月27日 自社SaaSのI/Fとしての Chatbot 開発をしていた 作るものを考えるために人間がロールプレイングしている様子
  4. © 2025 GMO Flatt Security Inc. All Rights Reserved. 昔話

    ― 2025年2月27日 (Sonnet 3.7 リリース2日後) 複数のモデルを並べて実証実験 ± 気分で社内の新卒向け登竜門をAIにや らせてみること ± 当時は事前にコードを index しておく か、one shot で context window 内に 詰め込む芸の何れかは必要と睨んでい® ± が、Sonnet 3.7 が著しく良かった。同 日リリースの Claude Code のツール構 成も、解析すると著しくシンプルであ ることがわかった 暴走の様子(怖い)
  5. © 2025 GMO Flatt Security Inc. All Rights Reserved. Sonnet

    3.7 ごろは明確な転換点 強力な “モデル + プリミティブなツール” の到来 ① RAG を採用する多くのシステム ② Claude Code (25/2 リリース) ツールがあるだけ(Bash, Edit, View, GlobTool, GrepTool) ベクトル検索に帰着して、”似た” ものを探索 大規模コードベースを予め Index しておかずとも、コードに対する問いに、Tool use の連続で答えられるようになった Embed うまく Embed うまく (0.1, 0.3, 0.4, ...) (0.3, 0.1, 0.8, ...) このベクトル 空間で検索 対象コードベース 検索クエリ “ファイル走査時に…”
  6. ('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ 31)20 B@A9768745  ‹·s…§¯……†‘w«q“«˜¤¨±¦¥ž™®•v«‘ŽŒˆiŽƒ„‰ ‰}…|dx˜¬i‡v—‘´£r……o~i„mœŠul{ ¢h‡ˆ¡yg³Œ†‘¸³tf  ‚‡«˜›e¨v•«™—µ†•Ÿ}…‡”«’«©™sˆš¥•“sˆš«ƒŽ„

    ’‹•‚«—‘„€«xv„wiu‡«t›«¨r•«…°q…o  ²phpv—‘gr…fe†dc‡‡”b¶‘z™—µ«a«t›« ¨r•«…‡‡”€`‡³–…„Œ†g£‡XvnW‘  VUª kTS­ªRŠQªPIªHGF„YªPIª”†EyDj­GªQC– ÂżÁ¼Ã½¾ Å1ÄÀº¼¿¿¿¹
  7. © 2025 GMO Flatt Security Inc. All Rights Reserved. 「脆弱性を探す人」に起こった変化

    #2 読む、探す → とても楽になった f 初めて見るコードベースに対して、怪しいものを探す、あちこち見て回る、は著しく素早くできv f 色々チューンした結果、Takumi は他製品比でも人間的なイシューを見つけてくるように 弊社ベンチマーク: Recall = TP/(TP + FN)
  8. © 2025 GMO Flatt Security Inc. All Rights Reserved. 「脆弱性を探す人」に起こった変化

    #2 ― ベンチデータセットの一部 本来あるセキュリティチェックを削除 割とこういうのも拾える
  9. © 2025 GMO Flatt Security Inc. All Rights Reserved. 「脆弱性を探す人」に起こった変化

    #3 検証する → とてもつらくなった u False positive や、Trivial な True positive(それリスクにつながる?というようなもの)はまだまだ出d u Takumi は Cline 差 22.9% ほどまでこぎ着けたが、それでも 61.4% ほどノイズ。精査は要る水準 弊社ベンチマーク: Weighted Noise Rate = (FP + βTPt)/(FP + βTPt +TPs), β=2
  10. ('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ GFI@HACDD@87B659DE@ @3C264910) SRQP ‚ƒ€i„xtpywufr Ycbgavgqd`XWVeUsTh ¼ ªºhƒq¡¸´®¯±œŒty¨zœ°~sªºŸ¥’~ ªº¡´®¯±œŒtĝšh£yΕz¢¥¶§¹Â“k

    £˜¦‘•£¬Šµ¢µŠÁ zy·†¬h„€ ¼ ©}|•†¬§¶§½Àę{Áh£y xh«w–uˆr¡pv z¢¥³lji¾ž”¾•fehodÄmœ˜¡‚»› ¼ ‰–”’‘‡²§Än¤—­·»œŠ §–”’‘‡²§Ä‰¿£…¢gŠ· »œƒq£ ˆ‡†¡™“Ь¢“x‹Ä—…»œ¸š¡ ÕÔÓÐÒÏÌÑ ËÎÊÉÇÍÆÅÈ
  11. ('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ B7FDC9@86534A2E1)0 adbYVXTeWUScRQPIHG`Se † ‡…ƒw€ˆƒ‚f„z~™o{xsrp|ut—wnmlige‘o˜•„”“’d–†h † ‰j‡…—ƒv€iƒxvutsrƒ„ƒqw‡pƒiy‚˜yqh–†ig~„˜fk„}† ºÅ´°È¸¼È«¸§´µ¼±°š°´ÈÆÀ³Æ¼È´¸À™«Àȱ¼À³¸°±±Àư³«°¼Èµ¼È³¼ÈµµÀµ¸È³¹ –¬Â¬·¨½Ä£¶¬Ç»­¨

    Ä·¶½Ç¬»¬­Á½¨¥­¨½Á­Ç¿¬½Á­·¿­¿¬½œÄìÁ¶½›˜˜É¶¤½¶Â¥½­¶½®¥­¨Ÿ¢—¦•½­Ç¬½¬œ”ÁĪ¬Ã½£ª½–¶¶ ­·“½’ÄǨ¥½‘ÄǬ­·“½Ç­· ­·“½­·Ã½®¥ ·¬¶¬½ ¨­¨¬Ž·¬¶½¿Çĝ”¶©½—¥¬ª½¶¬½¾½¡Äǽ­½»­Ç ¬¨ª½Ä¡½œ­Á  ĝ¶½­Â¨ » ¨ ¬¶½ ·ÂÁÃ ·¿½¶ÂÇ ”¨ ·¿½­·Ã½”¥ ¶¥ ·¿½­¶¶ ¶¨­·Â¬“½»Á·¬Ç­£ Á ¨ª½Ç¬¶¬­ÇÂ¥½­·Ã½¨­Ç¿¬¨½ ǬÂÄ··­ ¶¶­·Â¬©½—¥¬½”Ç ·Â ”­Á½Ã­·¿¬Ç½Á ¬¶½·Ä¨½ ·½¬·¨ ǬÁª½·¬¯½Ç ¶Œ¶“½£¨½Ç­¨¥¬Ç½ ·½¾‹¶½Â­”­Â ¨ª½¨Ä½¬·¥­·Â¬½¬ ¶¨ ·¿½¨¬Â¥· Š¬¶“½­ÁÁį ·¿½¡Äǽ¨¥¬½œ­¶¶ »¬½ à ¶¨Ç £¨ Ä·½Ä¡½¡­Œ¬“½¨­Ç¿¬¨¬Ã½·­ÇÇ­¨ »¬¶“½ ·ÂÁÃ ·¿½¶Ä ­Á½œ¬Ã ­½”͍¶“½­Ç¨ ÂÁ¬¶“½œ¬œ¬¶“½­·Ã½”¥Ä¨Ä¶©½‰¬½¥­»¬½­ÁǬ­Ãª½¯ ¨·¬¶¶¬Ã½ ¨¶½Â­”­£ Á ¨ ¬¶½¯ ¨¥½ ÃĨÄǬýǬÂÄÇà ·¿¶½Ä¡½­½Â­·Ã í¨¬½­ÁÁ¬¿ ·¿ˆžˆ½¬Á¬Â¨ Ä·½Ç ¿¿ ·¿½Äǽ¬·ÃÄǶ ·¿ˆž²½­·Ä¨¥¬Ç½”Ǭ¶ ì·¨ ­Á½Â­·Ã í¨¬© ÔßÜÛÝÕÚØÖÓßÕØÚÑÕÜÐÝ×ÕÒßÚÞÍÞÌÚËÏÊÙÎ à à
  12. © 2025 GMO Flatt Security Inc. All Rights Reserved. 国際的な

    AI-Driven Pentesting の波(学術寄り文脈) 当然攻撃全体の自動化可能性も検討されている … 特に2023年以降、順当にリサーチが進められている印ƒ … CTF、Metasploitable, Hack The Box のような学習/試験環境でのベンチマークがよく見られる 3 PentestGPT (Deng et al., 2023/08): パイオニア、Pentesting Task Tree(PTT)の導u 3 AutoAttacker (Xu et al., 2024/03): 経験情報のRAG。Post-breach へのアプローs 3 PenHeal (Huang & Zhu, 2024/07): 自動修正の提案を含D 3 BreachSeek (Alshehri et al., 2024/08): 既存のアーキ差分は薄いが、Reporting までE2Eで頑張る˜ 3 VulnBot (Kong et al., 2025/01): やや Layering + PTG の導u 3 RapidPen (Nakatani, 2025/02): ReAct+RAG
  13. © 2025 GMO Flatt Security Inc. All Rights Reserved. 国際的な

    AI-Driven Pentesting の波(産業寄り文脈) XBOW Hacktron Stealthnet 海外スタートアップも徐々に登場してきた こぞって脆弱性発見 / Bug Hunting Platform での実績を競い合うように
  14. © 2025 GMO Flatt Security Inc. All Rights Reserved. HackerOne

    では AI が一部で一位(XBOW) … 世界有数のバグハンティングプラットフォームHackerOng … Vulnerability Disclosure Program(VDP)カテゴリでは XBOW が人を抜いて一位を記録していi … 単なる報告窓口にとどまらず、報奨金も伴う Bug Bounty Program(Bug Bounty Program)カテゴリに比べれば競 争は穏やかだが、それでもすごい 総量も結構見つけている 毎月見つけている
  15. ('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ P48PQ1HSGFIVCBACE6R529730DU)@T ghrfif fsfbdcre a Y`qXpW wtvu wtvu {t{w‰ˆ†ƒ~s…|ponk‚j

    x–’uq„hzdr™”†‡z‘m‰hy “—ˆ‡l…Šg„ih…Š˜‚fƒ –’•ve€yƒ€ix} ˜f–ŒgŒŽ‘aa“Y•—‹ ÓfÒ¹ÍbÄˌdY¤¯fÈ³ÇÆÁ¿Àfµ Ã¥¾·¼·¼«º¦«­¶´²±Ê°» §®Å´¸¶¬£©¨¡ Ÿ¨ž§ ›š°¢½™Éѧдœ¾› ˜fáÞÜâÙØY•—ÖÕßÔ ③f脆弱性発見YhケŒル可能µ º¦«­¶´²±Ê°脆弱性Ñ見が¢検証 šで«E2E«で可能£なÊば¢利用でき ž穴¾増えž§で¾› ˜fNoÁsÀfRÇtÀfYキモÖÕßÔ
  16. ('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ P48PQ1HSGFIVCBACE6R529730DU)@T ghrfif fsfbdcre a Y`qXpW wtvu wtvu {t{w‰ˆ†ƒ~s…|ponk‚j

    x–’uq„hzdr™”†‡z‘m‰hy “—ˆ‡l…Šg„ih…Š˜‚fƒ –’•ve€yƒ€ix} ˜f–ŒgŒŽ‘aa“Y•—‹ ÓfÒ¹ÍbÄˌdY¤¯fÈ³ÇÆÁ¿Àfµ Ã¥¾·¼·¼«º¦«­¶´²±Ê°» §®Å´¸¶¬£©¨¡ Ÿ¨ž§ ›š°¢½™Éѧдœ¾› ˜fáÞÜâÙØY•—ÖÕßÔ ③f脆弱性発見YhケŒル可能µ º¦«­¶´²±Ê°脆弱性Ñ見が¢検証 šで«E2E«で可能£なÊば¢利用でき ž穴¾増えž§で¾› ˜fNoÁsÀfRÇtÀfYキモÖÕßÔ
  17. ('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ P48PQ1HSGFIVCBACE6R529730DU)@T ghrfif fsfbdcre a Y`qXpW wtvu wtvu {t{w‰ˆ†ƒ~s…|ponk‚j

    x–’uq„hzdr™”†‡z‘m‰hy “—ˆ‡l…Šg„ih…Š˜‚fƒ –’•ve€yƒ€ix} ˜f–ŒgŒŽ‘aa“Y•—‹ ÓfÒ¹ÍbÄˌdY¤¯fÈ³ÇÆÁ¿Àfµ Ã¥¾·¼·¼«º¦«­¶´²±Ê°» §®Å´¸¶¬£©¨¡ Ÿ¨ž§ ›š°¢½™Éѧдœ¾› ˜fáÞÜâÙØY•—ÖÕßÔ ③f脆弱性発見YhケŒル可能µ º¦«­¶´²±Ê°脆弱性Ñ見が¢検証 šで«E2E«で可能£なÊば¢利用でき ž穴¾増えž§で¾› ˜fNoÁsÀfRÇtÀfYキモÖÕßÔ
  18. © 2025 GMO Flatt Security Inc. All Rights Reserved. Noise

    Rate の高さ 「AI で万物壊す」「AIで万物安全にする」の双方が今ぶつかっている最大障壁
  19. © 2025 GMO Flatt Security Inc. All Rights Reserved. “Vibe

    Bug Hunting” が始まる 逆に、Noise Rate が下がると?
  20. © 2025 GMO Flatt Security Inc. All Rights Reserved. Noise

    Rate が下がると? “Vibe Bug Hunting” が始まる k ¸Í̇Œ˜uh̒d•°w˳5°À¼À¹wËq­É¿º¶´Ì¢±À¹Àd•˧ˢ±Æw˳5°À¼À¹wËq—º¦¤bb£´É¿º¶¾V k Î®—£Ÿ¦hb€¸Í̖¬‘—އ¥tx(ƒ k †’³ËƒË¢±À¹Àd•˧ˢ³Ë‰È§i¢±À¹Àd•Ë{‰§iË¢³ËzčxÇÈËr5À°wËld¼w{žj”{“‘ˆ€ „p‘‚i§iywšÇvshr„‰Çˆq™gÜhe˜§p k ca¦`$XW¬‚UÌo7SRnÌfnt7•@TnqQPHG¶¥FE¤CB k A8¬‚"3UÌofÌh†Id1)'ub¥¾0&¡G…bbq# D²µ k 0%(Ì@2nÌ«tÌÅ«•@tÌ¥…©(ƒ k s6Á¯vÊme½vÊ4Ê~»9Êy·Y›i!¨iɊ”’Æ™Åf}“–e½½Ê|ĪÃi—ÁÀgi‹
  21. © 2025 GMO Flatt Security Inc. All Rights Reserved. 本日登場したキーワード

    ① 実録: 「脆弱性を探す」の変‘ f 探す人の「読む」が徐々に自動” f 徐々に足がかりはAI、深い所や精 細な検証業は人間、のスタイルp f with AI は探す人にとっても必要な 生き方となった ② AIのオフェンシブ領域への転„ f AI 実戦投入は着々と進© f 0-Day を見つけるAIは種々登… f 変化するのは Likelihoo¶ f サプライチェーンが Fragile にt f 検出ノイズの低減が転換点?
  22. ('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ E@IFCH8A76458AA329F0)BG1D `aeYbY YfYUWVeX T RSdQcP pgih pgih tmtp‚|wl~uihgd{™

    q‰…nj}—s“k’‡y€s„ƒf‚—rx †€exƒ–w˜—xƒ‘u•v ƒ‰…ˆo”tsrzvy˜qv ‘Y…`…‡ŠTTˆŒRސ„ ÌY˲ÆU½Ä…WR¨YÁ¬À¿º¸¹Y® ¼ž·°µ°µ¤³Ÿ¤¦¯­«ªÃ©´ §¾­±¯¥œ¢¡š™˜¡— –”“©›¶’ÂÊ É­•·” ‘YÚ×ÕÛÒÑRސÏÎØÍ RY)IÅ1BRaą0"E® ³Ÿ¤¦¯­«ªÃ©$ #Ê›@ “¤¤5œÆÃF›Ç&7 —÷ÁD— ·” ‘Yhfºb¹YXÀ`¹YRWUÏÎØÍ ˆA‰x‡† 0)BG1DFtF…s0r„qppƒ