セキュリティ問合せ対応エージェントのナレッジ改善ループ: 失敗から学んだ「馴染む仕組み」の使い方

Transcript

1. セキュリティ問合せ対応エージェントのナレッジ改善ループ 失敗から学んだ「馴染む仕組み」の使い方 2026.04.23
2. 2 2025年にfreeeへ新卒入社。 特に攻撃観点でプロダクトセキュリティに関わる技術を習得しなが ら、脆弱性診断から問合せ対応まで、AIを用いた日常業務のフ ローの改善に取り組んでいます。 神奈川県逗子市出身。魚が美味しい。 榊原 慎 フリー株式会社 セキュリティ部
3. スモールビジネスを、世界の主役に。
4. 4 freeeで⾏っている事業
5. 5 今日の話 • セキュリティ部には問合せ対応エージェントがいるよ • 問合せ対応エージェントにセキュリティ部の知識を乗っけて、対応を高速化する仕組みを 作ったよ • 対応を高速化する仕組みを作るために、セキュリティ部に馴染む仕組みを使ったよ • (どうして使ったかというと、)一度同じ仕組みを作った時に、チームへの浸透の観点を気にせず仕組み だけを作って失敗したからだよ
6. 6 今日の話 ナレッジ 改善ループ (の仕組み) を馴染ませる (仕組み) 技術の話 運用の話 問合せエージェント
7. 7 セキュリティ部について White Team Blue Team Red Team Purple Team ルールの視点 攻めの視点 守りの視点 それぞれの視点を掛け合わせて、 セキュリティの施策や仕組みを作っていく
8. 8 • 様々な観点でセキュリティ部の対応が求められる • さらにAI/LLMの発展によってプロジェクトが高速に進行 • セキュリティ部への問い合わせの流量が増加 • →問合せに対応できる速度に遅れが出ると、高速に進行できるはずの プロジェクトが遅延する可能性がある セキュリティ部の問合せ対応における困難
9. 9 セキュリティ部の問合せ対応 背景 セキュリティ部 問い合わせ 懸念点の解消 目的 トラブル対応 アドバイス 対応 質問者 求められているものを 背景から把握する必要がある
10. 10 問合せ対応 Bot バンちゃん 問合せの一次対応をしてくれるAI Agent Bot (大体1歳) 相談者の問い合わせに関する情報整理をする Slack/JIRA/Confluence/Devinなどの情報を探してこれる
11. 11 自動化で何がしたかった？ 背景 懸念点の解消 目的 トラブル対応 アドバイス 対応 バンちゃん 問合せの背景や目的などを 把握する セキュリティ部の知識を 取り入れる コミュニケーションをとる
12. 12 どうやって知識を手にいれる？ 今回は この知識が 必要だったね 問い合わせ担当者の頭の中に知識が残っているタイミングは、一連の問合せが完了した後 背景 懸念点の解消 目的 トラブル対応 アドバイス 対応 バンちゃん 問い合わせ
13. 13 どうやって知識を手にいれる？ 問い合わせはたくさんくるので、その時に手に入れたい 問合せ 多すぎ 背景 懸念点の解消 目的 トラブル対応 アドバイス 対応 バンちゃん 問い合わせ
14. 14 先に今やっている /やろうとしている話から
15. 15 コマンドによる feedback バンちゃん この応答は こうだよ こう？ 改善チケット 作ったよ JIRA に起票 背景 懸念点の解消 目的 トラブル対応 アドバイス 対応 バンちゃん 問い合わせ
16. 16 コマンドによる feedback Coding Agent 改善の実装 お願い 作ったよ JIRA 参照 新バージョン バンちゃん
17. 17 ドキュメントだけ見ても分からないので、 仕組みをわかっている人が実際に使うことで記憶に残す 実際に使うことで浸透させる
18. 18 自動フィードバックモード 実際に対応した後、 要約した内容をドキュメント化 関連知識を探索 Confluence 要約する内容 • 課題・解決したいこと • 回答やそれに使ったナレッジ などなど 背景 懸念点の解消 目的 トラブル対応 アドバイス 対応 バンちゃん 問い合わせ
19. 19 こっからが本題 セキュリティ問合せ対応エージェントのナレッジ改善ループ 失敗から学んだ「馴染む仕組み」の使い方
20. 20 半年前に似たような仕組みを追加していた 知識探索 LLM デイリーで 要約した内容を 保存 問合せ 関連知識を 探索 バンちゃんの知識として参照する が、上手くいかなかった 要約する内容 • 何が課題になっているか • 解決するために必要な知識 背景 懸念点の解消 目的 トラブル対応 アドバイス 対応 バンちゃん 問い合わせ
21. 21 • 一般的な知識 ばかり返して、保存した知識を読んでるのに参考にしてくれない • 学習をする仕組みを実際に運用する際に、どの場面で使うのが適切かを把握できない • などなど、様々な方面に改善点があり、どこから直せばいいかわからない どう上手くいかなかった？ バンちゃん …
22. 22 どうして失敗したかの仮説 なぜ上手くいかなかった？ 仮説1: モデルの性能が低かった？ (当時は3-7-sonnet) 仮説2: AI Agentの使い方が 下手だった？ 仮説3: 最初から完成品を作ろうとした ? 断言はできなかった ドメイン知識を持っている メンバーに比べたら劣る印象 一番大きい要素 (次ページ)
23. 23 • 一般的な問い合わせ自動化のフローを仕組み化した • その仕組みが何に使えるか分からないと、ただのノイズにしか見えない ◦ そのために、馴染む仕組み(運用)を使うのが大事 • 目的は”知識を集めて、問合せ対応に活かすこと”、最初から自動化する必要はない →今作ろうとしている仕組みは、その仕組みに至るまでの前段がある 最初から完成品を作ろうとした ?
24. 24 今日の話・まとめ • 馴染む仕組みとは、目的に沿った仕組みを作る時に連続的に改善していって、理解できるように使う こと • これを意識することで、目的と技術のギャップの少ない状態で、使い手も作り手も理解できる仕組み にしやすい
25. セキュリティ問合せ対応エージェントのナレッジ改善ループ 失敗から学んだ「馴染む仕組み」の使い方 2026.04.23