Share
Embed
Slide 1
Slide 1 text
セキュリティ問合せ対応エージェントのナレッジ改善ループ
失敗から学んだ「馴染む仕組み」の使い方
2026.04.23
Slide 2
Slide 2 text
2
2025年にfreeeへ新卒入社。
特に攻撃観点でプロダクトセキュリティに関わる技術を習得しなが
ら、脆弱性診断から問合せ対応まで、AIを用いた日常業務のフ
ローの改善に取り組んでいます。
神奈川県逗子市出身。魚が美味しい。
榊原 慎
フリー株式会社
セキュリティ部
Slide 3
Slide 3 text
スモールビジネスを、世界の主役に。
Slide 4
Slide 4 text
4
freeeで⾏っている事業
Slide 5
Slide 5 text
5
今日の話
● セキュリティ部には問合せ対応エージェントがいるよ
● 問合せ対応エージェントにセキュリティ部の知識を乗っけて、対応を高速化する仕組みを
作ったよ
● 対応を高速化する仕組みを作るために、セキュリティ部に馴染む仕組みを使ったよ
● (どうして使ったかというと、)一度同じ仕組みを作った時に、チームへの浸透の観点を気にせず仕組み
だけを作って失敗したからだよ
Slide 6
Slide 6 text
6
今日の話
ナレッジ
改善ループ
(の仕組み)
を馴染ませる
(仕組み)
技術の話 運用の話
問合せエージェント
Slide 7
Slide 7 text
7
セキュリティ部について
White Team
Blue Team Red Team
Purple Team
ルールの視点
攻めの視点
守りの視点
それぞれの視点を掛け合わせて、
セキュリティの施策や仕組みを作っていく
Slide 8
Slide 8 text
8
● 様々な観点でセキュリティ部の対応が求められる
● さらにAI/LLMの発展によってプロジェクトが高速に進行
● セキュリティ部への問い合わせの流量が増加
● →問合せに対応できる速度に遅れが出ると、高速に進行できるはずの
プロジェクトが遅延する可能性がある
セキュリティ部の問合せ対応における困難
Slide 9
Slide 9 text
9
セキュリティ部の問合せ対応
背景
セキュリティ部
問い合わせ
懸念点の解消
目的 トラブル対応
アドバイス
対応
質問者
求められているものを
背景から把握する必要がある
Slide 10
Slide 10 text
10
問合せ対応 Bot バンちゃん
問合せの一次対応をしてくれるAI Agent Bot (大体1歳)
相談者の問い合わせに関する情報整理をする
Slack/JIRA/Confluence/Devinなどの情報を探してこれる
Slide 11
Slide 11 text
11
自動化で何がしたかった？
背景 懸念点の解消
目的 トラブル対応
アドバイス
対応
バンちゃん
問合せの背景や目的などを
把握する
セキュリティ部の知識を
取り入れる
コミュニケーションをとる
Slide 12
Slide 12 text
12
どうやって知識を手にいれる？
今回は
この知識が
必要だったね
問い合わせ担当者の頭の中に知識が残っているタイミングは、一連の問合せが完了した後
背景 懸念点の解消
目的 トラブル対応
アドバイス
対応
バンちゃん
問い合わせ
Slide 13
Slide 13 text
13
どうやって知識を手にいれる？
問い合わせはたくさんくるので、その時に手に入れたい
問合せ
多すぎ 背景 懸念点の解消
目的 トラブル対応
アドバイス
対応
バンちゃん
問い合わせ
Slide 14
Slide 14 text
14
先に今やっている /やろうとしている話から
Slide 15
Slide 15 text
15
コマンドによる feedback
バンちゃん
この応答は
こうだよ
こう？
改善チケット
作ったよ
JIRA
に起票
背景 懸念点の解消
目的 トラブル対応
アドバイス
対応
バンちゃん
問い合わせ
Slide 16
Slide 16 text
16
コマンドによる feedback
Coding
Agent
改善の実装
お願い
作ったよ
JIRA
参照
新バージョン
バンちゃん
Slide 17
Slide 17 text
17
ドキュメントだけ見ても分からないので、
仕組みをわかっている人が実際に使うことで記憶に残す
実際に使うことで浸透させる
Slide 18
Slide 18 text
18
自動フィードバックモード
実際に対応した後、
要約した内容をドキュメント化
関連知識を探索
Confluence
要約する内容
● 課題・解決したいこと
● 回答やそれに使ったナレッジ
などなど
背景 懸念点の解消
目的 トラブル対応
アドバイス
対応
バンちゃん
問い合わせ
Slide 19
Slide 19 text
19
こっからが本題
セキュリティ問合せ対応エージェントのナレッジ改善ループ
失敗から学んだ「馴染む仕組み」の使い方
Slide 20
Slide 20 text
20
半年前に似たような仕組みを追加していた
知識探索
LLM
デイリーで
要約した内容を
保存
問合せ
関連知識を
探索
バンちゃんの知識として参照する
が、上手くいかなかった
要約する内容
● 何が課題になっているか
● 解決するために必要な知識
背景 懸念点の解消
目的 トラブル対応
アドバイス
対応
バンちゃん
問い合わせ
Slide 21
Slide 21 text
21
● 一般的な知識 ばかり返して、保存した知識を読んでるのに参考にしてくれない
● 学習をする仕組みを実際に運用する際に、どの場面で使うのが適切かを把握できない
● などなど、様々な方面に改善点があり、どこから直せばいいかわからない
どう上手くいかなかった？
バンちゃん
…
Slide 22
Slide 22 text
22
どうして失敗したかの仮説
なぜ上手くいかなかった？
仮説1:
モデルの性能が低かった？
(当時は3-7-sonnet)
仮説2:
AI Agentの使い方が
下手だった？
仮説3:
最初から完成品を作ろうとした ?
断言はできなかった
ドメイン知識を持っている
メンバーに比べたら劣る印象
一番大きい要素
(次ページ)
Slide 23
Slide 23 text
23
● 一般的な問い合わせ自動化のフローを仕組み化した
● その仕組みが何に使えるか分からないと、ただのノイズにしか見えない
○ そのために、馴染む仕組み(運用)を使うのが大事
● 目的は”知識を集めて、問合せ対応に活かすこと”、最初から自動化する必要はない
→今作ろうとしている仕組みは、その仕組みに至るまでの前段がある
最初から完成品を作ろうとした ?
Slide 24
Slide 24 text
24
今日の話・まとめ
● 馴染む仕組みとは、目的に沿った仕組みを作る時に連続的に改善していって、理解できるように使う
こと
● これを意識することで、目的と技術のギャップの少ない状態で、使い手も作り手も理解できる仕組み
にしやすい
Slide 25
Slide 25 text
セキュリティ問合せ対応エージェントのナレッジ改善ループ
失敗から学んだ「馴染む仕組み」の使い方
2026.04.23