～ 最新AIでセキュリティ運用業務効率UP ～ セキュリティアナリストの頭の中を RAGにしてみた / 20241220 Tetsuharu Kokaki

2024/12/20 NCA Annual Conference2024
https://annualconf.nca.gr.jp/
株式会社SHIFT
ソリューション本部 ソリューション事業部 セキュリティサービス部 セキュリティサービス1グループ
チーフ・シニアコンサルタント
幸加木 哲治

Transcript

1. ～ 最新AIでセキュリティ運用業務効率UP ～ セキュリティアナリストの頭の中を RAGにしてみた 株式会社SHIFT セキュリティサービス部 NCA Annual Conference 2024
2. 2 ✓ 幸加木 哲治（こうかき てつはる） ✓ 株式会社SHIFT ソリューション本部 ソリューション事業部 セキュリティサービス部 セキュリティサービス第1グループ ✓ チーフシニアコンサルタント 【Summary】 大手事務機器メーカーにて、セキュリティ技術含む戦略・企画・統制のスペシャリスト および マネージャ として 約20年間 従事 現在、多業種に渡るセキュリティコンサルティング・セキュリティ運用業務支援等を実施 【Capability】 - SOC/CSIRT運用業務支援 - 生成AIによる業務効率化支援 - 各種システムに対する脅威モデリング - セキュリティ開発運用ガイド策定 - サイバーレジリエンス強化支援 - ISMS/NIST CSF/CIS controlベースのセキュリティアセスメント - ASMレポーティング / インシデントコマンダー業務支援 イントロダクション 本日のトピック
3. 3 深刻化するセキュリティ人材不足 日本のサイバーセキュリティ人材 不足数 万人 （2023年ISC2調べ：供給数48万人） 引用して一部を改変：PRTIMES 「ISC2、サイバーセキュリティ人材の需給ギャップに関する調査結果を発表」
4. 4 専門知識の必要性 教育と人材育成の遅れ 企業の意識の問題 人材の流動性の高さ サイバー攻撃の増加と複雑化 DXの進展 引用して一部を改変：PRTIMES 「ISC2、サイバーセキュリティ人材の需給ギャップに関する調査結果を発表」
5. 5 AIを活用し 課題解決できないか？
6. 6 狙ったこと：CSIRT分野において 非エキスパートでも セキュリティアナリスト同等 に業務可能であること
7. 7 そこで今回のテーマ セキュリティアナリスト の頭の中を “RAG” にしてみた
8. 8 RAG（Retrieval-Augmented Generation） GPTのようなLLM（大規模言語モデル）による “生成” に “独自の情報検索”を組み合わせ 回答精度を向上する 最新AI技術 RAGって何？
9. 9 ”企業ユニークで専門的“かつ ”人間らしい“ テキスト生成が可能なAI技術 LLMは 一般解を人間らしく 提示するのが得意 RAGは 独自の知識を明確に 提示するのが得意 さらに
10. 10 アプリ AI要約 AI検索 データ ソース RAGの活用イメージ 引用して一部を改変：PRTIMES 「NRI_用語解説」 ユーザ 質問を入力 回答を出力 質問に関連する 情報検索結果を取得 質問＋検索結果を 入力しテキスト生成 外部情報 LLM
11. 11 質問文 記載欄 【参考】 アプリ外観 - （ powered by ） - 非エキスパート ※（読み）らいぶらり・えーあい
12. 12 「本業が忙しく、情報セキュリティ にまで人材が割けない」 「業務繁忙のため教育や トレーニングを行う余裕がない」 総務省「我が国のサイバーセキュリティ人材の現状について」 引用して一部を改変：総務省 「我が国のサイバーセキュリティ人材の現状について」
13. 13 CSIRT業務におけるAI活用 → 着眼点
14. 14 トリアージなど、 少ない人的リソースを最適に 配備するなど より専門性の高い経験値に基づく 判断が求められる なぜか 引用して一部を改変： NTT Docomo ICTコラム 「サイバー攻撃への対応で求められる「トリアージ」とは」
15. 15 エキスパートが書いた ドキュメントを そのまま入れたが、、、 さあ対象も決まった、RAGという最新AIの仕組みも用意した アプリ AI要約 AI検索
16. 16 アプリ AI要約 AI検索 さあ対象も決まった、RAGという最新AIの仕組みも用意した エキスパートが書いた ドキュメントを そのまま入れたが、、、
17. 17 どう上手くいかなかったか ChatGPTと何が違うの？？
18. 18 エキスパートの既存ドキュメントを 放り込んだのに 専門的でない！
19. 19 ドキュメントがちゃんとあっても、 ✓ 一般論でしか書かれていない ✓ 似て非なる箇所が幾つもあり LLMによって言葉が要約される なぜか ・・・ 考えたこと ＝ 仮説
20. 20 なぜか ・・・ 考えたこと ＝ 仮説 RAGを有効に使いこなせるレベルで データそのものをきちんと整理しきれていない 行間を見て分かる人しか分からない ようになっているのでは？
21. 21 結論 「その通りだった」 中身を確認 ＝ 検証
22. 22 RAGは 独自の知識を明確に 提示するのが得意 あらためて仮説ベースで考える
23. 23 見える化 初動対応におけるエキスパートの 初動対応において“独自の知識を明確に”するために
24. 24 経験の 見える化 仕事の進め方の 見える化 初動対応におけるエキスパートの 初動対応において“独自の知識を明確に”するために
25. 25 経験の 見える化 仕事の進め方の 見える化 初動対応におけるエキスパートの 手順 判定 初動対応において“独自の知識を明確に”するために
26. 26 つまり、初動対応における”独自の知識を明確に”とは アラートに応じた手順で対応を進め、 トリアージ/深刻度判定を実行する 手順 判定 ＋
27. 27 アラートに応じた手順で対応を進め、 トリアージ/深刻度判定を実行する 手順 判定 ＋
28. 28 まず手順をエキスパートにヒアリングして大まかに 手順 従業員PCへの不正アクセスの例） 仕事の進め方の 見える化
29. 29 で 整理した その上で (when, who, where, what, how)
30. 30 たとえば 「不正アクセスされているPCを ネットワークから切り離す」 ※MDE ・・・ Microsoft Defender for Endpoint
31. 31 回答結果が”明確に”
32. 32 回答結果が”明確に” いつのタイミングで どこで 何を どうやって確認する だれが
33. 33 とはいえ、非エキスパートにとって 「実際アラートが来たとき 出来るか不安」
34. 34 企業独自の 環境や 用語まで整理 手順 仕事の進め方の 見える化 不安を解消するには
35. 35 企業ユニークな回答で精度◯
36. 36 非エキスパートでも理解・操作できるレベルまでブレークダウン “意味ある”手順の階層化 ざっくり 4W1H 企業独自 ・ ・ ・ ・ ・ ・ ・ ・
37. 37 アラートに応じた手順で対応を進め、 トリアージ/深刻度判定を実行する 手順 判定 ＋ 判定 経験の 見える化
38. 38 判定 経験の 見える化 考え方 答えを教えてもらうではなく、 経験知から「答えを導く」
39. 39 判定 経験の 見える化 経験したことで得た知識 特に作業現場で培われた、 勘や感覚などとして体得された知識 そもそも経験知ってなに？ 引用： Weblio辞書 日本語表現辞典 「経験知」
40. 40 判定 経験の 見える化 経験知 ＝ 過去事例の積み重ね どうするか
41. 41 判定 経験の 見える化 過去事例の積み重ねから 「答えを導く」 経験知の見える化とは
42. 42 判定 経験の 見える化 確からしさも確認する 不安を解消して確からしさを得る
43. まとめ
44. 44 AI活用の理想的なイメージ 非エキスパート人材がAIに質問さえすれば 簡単に答えを 引き出せる
45. 45 そのために RAGを使えばOK？ エキスパートのドキュメントがあればOK？
46. 46 そのために RAGを使えばOK？ エキスパートのドキュメントがあればOK？ NO！
47. 47 RAGにセキュリティアナリストの頭の中をインストールするには 次に何をすれば良いか どう判定すれば良いか にこだわって整理すること
48. 48 次に何をすれば良いか 手順の全体だけでなく 4W1Hや企業ユニークな 手続きまで見えること
49. 49 どう判定すれば良いか 過去事例の積み重ねから 「答えを導く」こと
50. 50 色々工夫してきたので 紹介しきれないことがたくさんあります。 是非SHIFTのブースに立ち寄ってお声掛けください 簡易的なデモもあります （実践的なデモもお見せできるかもしれません）
51. 51 ブースにも是非お立ち寄りください。 SHIFT主催イベントの ご参加もお待ちしております。 connpass →
52. 52 SHIFTでは色んなイベントをやってます
53. 53 あらためて、最後に
54. 54 セキュリティアナリストの 頭のなかをRAGにしてみた
55. 55 セキュリティアナリストの 頭のなかをRAGにしてみた RAGにセキュリティアナリストの 頭の中をインストールするには
56. 56 次に何をすれば良いか 手順の全体だけでなく 4W1Hや企業ユニークな手続きまで見えること どう判定すれば良いか 過去事例の積み重ねから「答えを導く」こと こだわって整理すること
57. 57 AIと仲良くなって使いこなして セキュリティ人材不足の打破！
58. 58 ご清聴ありがとうございました。
60. EOP