～最新AIでセキュリティ運用業務効率UP ～セキュリティアナリストの頭の中を RAGにしてみた / 20241220 Tetsuharu Kokaki

Slide 1

Slide 1 text

～最新AIでセキュリティ運用業務効率UP ～セキュリティアナリストの頭の中を RAGにしてみた株式会社SHIFT セキュリティサービス部 NCA Annual Conference 2024

Slide 2

Slide 2 text

2 ✓ 幸加木哲治（こうかきてつはる） ✓ 株式会社SHIFT ソリューション本部ソリューション事業部セキュリティサービス部セキュリティサービス第1グループ ✓ チーフシニアコンサルタント【Summary】大手事務機器メーカーにて、セキュリティ技術含む戦略・企画・統制のスペシャリストおよびマネージャとして約20年間従事現在、多業種に渡るセキュリティコンサルティング・セキュリティ運用業務支援等を実施【Capability】 - SOC/CSIRT運用業務支援 - 生成AIによる業務効率化支援 - 各種システムに対する脅威モデリング - セキュリティ開発運用ガイド策定 - サイバーレジリエンス強化支援 - ISMS/NIST CSF/CIS controlベースのセキュリティアセスメント - ASMレポーティング / インシデントコマンダー業務支援イントロダクション本日のトピック

Slide 3

Slide 3 text

3 深刻化するセキュリティ人材不足日本のサイバーセキュリティ人材不足数万人（2023年ISC2調べ：供給数48万人）引用して一部を改変：PRTIMES 「ISC2、サイバーセキュリティ人材の需給ギャップに関する調査結果を発表」

Slide 4

Slide 4 text

4 専門知識の必要性教育と人材育成の遅れ企業の意識の問題人材の流動性の高さサイバー攻撃の増加と複雑化 DXの進展引用して一部を改変：PRTIMES 「ISC2、サイバーセキュリティ人材の需給ギャップに関する調査結果を発表」

Slide 5

Slide 5 text

5 AIを活用し課題解決できないか？

Slide 6

Slide 6 text

6 狙ったこと：CSIRT分野において非エキスパートでもセキュリティアナリスト同等に業務可能であること

Slide 7

Slide 7 text

7 そこで今回のテーマセキュリティアナリストの頭の中を “RAG” にしてみた

Slide 8

Slide 8 text

8 RAG（Retrieval-Augmented Generation） GPTのようなLLM（大規模言語モデル）による “生成” に “独自の情報検索”を組み合わせ回答精度を向上する最新AI技術 RAGって何？

Slide 9

Slide 9 text

9 ”企業ユニークで専門的“かつ ”人間らしい“ テキスト生成が可能なAI技術 LLMは一般解を人間らしく提示するのが得意 RAGは独自の知識を明確に提示するのが得意さらに

Slide 10

Slide 10 text

10 アプリ AI要約 AI検索データソース RAGの活用イメージ引用して一部を改変：PRTIMES 「NRI_用語解説」ユーザ質問を入力回答を出力質問に関連する情報検索結果を取得質問＋検索結果を入力しテキスト生成外部情報 LLM

Slide 11

Slide 11 text

11 質問文記載欄【参考】アプリ外観 - （ powered by ） - 非エキスパート ※（読み）らいぶらり・えーあい

Slide 12

Slide 12 text

12 「本業が忙しく、情報セキュリティにまで人材が割けない」「業務繁忙のため教育やトレーニングを行う余裕がない」総務省「我が国のサイバーセキュリティ人材の現状について」引用して一部を改変：総務省「我が国のサイバーセキュリティ人材の現状について」

Slide 13

Slide 13 text

13 CSIRT業務におけるAI活用 → 着眼点

Slide 14

Slide 14 text

14 トリアージなど、少ない人的リソースを最適に配備するなどより専門性の高い経験値に基づく判断が求められるなぜか引用して一部を改変： NTT Docomo ICTコラム「サイバー攻撃への対応で求められる「トリアージ」とは」

Slide 15

Slide 15 text

15 エキスパートが書いたドキュメントをそのまま入れたが、、、さあ対象も決まった、RAGという最新AIの仕組みも用意したアプリ AI要約 AI検索

Slide 16

Slide 16 text

16 アプリ AI要約 AI検索さあ対象も決まった、RAGという最新AIの仕組みも用意したエキスパートが書いたドキュメントをそのまま入れたが、、、

Slide 17

Slide 17 text

17 どう上手くいかなかったか ChatGPTと何が違うの？？

Slide 18

Slide 18 text

18 エキスパートの既存ドキュメントを放り込んだのに専門的でない！

Slide 19

Slide 19 text

19 ドキュメントがちゃんとあっても、 ✓ 一般論でしか書かれていない ✓ 似て非なる箇所が幾つもあり LLMによって言葉が要約されるなぜか・・・考えたこと＝仮説

Slide 20

Slide 20 text

20 なぜか・・・考えたこと＝仮説 RAGを有効に使いこなせるレベルでデータそのものをきちんと整理しきれていない行間を見て分かる人しか分からないようになっているのでは？

Slide 21

Slide 21 text

21 結論「その通りだった」中身を確認＝検証

Slide 22

Slide 22 text

22 RAGは独自の知識を明確に提示するのが得意あらためて仮説ベースで考える

Slide 23

Slide 23 text

23 見える化初動対応におけるエキスパートの初動対応において“独自の知識を明確に”するために

Slide 24

Slide 24 text

24 経験の見える化仕事の進め方の見える化初動対応におけるエキスパートの初動対応において“独自の知識を明確に”するために

Slide 25

Slide 25 text

25 経験の見える化仕事の進め方の見える化初動対応におけるエキスパートの手順判定初動対応において“独自の知識を明確に”するために

Slide 26

Slide 26 text

26 つまり、初動対応における”独自の知識を明確に”とはアラートに応じた手順で対応を進め、トリアージ/深刻度判定を実行する手順判定＋

Slide 27

Slide 27 text

27 アラートに応じた手順で対応を進め、トリアージ/深刻度判定を実行する手順判定＋

Slide 28

Slide 28 text

28 まず手順をエキスパートにヒアリングして大まかに手順従業員PCへの不正アクセスの例）仕事の進め方の見える化

Slide 29

Slide 29 text

29 で整理したその上で (when, who, where, what, how)

Slide 30

Slide 30 text

30 たとえば「不正アクセスされているPCをネットワークから切り離す」 ※MDE ・・・ Microsoft Defender for Endpoint

Slide 31

Slide 31 text

31 回答結果が”明確に”

Slide 32

Slide 32 text

32 回答結果が”明確に” いつのタイミングでどこで何をどうやって確認するだれが

Slide 33

Slide 33 text

33 とはいえ、非エキスパートにとって「実際アラートが来たとき出来るか不安」

Slide 34

Slide 34 text

34 企業独自の環境や用語まで整理手順仕事の進め方の見える化不安を解消するには

Slide 35

Slide 35 text

35 企業ユニークな回答で精度◯

Slide 36

Slide 36 text

36 非エキスパートでも理解・操作できるレベルまでブレークダウン “意味ある”手順の階層化ざっくり 4W1H 企業独自・・・・・・・・

Slide 37

Slide 37 text

37 アラートに応じた手順で対応を進め、トリアージ/深刻度判定を実行する手順判定＋判定経験の見える化

Slide 38

Slide 38 text

38 判定経験の見える化考え方答えを教えてもらうではなく、経験知から「答えを導く」

Slide 39

Slide 39 text

39 判定経験の見える化経験したことで得た知識特に作業現場で培われた、勘や感覚などとして体得された知識そもそも経験知ってなに？引用： Weblio辞書日本語表現辞典「経験知」

Slide 40

Slide 40 text

40 判定経験の見える化経験知＝過去事例の積み重ねどうするか

Slide 41

Slide 41 text

41 判定経験の見える化過去事例の積み重ねから「答えを導く」経験知の見える化とは

Slide 42

Slide 42 text

42 判定経験の見える化確からしさも確認する不安を解消して確からしさを得る

Slide 43

Slide 43 text

まとめ

Slide 44

Slide 44 text

44 AI活用の理想的なイメージ非エキスパート人材がAIに質問さえすれば簡単に答えを引き出せる

Slide 45

Slide 45 text

45 そのために RAGを使えばOK？エキスパートのドキュメントがあればOK？

Slide 46

Slide 46 text

46 そのために RAGを使えばOK？エキスパートのドキュメントがあればOK？ NO！

Slide 47

Slide 47 text

47 RAGにセキュリティアナリストの頭の中をインストールするには次に何をすれば良いかどう判定すれば良いかにこだわって整理すること

Slide 48

Slide 48 text

48 次に何をすれば良いか手順の全体だけでなく 4W1Hや企業ユニークな手続きまで見えること

Slide 49

Slide 49 text

49 どう判定すれば良いか過去事例の積み重ねから「答えを導く」こと

Slide 50

Slide 50 text

50 色々工夫してきたので紹介しきれないことがたくさんあります。是非SHIFTのブースに立ち寄ってお声掛けください簡易的なデモもあります（実践的なデモもお見せできるかもしれません）

Slide 51

Slide 51 text

51 ブースにも是非お立ち寄りください。 SHIFT主催イベントのご参加もお待ちしております。 connpass →

Slide 52

Slide 52 text

52 SHIFTでは色んなイベントをやってます

Slide 53

Slide 53 text

53 あらためて、最後に

Slide 54

Slide 54 text

54 セキュリティアナリストの頭のなかをRAGにしてみた

Slide 55

Slide 55 text

55 セキュリティアナリストの頭のなかをRAGにしてみた RAGにセキュリティアナリストの頭の中をインストールするには

Slide 56

Slide 56 text

56 次に何をすれば良いか手順の全体だけでなく 4W1Hや企業ユニークな手続きまで見えることどう判定すれば良いか過去事例の積み重ねから「答えを導く」ことこだわって整理すること

Slide 57

Slide 57 text

57 AIと仲良くなって使いこなしてセキュリティ人材不足の打破！