OSS推進フォーラム発表資料.pdf

Transcript

1. 1 Copyright(C) 2025 LIVEEST,inc. 株式会社ライブエスト https://live-est.com/ R&D事業部 2025年08月21日(木) エッジ型SIEM基盤への実装 LLaMA + LoRA + ManticoreSearch による 軽量・高精度な相関分析
2. 2 Copyright(C) 2025 LIVEEST,inc. 目次 １．背景と課題 ３．モデル構築とファインチューニング設計 ４．実行環境の選定と最適化 ２．技術チャレンジの変遷 ５．結果と得られた知見 ６．ManticoreSearch
3. 3 Copyright(C) 2025 LIVEEST,inc. 目次 ７．構成イメージ ８．今後の展望
4. 4 Copyright(C) 2025 LIVEEST,inc. １．背景と課題
5. 5 Copyright(C) 2025 LIVEEST,inc. ▌セキュリティ運用の現状課題 脅威が高度化・複雑化 １．背景と課題 年々危険度が上がっている
6. 6 Copyright(C) 2025 LIVEEST,inc. ▌セキュリティ運用の現状課題 ルールベースSIEMでは検知力に限界 １．背景と課題 複数イベント間の因果関係や相関性を、ルールだけで網羅するのは極めて難しい
7. 7 Copyright(C) 2025 LIVEEST,inc. ▌セキュリティ運用の現状課題 セキュリティオペレーターの育成・維持が難しい １．背景と課題 スキルの幅が広い・人材が流動的で定着しづらいという現実・ナレッジの属人化
8. 8 Copyright(C) 2025 LIVEEST,inc. ▌セキュリティ運用の現状課題：解決策 LLMによる相関分析の自動化 １．背景と課題 効率化・知識継承が期待される
9. 9 Copyright(C) 2025 LIVEEST,inc. ▌クラウド依存型の課題 クラウド一極集中型の構成は、推論・学習ともに高コスト化 円安の影響により、従量課金型クラウドAIの運用コストが年々増大 インシデント対応時に レイテンシ・閉域性・コストのバランスが取りづらい １．背景と課題
10. 10 Copyright(C) 2025 LIVEEST,inc. ▌クラウド依存型の課題 LLaMA2 LoRAモデルを量子化（GGUF形式）＋ローカル実行（llama.cpp） ManticoreSearchで軽量かつ高速な全文検索（OSS・MySQL互換） 推論・検索ともにミニPCで完結 学習済み脅威情報知識を注入 クラウド依存ゼロ：円安・従量課金からの脱却を実現 １．背景と課題：Answer
11. 11 Copyright(C) 2025 LIVEEST,inc. ２．技術チャレンジの変遷
12. 12 Copyright(C) 2025 LIVEEST,inc. ２．技術チャレンジの変遷 ▌クラスタリングで相関分析はできるのか？ ログをベクトル化すれば、脅威の『傾向』でグルーピングできる LLMでログをベクトル変換 → k-means などでクラスタリング 構造化・グルーピング（例：同じ攻撃元IP、同時刻帯）が可能 なぜ危険か？どこが関連？といった「理由説明」は生成できない 結論：分析の「整理」には使えるが、「解釈」には弱い
13. 13 Copyright(C) 2025 LIVEEST,inc. ２．技術チャレンジの変遷 ▌LLaMA-3-ELYZAによるラベリング：精度は向上、でも... アプローチ：LLM（ELYZA）でセキュリティログにラベル付け ラベル内容：ポジティブ／ネガティブ＋簡潔な理由説明を生成 効果：一定の整合性・安定した分類性能（教師データとして活用） 限界：生成される内容が「汎用的」で、脅威に対する具体性が弱い LLMの知識が一般セキュリティ止まり
14. 14 Copyright(C) 2025 LIVEEST,inc. ２．技術チャレンジの変遷 ▌SIGMAルール等の脅威情報学習：意味理解と一般化が飛躍的に向上 学習内容：SIGMAルール＋対策情報 教師データ例：CVE番号、攻撃手法、推奨対応策などを文脈として学習 効果1：ログ単体でも「脅威の構造」を理解したような出力が可能に 効果2：未学習の脅威でも近しいケースに基づいて対応を提示 意味の羅針盤が形成され、非常に高い一般化性能を獲得
15. 15 Copyright(C) 2025 LIVEEST,inc. ２．技術チャレンジの変遷 ▌セキュリティパターンの上乗せ学習：相関分析が「できる」段階へ 追加学習：学習済みモデルに「相関分析」特化データをLoRAで追加 教師データ：複数ログソース＋人間による脅威ラベル＋理由・対策を付加 効果：プロンプトに忠実な構文で「結論・理由・対策」を一貫して出力 精度：未知ログにも一貫した文脈処理で高い再現性を実現 意味理解＋構造理解の合成 相関分析LLMが完成
16. 16 Copyright(C) 2025 LIVEEST,inc. ３．モデル構築とファインチュー ニング設計
17. 17 Copyright(C) 2025 LIVEEST,inc. ３．モデル構築とファインチューニング設計 ▌モデル構築/ファインチューニング ベースモデル：LLaMA2-7B ステップ1：脅威情報でファインチューニング ステップ2：相関ログでLoRA上乗せ
18. 18 Copyright(C) 2025 LIVEEST,inc. ４．実行環境の選定と最適化
19. 19 Copyright(C) 2025 LIVEEST,inc. ４．実行環境の選定と最適化 ▌Jetson + GPT2 での検証：軽量だが相関分析には届かず 試み：小型エッジデバイス（Jetson）で動作するLLM基盤を構築 モデル：GPT2-smallを用いてベースモデルを学習・ファインチューニング 結果：脅威情報の分類・単文ログ応答はある程度可能 限界：複数ソース間の「相関」を捉えるには表現力が足りない 教訓：構文処理や系列保持に優れた LLaMA2-7B クラスが必要 LLaMA2-7Bのようにレイヤー数・埋め込み次元・トークナイザーまで 最適化されたモデルでなければ、実用水準の相関分析は難しい
20. 20 Copyright(C) 2025 LIVEEST,inc. ４．実行環境の選定と最適化 ▌ミニPC + LLaMA2 Q4_K：エッジ推論品質・速度ともに実用レベル 構成：NucBox（AMD Ryzen 7 PRO 6850H / 32GB）でLLaMA2-7B Q4_K量子化モデ ルをローカル実行 実行環境：llama-cpp-python + llama.cpp / n_threads=8 / CPUモード 推論性能：約18秒で「分類＋理由＋対策」を安定出力（2048 context） 応答品質：相関分析タスクにおいて安定性・妥当性ともに高評価 結論：クラウド依存せず、単体で相関分析AIとして成立
21. 21 Copyright(C) 2025 LIVEEST,inc. ５．結果と得られた知見
22. 22 Copyright(C) 2025 LIVEEST,inc. ５．結果と得られた知見 ▌総括 LLaMA2 は 単なる「単語予測」ではなく、構造的な推論力がある 脅威情報データが「セキュリティ的文脈の軸」をモデルに与える LoRAと段階的チューニングにより「セキュリティに特化したエッジAI」が完成 結論：クラウド依存せず、単体で相関分析AIとして成立
23. 23 Copyright(C) 2025 LIVEEST,inc. ６．ManticoreSearch
24. 24 Copyright(C) 2025 LIVEEST,inc. ６．ManticoreSearch ▌ManticoreSearch への切り替えで得られる実用的メリット コスト削減：クラウド従量課金（OpenSearch）から OSSベースに移行 軽量動作：数百MBで動作可能。Jetson/ラズパイでも導入実績あり MySQL互換：既存の監視系・ETLと統合しやすい（SQLインターフェース） 高速検索：全文検索・フィルタ・ランキング対応 → 相関ログ探索にも有効 エッジ展開：閉域・オンプレ環境にも容易に組み込み可能
25. 25 Copyright(C) 2025 LIVEEST,inc. ７．構成イメージ
26. 26 Copyright(C) 2025 LIVEEST,inc. お客様拠点 Syslog/Logstash Manticoresearch 推論用 ライブエスト チューニング用サーバ ７．構成イメージ ▌お客様拠点～弊社環境接続イメージ お客様拠点用にPCを２台設置（ETL用/推論用） モデル更新は弊社環境で実行し、お客様拠点へ配信（日時更新を想定） 新規設置 定期的にモデル見直し・最新化が可能な構成
27. 27 Copyright(C) 2025 LIVEEST,inc. ８．今後の展望
28. 28 Copyright(C) 2025 LIVEEST,inc. ８．今後の展望 ▌今後の展望 エッジ型SIEM基盤として OSS 展開の可能性 関連会社へのモデルデモ・オンサイト導入支援 WebUI/API化 → 組み込み・商用展開（SaaS/PaaS）