ソフトウェアセキュリティはAIの登場でどう変わるか - OWASP LLM Top 10

Slide 1

Slide 1 text

ソフトウェアセキュリティはAIの登場でどう変わるか – OWASP LLM TOP 10 岡⽥良太郎代表・エグゼクティブリサーチャ CISA, MBA [email protected] © Asterisk Research, Inc. 1

Slide 10

Slide 10 text

੬ऑੑରԠ͸෯޿͍૚ʹΘͨΔ 脆弱性発⽣箇所どんな状態か対応⼿段の提供者対応・復旧シフトレフトデスクトップやスマートフォンデバイスのOSに問題があり、保護が⼿薄、あるいは脆弱な状態になっているプラットフォーマ (Apple, Googleなど) アップデート適⽤、設定調整ガイドの更新⾃動アップデート活⽤、更新情報プロセス強化アプリケーションソフトウェアバグや、踏み台などの脆弱性開発会社、販売会社アップデート適⽤、設定調整、アプリの選定と廃棄ネットワーク機器、デバイス装置のファームウェアが古いあるいは悪⽤されやすい設定になっているため脆弱な状態メーカーアップデート適⽤ネットワーク機器や構成の⾒直しシステム：オープンソースやサードパーティAPIなどシステムで利⽤しているOSで使われているOSSのソースコードに問題が発⾒され脆弱性があるということが広く知られる OSSプロジェクト、 LinuxやMicrosoftなど OSベンダー動作検証とアップデート適⽤ソフトウェア構成分析 SCAの導⼊、SBOM システム：プログラムコード⾃社あるいはSIerが開発したコードに問題があり、脆弱になっているコードを書いた⼈ないし、開発プロジェクトチームプログラムの修正ノウハウの⾒直し SAST、ハンズオン⽣産技術的強化システム：クラウドサービス、アプリケーションの設定コンフィギュレーションの問題で、データが侵害されやすい状態などで脆弱になっているクラウドベンダーあるいはその先進的なユーザ設定の修正脆弱性検査の統合かモニタリングの強化ユーザ、オペレータ利⽤が許可されている機能あるいはデータの取り扱いを誤⽤してしまうユーザ⾃⾝、ならびにその組織応急対応と原因究明⾮常事態の対応訓練業務データ取り扱い訓練ユーザビリティ向上 November 11, 2024

Slide 25

Slide 25 text

Aspect Requirements Definition Design (Architecture Design) Coding Testing Deployment Operations (Monitoring) Maintenance AI's Role • Supporting requirements analysis; • Assisting with threat modeling • Proposing security best practices; • Identifying architecture vulnerabilities • Code generation assistant; • Providing security advice (detecting vulnerabilities) • Generating test cases; • Assisting with security testing • Optimizing automation; • Proposing security deployment guidelines • Threat detection and log analysis; • Supporting incident response • Supporting vulnerability management; • Optimizing patch application Examples • Proposing requirements aligned with project goals; • AI-driven threat modeling tools (predicting potential attack vectors) • Recommendations based on security design; • Discovering potential vulnerabilities during design phase • Copilot suggesting code; • Early detection of vulnerabilities such as input sanitization • Generating unit and automated test cases; • Automatic scans for security holes (e.g., preventing SQL injections or XSS attacks) • Optimizing CI/CD pipelines (automating deployment processes); • Checking configurations for safe deployment • Real-time threat detection via security monitoring tools; • AI-analyzed log data and alerts (e.g., detecting unauthorized access) • Automatically gathering new vulnerability information and proposing patches; • Supporting automated update processes Considerations • AI doesn't fully understand the business or regulatory environment, so developers must make final decisions • AI learns from existing code and designs, so there's a risk of unintentionally generating copyrighted code • The source of AI- generated code is often unclear, increasing the risk of using copyright- protected code unintentionally • Even test code may raise copyright concerns, so AI- generated content must be reviewed thoroughly • While deployment itself carries minimal copyright risks, AI- generated configurations should be audited • AI-generated reports and logs may be subject to legal audits, so ensuring their reliability and transparency is essential • AI-generated patches might involve proprietary technologies, increasing the risk of introducing legal issues Prompt: ”⾃社あるいは顧客に依頼されるソフトウェア開発の各段階において、AIがDevSecOpsアドバイザーとして効果的に機能する⽅法を現実として列挙できますか？エンジニアの知識を補完し必要⼗分な知識を技術的に反映できる助けとなるケースを⽰してください。セキュリティを考慮に⼊れる助けも必要です。その上で、利⽤上の注意として原理的に限界があることや、あるいは利⽤にあたり知的財産または法的リスクが⾼いものを⽰してください。ただし、可能性議論ではなく実際に問題となる可能性が⾼いもののみを指摘してください。その回避⽅法も提⽰してください”

Slide 26

Slide 26 text

ιϑτ΢ΣΞ։ൃʹ͓͚Δ"*ʹΑΔ%FW4FD0QTࢧԉɿ໾ׂɺద༻ྫɺٴͼཹҙࣄ߲ GPT-4o + いくらかのプロンプト 26 項⽬要件定義設計 (アーキテクチャ設計) コーディングテストデプロイ運⽤ (モニタリング) 保守 AIの役割 • 要件分析の⽀援 • 脅威モデリングの⽀援 • セキュリティベストプラクティスの提案 • アーキテクチャの脆弱性特定 • コード⽣成アシスタント • セキュリティアドバイス提供 (脆弱性の検出) • テストケースの⽣成 • セキュリティテストの⽀援 • ⾃動化の最適化 • セキュリティデプロイメントガイドラインの提案 • 脅威検出とログ分析 • インシデント対応の⽀援 • 脆弱性管理の⽀援 • パッチ適⽤の最適化例 • プロジェクト⽬標に合致した要件の提案 • AI駆動の脅威モデリングツール (潜在的な攻撃ベクトルの予測) • セキュリティ設計に基づく推奨事項 • 設計段階での潜在的な脆弱性の発⾒ • Copilotによるコード提案 • ⼊⼒サニタイズなどの基本的な脆弱性の早期検出 • ユニットテストと⾃動化テストケースの⽣成 • セキュリティホールの⾃動スキャン (例: SQLインジェクションやXSS攻撃の防⽌) • CI/CDパイプラインの最適化 (デプロイプロセスの⾃動化) • 安全なデプロイのための設定確認 • セキュリティモニタリングツールによるリアルタイム脅威検出 • AI解析によるログデータとアラート (例: 不正アクセスの検出) • 新たな脆弱性情報の⾃動収集とパッチ提案 • ⾃動更新プロセスの⽀援考慮事項 • AIはビジネスや規制環境を完全に理解していないため、最終決定は開発者が⾏う必要がある • AIは既存のコードや設計から学習するため、著作権で保護されたコードを意図せず⽣成するリスクがある • AI⽣成コードの学習データは出所が不明確であることが多い・意図せず著作権で保護されたコードを使⽤するリスクはある・対策レベルは網羅されていない • テストコードであっても著作権に関する懸念があるため、AI⽣成コンテンツの徹底的なレビューが必要 • デプロイ⾃体の著作権リスクは少ないが、AI⽣成の設定は監査が必要 • AI⽣成のレポートやログは法的監査の対象となる可能性があるため、信頼性と透明性の確保が重要 • AI⽣成のパッチにはプロプライエタリ技術が含まれる可能性があり、法的問題が発⽣するリスクがある

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text