2024/11/21 AWS事業本部コンサルティング部 たかくに ⽣成AIがもたらす セキュリティの新たな課題と対策

● ⽣成 AI の利⽤にあたり、考えられるセキュリティ課題の 理解する ● セキュリティリスクに対して、 AWS で対策可能なアプ ローチを知る 2 本⽇のゴール

OWASP Top 10 for LLM Applications

4 ● LLM アプリケーションの利⽤に関する脆弱性やリ スクをランキング形式にまとめた⽂書 ● 最新の2025年版が2024年11⽉18⽇にリリース OWASP Top 10 for LLM Applications

5 OWASP Top 10 for LLM Applications ● LLM01:2025 Prompt Injection（前回01位） ● LLM02:2025 Sensitive Information Disclosure（前回06位） ● LLM03:2025 Supply Chain（前回05位） ● LLM04:2025 Data and Model Poisoning（前回03位） ● LLM05:2025 Improper Output Handling（前回02位） ● LLM06:2025 Excessive Agency （前回08位） ● LLM07:2025 System Prompt Leakage（新登場） ● LLM08:2025 Vector and Embedding Weaknesses（新登場） ● LLM09:2025 Misinformation（前回09位） ● LLM10:2025 Unbounded Consumption（前回04位）

6 LLM01:2025 Prompt Injection 概要 ● 不正なプロンプトを⼊⼒し、 LLM に対して意図しない動 作や出⼒を引き起こす攻撃⼿法 ● プロンプトを直接書き換える直接的プロンプトインジェ クションと、外部データソースなどを経由して書き換え る間接的プロンプトインジェクションが存在する

7 LLM01:2025 Prompt Injection 対策例 ● モデルの動作を制約する ○ プロンプトエンジニアリング ● 特権制御と最⼩権限アクセスの強制 ○ Amazon Bedrock Prompt Management の利⽤ ○ データソースへのアクセス権限の⾒直し（IAM） ● ⼊⼒と出⼒のフィルタリングを実装する ○ Amazon Bedrock Guardrails の利⽤（英語のみ）

8 Amazon Bedrock Prompt Management ● Amazon Bedrock の機能の1つ ● モデル、モデルパラメータ、プロンプトを1つのセットで 管理 ● Model ID に Prompt Management の ARN を指定

9 Amazon Bedrock Prompt Management

● RAG アプリケーションなど外部リソースから参照する データソースへのアクセス権限の⾒直し 10 データソースへのアクセス権限の⾒直し（IAM）

11 Amazon Bedrock Guardrails の利⽤（英語のみ） ● ⼊⼒値 ○ プロンプト攻撃フィルターを利⽤する ■ ジェイルブレーク、プロンプトインジェクション ● 出⼒値 ○ コンテキストグラウンディングチェック ■ 関連性チェック

12 Amazon Bedrock Guardrails の利⽤（英語のみ）

● LLM アプリケーションを通じて、個⼈識別情報（PII）、 財務詳細などの機微な情報を開⽰/取得する攻撃⼿法 13 LLM02:2025 Sensitive Information Disclosure 概要

● データのマスキング処理や検証 ○ 独⾃のマスキング処理の実装 ■ Object Lambda, Glue, 3rd Party 製品の利⽤ ○ Amazon Bedrock Guardrails の利⽤ ● データへのアクセス権限の管理 ○ アクセス権限の⾒直し（IAM） 14 LLM02:2025 Sensitive Information Disclosure 対策例

https://dev.classmethod.jp/articles/aws-glue-databrew-pii-stepfunctions/ 15 独⾃のマスキング処理の実装（Glue）

16 ● 機密情報フィルタで以下のパターンをマスキング ○ PII タイプ ■ クレジットカード番号など事前に準備されたタイプ ○ 正規表現パターン ■ ⽇本の郵便番号などカスタムで設定したい時に利⽤ 独⾃のマスキング処理の実装（Amazon Bedrock Guardrails）

17 独⾃のマスキング処理の実装（Amazon Bedrock Guardrails）

● ソフトウェアの製造や提供の⼯程を侵害し、ソフトウェ アそのものやアップデートプログラムなどに不正コード を混⼊し、標的組織に侵⼊する攻撃（ソフトウェアサプ ライチェーン攻撃） ○ 機械学習では、トレーニング済みモデルやデータもリ クス範囲に含まれる 18 LLM03:2025 Supply Chain 概要

● パッケージの脆弱性管理 ○ SBOM の利⽤（Amazon Inspector） ○ SAST, SCA の利⽤（Amazon Inspector, CodeGuru Security） ● 出所が不明なモデルの利⽤を控える ● 定期的に利⽤しているモデル/パッケージの棚卸し 19 LLM03:2025 Supply Chain 対策例

● SBOM の⽣成 ○ ソフトウェア部品表 ○ サプライチェーンの可視化 ● SCA ○ ソフトウェア構成解析 ● OS や Dockerfile の設定不備も検出 20 Amazon Inspector

● SAST ○ コードの脆弱性を静的解析 ○ Python, TypeScript, IaC etc… ● SAST, SCA は Snyk も検討候補 21 CodeGuru Security（Preview）

● トレーニング、微調整、埋め込み等のデータが改ざんさ れ、脆弱性、バックドア、バイアスを導⼊し有害な出⼒ を促す攻撃⼿法 22 LLM04:2025 Data and Model Poisoning 概要

● データへのアクセス権限の管理 ○ アクセス権限の⾒直し（IAM） ● データソースへのアクセスログの取得 ● マルウェア検出（Amazon GuardDuty） ● 不審なアクティビティの脅威検出（Amazon GuardDuty） ● 出⼒内容のフィルタリング ○ Amazon Bedrock Guardrails（英語のみ） 23 LLM04:2025 Data and Model Poisoning 対策例

● ベクトルデータベース ● データソース（S3） ○ サーバーアクセスログ（ベストエフォート） ○ CloudTrail S3 データイベント 24 データソースへのアクセスログの取得

● 不審なアクティビティの脅威検出 ○ CloudTrail の S3 データイベントがデータソース ● マルウェアの検出 ○ S3 にアップロードされたファイルのマルウェア検出 ○ 検出結果によって隔離等も可能 ○ 1 ファイルあたり最⼤ 5GB までスキャン可能 ■ Vision One File Storage Security も候補 25 Amazon GuardDuty

26 LLM05:2025 Improper Output Handling 概要 ● LLM によって⽣成された出⼒で、他のコンポーネントや システムに対して悪影響を与える攻撃 ○ 出⼒結果の検証不備やサニタイズ不⾜が原因

● LLM の出⼒をユーザーに返す際にエンコードする ● ログの異常検知の実装 ○ CloudWatch Logs Anomaly Detection 27 LLM05:2025 Improper Output Handling 対策例

28 CloudWatch Logs Anomaly Detection ● CloudWatch Logs に記録されるログを継続的にスキャン し、注⽬すべきログを検知する機能 ● ログ⾏の最初 1,500 ⽂字までパターンマッチングを⾏う

29 ● エージェントへの過剰な操作権限が付与により、LLM が 誤動作した際に、想定しないアクションが実⾏されてし まう脆弱性 LLM06:2025 Excessive Agency 概要

● 権限管理の最⼩化/定期的な棚卸し ○ AWS IAM やアプリケーションの認可 ● レート制限による被害減少（抜本的な解決ではない） ○ レート制限を設けた API キーの発⾏等 ● ユーザー承認の要求 ○ 影響範囲に応じてユーザー応答/承認を設ける 30 LLM06:2025 Excessive Agency 対策例

● システムプロンプトがリークされ、意図しない情報が漏 洩してしまう脆弱性 ○ データベースの接続情報 ○ 特権昇格につながるような情報 ● リークされるのが問題ではなくシステムプロンプトに機 微な情報を組み込んでいることが問題 31 LLM07:2025 System Prompt Leakage 概要

● 機密データをシステムプロンプトから分離する ○ Systems Manager, Secrets Manager の利⽤ ● 出⼒内容のフィルタリング ○ Amazon Bedrock Guardrails 32 LLM07:2025 System Prompt Leakage 対策例

● ベクトル、エンベディングのデータへアクセスされてし まい、機密データの漏洩やデータの改ざんが⾏われてし まうこと ● 埋め込み反転攻撃 ○ ⼊⼒と出⼒を反転させ、データを窃取する攻撃 33 LLM08:2025 Vector and Embedding Weaknesses 概要

34 LLM08:2025 Vector and Embedding Weaknesses 対策例 ● データへのアクセス権限の管理 ○ アクセス権限の⾒直し（IAM） ● データソースへのアクセスログの取得 ● 不審なアクティビティの脅威検出（Amazon GuardDuty） ● 出⼒内容のフィルタリング ○ Amazon Bedrock Guardrails（英語のみ）

● LLM が起こしたハルシネーションによるユーザーの誤認 識 ● ユーザーが LLM に過度に依存している状態で起こりやす い 35 LLM09:2025 Misinformation 概要

36 LLM09:2025 Misinformation 対策例 ● 精度向上 ○ 検索拡張⽣成（RAG） ○ モデルの微調整 ○ 継続的な LLM アプリケーションの性能評価 ● セキュアコーディングの実施 ● LLM に関する社内教育の実施

37 ● LLM アプリケーションへの DoS 攻撃により、財務資源を 枯渇させる攻撃（EDoS攻撃） LLM10:2025 Unbounded Consumption 概要

38 LLM10:2025 Unbounded Consumption 対策例 ● ⼊⼒値にサイズ制限や検証ロジックを設ける ○ AWS WAF の利⽤ ● レート制限を設け特定のクライアントからのアクセスを 緩和 ○ API キーを発⾏しレート制限を設ける ○ AWS WAF のレートリミット導⼊ ● 包括的なログ記録による異常検出 ○ CloudWatch Logs Anomaly Detection の導⼊

まとめ

● LLM Applications に限らない話も多い ○ データソースへのアクセス権限 ○ データのマスキング処理 ○ SAST, SCA を⽤いた脆弱性管理 ○ 脅威アクティビティの検出 ○ レート制限 ○ ⼊⼒値の検証 ● 上記が対策できてから... ○ Amazon Bedrock Guardrails の利⽤検討 40 まとめ

● ⽣成 AI コンサルティング ○ LLM Applications を利⽤した業務改善 ● AWS 総合⽀援 ○ SaaS on AWS 開発‧導⼊コンサルティング ○ セキュリティ対策⽀援 ○ AWS 導⼊コンサルティング 41 コンサルティング⽀援やってます

No content