【AWS AIF対策】AIシステムを守る

Transcript

1. 2026年10月 AIシステムを守る AWS Certified AI Practitioner 対策 #16 赤神青空
2. ▪自分のモデルの素性を書き残すのは 前回のクイズの答えは「A」 Model Cards 前回のクイズ ⾃分で学習させたモデルの、想定する⽤途‧ リスクの格付け‧学習や評価の詳細を 1か所にまとめて監査に出したい。 ⾃分が作った モデル 素性を1か所に 書き残す AWS の サービス AWS が書く Service Card 答えは A 今ココ おさらい Model Cards A SageMaker ⾃分のモデルの素性を書き残す Cards B AIAWSService が⾃社サービスについて出す Guardrails C Bedrock 実⾏時に⼊出⼒を⽌める D SHAP どの⼊⼒が効いたかを推定する 2/13
3. ▪責任共有モデルと、所有の度合いで分けるスコープ（別の枠組み） まず、どこまでが自分の責任か ① 責任共有モデル ── AWS と⾃分の分担 AWS ── クラウド「の」セキュリティ ハードウェア、ソフトウェア、ネットワーク、施設 ⾃分 ── クラウド「の中の」セキュリティ 誰に何を許すか、データの暗号化、⼊出⼒の扱い、記録の取り⽅ ② ⽣成AIセキュリティスコーピングマトリクス ── 別の枠組み。どれだけ⾃分で所有しているか スコープ 1 公開のサービスを使う スコープ 2 AI⼊りの業務アプリ スコープ 3 既成のモデルで作る スコープ 4 ファインチューニングする スコープ 5 ⼀から学習させる 右に⾏くほど、モデルとデータの所有が⼤きい（least → greatest ownership） スコープ1‧2 は第三者のサービス。相⼿は AWS ではなくその提供元（第17回で詳しく） 今ココ 土台 3/13
4. ▪試験ガイド守る道具の地図 5.1 が「サービスと機能」に挙げる道具 誰に何を許すか データを守る ロール‧ポリシー‧権限 保管時と転送時。KMS の鍵 AgentCore Identity Amazon Macie IAM 暗号化 エージェントの認証と資格情報 S の機微データを⾒つける Policy in AgentCore AWS PrivateLink 道具を使う前に⽌める インターネットを通らない経路 出ていくものを⽌める Amazon Bedrock Guardrails（第14回） 5.1 の「AWSのサービスと機能」が例に挙げているのは、この7つ 責任共有モデルを⼊れて8つ。5.1 には他に Model Cards も出てくる（p ） 今ココ 土台 4/13
5. ▪置いてあるとき、運んでいるとき、通り道 暗号化と経路 データは、置いてあるときと運んでいるときの両⽅を守る 保管時の暗号化 転送時の暗号化 encryption at rest カスタムモデルは既定で AWS 側の鍵で暗号化される ⾃分の鍵（KMS）に替えられる対象もある カスタムモデル‧モデル評価ジョブ‧ ナレッジベースの取り込みなど encryption in transit TLS で通信する AWS は TLS . を必須とし、 1.3 を推奨している 経路そのものをインターネットから外す ⾃分の VPC AWS PrivateLink の VPC エンドポイント Amazon Bedrock インターネットに出さずに Bedrock を呼べる 暗号化は AWS 側の鍵で始まる。⾃分の鍵にするか、経路を閉じるかは⾃分で決める 今ココ データを守る 5/13
6. ▪品質・プライバシー・アクセス・完全性 データを扱うときの作法 データの品質を⾒る プライバシーを守る技術 何が⼊っているかを確かめてから使う 匿名化、マスキング、最⼩限の収集 アクセスを絞る 必要な⼈‧必要なモデルにだけ許す 完全性を保つ 途中で書き換わっていないことを確かめる 機微なデータが混ざっていないかを⾒つける Amazon S Amazon Macie 機械学習とパターンで機微データを⾒つける Macie が⾒るのは Amazon S 。学習データや資料を S に置くなら使える 最⼩権限は⼈だけの話ではない。どのモデルを呼べるかも IAM で絞れる 今ココ データを守る 6/13
7. ▪AgentCoreエージェントを守る の Identity と Policy AgentCore Identity Policy in AgentCore エージェントが名乗り、鍵を預ける 道具を使う前に、境界で⽌める エージェントそのものに⾝元を持たせる AgentCore Gateway を通る通信を すべて⽌めて照合する 他のサービスを使うためのトークンを トークンボールトに安全にしまう ルールは Cedar で書く。 ⾃然⾔語から書かせることもできる 利⽤者に代わってアクセスするときも、 誰の代わりかが分かる エージェントのコードの外で効くので、 作り⽅によらず同じように効く 「誰が」を Identity が、「何をしてよいか」を Policy が受け持つ どちらも試験ガイド 5.1 に名指しで出てくる。第7回の AgentCore の続き 今ココ エージェント 7/13
8. ▪入ってくるものと、出ていくもの 生成AI特有の脅威 プロンプトインジェクション データの持ち出し 指⽰を上書きさせられる Guardrails のプロンプト攻撃の検出（⼊⼒をタグで囲む） 機微な情報を答えさせられる 機密情報フィルタと、⼊れるデータの精査 出⼒をそのまま使う 有害な出⼒ 出⼒が下流のシステムを壊す 出⼒の検証とフィルタ 有害な内容が出てしまう コンテンツフィルタ、評価での有害性の測定 どれも「⼊ってくるもの」と「出ていくもの」の両⽅を⾒る話 従来のセキュリティもそのまま要る アプリの堅牢化、脅威の検知、脆弱性の管理、インフラの保護 ⽣成AI特有の話が⾜されただけで、普通のセキュリティが要らなくなるわけではない 今ココ 脅威 8/13
9. ▪ログは2種類あり、役割が違う 記録を残す 2種類のログがあり、役割が違う AWS CloudTrail 誰がいつ呼んだか ∕ 既定で有効 InvokeModel や Converse も⼊る 呼び出した⼈‧時刻‧モデルが残る ただし中⾝は⼊らない 既定で⾒られるのは直近90⽇ モデル呼び出しのログ 何を⼊れて何が返ったか ∕ 既定で無効 ⾃分で有効にする 出⼒先は CloudWatch Logs か S モデルを直接呼ぶときの本⽂が⼊る KB超とバイナリは S へ（出⼒先しだい） 「プロンプトの中⾝を残したい」なら、CloudTrail だけでは⾜りない Bedrock はプロンプトと出⼒を保持するかどうかを選べる 保持しない設定も選べる（モデルによっては⼈のレビューが前提のものもある） どの設定でも、内容がモデルの提供元に渡ることはない 今ココ 記録 9/13
10. ▪データの来歴と、答えの引用 出所をたどれるようにする そのデータがどこから来たのかを、あとから⽰せるようにする データの来歴 データカタログ Model Cards data lineage どのデータから、どう加⼯されて、 どのモデルになったか data cataloging どこに何があるか、 誰のものかを⼀覧にする SageMaker できあがったモデルの素性を 書き残す（第15回） 答えの側でも、出所を⽰す 利⽤者への回答 引⽤ 元の資料 どの資料に基づいた答えなのかを、利⽤者がたどれる 出所が⽰せないものは、正しさも確かめられない 試験ガイドは「ソースの引⽤」と「データの出所の記録」を並べて挙げている 今ココ 記録 10/13
11. ▪資料に基づかせる・検証する・確信度を見る ハルシネーションを減らす 出⼒の正しさを上げる3つの⼿ 出⼒を検証する 資料に基づかせる RAG グラウンディング 答えのもとになる資料を渡し、 そこから答えさせる（第10回） 確信度を⾒る output validation 形式が合っているか、 資料から外れていないかを確かめる confidence scoring どれくらい確からしいかを添え、 低いときは⼈に回す AWS の道具では ⽂脈的接地チェック 渡した資料から外れた答えを⽌める Guardrails。出⼒にだけ掛かる（第14回） ⾃動推論チェック 決めた論理のルールに合うか検証する ⽌めずに結果を返す（第14回） ハルシネーションは「減らす」もので、ゼロにはならない だから出⼒の検証と、⼈に回す仕組みを先に⽤意しておく 今ココ 出力の正しさ 11/13
12. ▪クイズの前に、持ち帰ってほしいことを振り返る 今回のまとめ 責任共有モデルが⼟台 クラウドの中に置いたものは⾃分が守る。所有が⼤きいほど守る範囲も広い 誰に何を許すかと、データを守る IAM‧AgentCore Identity‧Policy∕暗号化‧Macie‧PrivateLink∕Guardrails ログは2種類で役割が違う CloudTrail は既定で記録、中⾝はモデル呼び出しのログ 7つ 既定は無効 出所をたどれるようにする 来歴‧カタログ‧Model Cards。答えには引⽤を付ける ハルシネーションは減らすもの 資料に基づかせる‧出⼒を検証する‧確信度を⾒る 今ココ おわりに RAG 12/13
13. ▪動画に付けたクイズから回答できます。答え合わせは次回の冒頭で 今回のクイズ Amazon Bedrock で、利用者が入力したプロンプトと返ってきた応答の本文 を、あとから調べられるように残したい。どうする？ A CloudTrail のログを 調べる 今ココ おわりに B モデル呼び出しのログ を有効にする C Guardrails を設定す る D PrivateLink で経路を 閉じる 13/13