© 2023, Amazon Web Services, Inc. or its affiliates. © 2023, Amazon Web Services, Inc. or its affiliates. 生成 AI のセキュリティと生産性を 両立させる Machine Learning Developer Relations Takahiro Kubo

© 2023, Amazon Web Services, Inc. or its affiliates. Agenda 1. 生成 AI への期待とリスク 2. 責任共有モデルに基づくリスクへの対応方法 3. Key Takeaways 2

© 2023, Amazon Web Services, Inc. or its affiliates. 3 自己紹介 アマゾン ウェブ サービス ジャパン合同会社 Machine Learning Developer Relations 久保隆宏 (Kubo Takahiro) ミッション 「機械学習を実用するなら AWS 」という認知を拡大すること。 10 年以上の業務コンサルタント経験、また研究開発していたテーマをプロダクトと してリリースした経験をもとにお話しします。

© 2023, Amazon Web Services, Inc. or its affiliates. 機械学習をプロダクトに活かすためのワークショップ を GitHub で公開 (AWS からの実施には条件あり ) https://github.com/aws-samples/aws-ml-enablement-workshop ワークショップを一部体験できる コミュニティイベントも実施

© 2023, Amazon Web Services, Inc. or its affiliates. Agenda 1. 生成 AI への期待とリスク 2. 責任共有モデルに基づくリスクへの対応方法 3. Key Takeaways 5

© 2023, Amazon Web Services, Inc. or its affiliates. 生成 AI は新規ビジネスの創出や業務効率化、顧客との関係 にインパクトをもたらす技術 6 創造性 会話、ストーリー、画像、動画、 音楽など、新しいコンテンツやア イデアを作成 生産性 あらゆる業種、ユースケース、 業界にわたって生産性を大幅に 向上 関係性 顧客や組織全体と繋がる の新しい方法

© 2023, Amazon Web Services, Inc. or its affiliates. 生成 AI には新たなリスク と課題もある。

© 2023, Amazon Web Services, Inc. or its affiliates. 生成 AI を活用する上でのリスクと課題 知的財産侵害のリスク 機密保持のリスク 信憑性のリスク ( 例：幻覚 ) 悪意ある、差別的な 生成のリスク

© 2023, Amazon Web Services, Inc. or its affiliates. 信憑性のリスク（例：幻覚） プ ロ ン プ ト ま た は 外 部知識の入力から、 もっともらしいが 虚偽である出力 を行うリスクがある CVE-2011-3192 は Apache Killer の脆弱性で出力内容 とは大きく異なる

© 2023, Amazon Web Services, Inc. or its affiliates. 悪意ある、差別的な生成のリスク 個 人 ま た は 組 織 を 憎 悪 、 脅 迫 、 侮 辱 す る 基 盤 モ デ ル の 出 力 Emacs でも 試してみてください

© 2023, Amazon Web Services, Inc. or its affiliates. 知的財産侵害のリスク コ ン ト ロ ー ル さ れ て い な い 素 の 基 盤 モ デ ル は 、 学 習 デ ー タ に 類 似 し た 出 力 を 行 う 傾 向 が あ り 、 プ ラ イ バ シ ー と 著 作 権 に 関 す る 懸 念 が 生 じ る 。 基盤モデルに、ピカソ 風の猫の絵を描いても らうよう依頼

© 2023, Amazon Web Services, Inc. or its affiliates. 機密保持のリスク 送 信 し た プ ロ ン プ ト が 学 習 さ れ た 場 合 、 他 者 の プ ロ ン プ ト を 通 じ て 情 報 が 流 出 す る 可 能 性 が あ る 。 CodexLeaks: Privacy Leaks from Code Generation Language Models in GitHub Copilot コードを生成する大規模言語モデルに対し、 account.password=“ の続きなどを生成さ せたところ、 一部それらしい出力得られることを確認し た論文が報告される。

© 2023, Amazon Web Services, Inc. or its affiliates. 責任ある AI を実現するための課題 制御性 AI の監視と統制を 行うメカニズム プライバシー & セキュリティ 適切に入手し保護 されたデータとモデル 安全性 有害な出力と 誤用の防止 公平さ 異なるグループに 対する影響を考慮 統治 AI の開発者と共に 提供プロセスの ベストプラクティスを実現 透明性 意思決定者に 情報と選択肢を提供する 信憑性と ロバストネス 予期せぬ事態や敵対的な 入力に対しても 正確な応答を買える 説明可能性 出力に対する 理解と評価

© 2023, Amazon Web Services, Inc. or its affiliates. 新たなリスクと課題を どう解決する ?

© 2023, Amazon Web Services, Inc. or its affiliates. Agenda 1. 生成 AI への期待とリスク 2. 責任共有モデルに基づくリスクへの対応方法 3. Key Takeaways 17

© 2023, Amazon Web Services, Inc. or its affiliates. 責任ある AI を、モデルの開発から利用までのプロセス全体 で実現する 18 学習データの取得 基礎モデルの開発 プロンプト前処理 出力後処理 出力の影響

© 2023, Amazon Web Services, Inc. or its affiliates. 責任共有モデルによる分担 19 責任ある AI ・モデルの提供 責任ある提供に欠かせない サービス提供 責任ある AI の 実装・監視・運用

© 2023, Amazon Web Services, Inc. or its affiliates. AWS はどのように責任あるモデルを開発し提供しているか ? 20 学習データの取得 基礎モデルの開発 プロンプト前処理 出力後処理 出力の影響

© 2023, Amazon Web Services, Inc. or its affiliates. 4 つの施策 責任ある AI を理論から実践 へと変える 責任ある AI の基盤となる 研究を推進 責任ある AI の 関係者を 巻き込む モデル開発過程 全体で責任ある AI を実現

© 2023, Amazon Web Services, Inc. or its affiliates. Amazon Science における Responsible AI の研究 22 https://www.amazon.science/blog/responsible-ai-in-the-generative-era

© 2023, Amazon Web Services, Inc. or its affiliates. AWS AI サービスカード 23 責任ある AI を推進するための透明性リソース • AWS AI サービスの使用目的と公平性に関する考慮 事項を文書化しています。 • AWS の包括的な開発プロセスを反映しています。 • 5 つの新しい AI サービスカードが re: Invent 2023 で 公開されました Amazon Textract AnalyzeID Amazon Rekognition Face Matching Amazon Comprehend Detect PII Amazon Transcribe Toxicity Detection Amazon Transcribe – Batch (English-US) AWS HealthScribe Amazon Titan Text Amazon Rekognition Face Liveness

© 2023, Amazon Web Services, Inc. or its affiliates. 24 Amazon Titan FM Amazon の構築した高性能かつ責任ある AI を実現する基盤モデル 顧客提供のデータから有害なコンテンツを 検出・削除し、不適切なユーザー入力を拒 否し、モデル出力をフィルタリングするよ う構築。 第三者による知的財産権侵害請求に対する 弁護と補償 ( AWS Service Terms 50.10 参照 ) Amazon Titan で生成された画像には見えな いウォーターマークが含まれ、偽造を防止。 安全な学習データを取得

© 2023, Amazon Web Services, Inc. or its affiliates. 責任を持って生成 AI を構築するためのベストプラクティス を実践 25 ユースケースを定義する。 具体的で範囲が狭いほど良い アノテーターの教育と多様性 を重視する ユースケース固有のリスクを 評価する ( 金融・医療等 ) テスト、テスト、テスト 企画、学習、テスト、統合、 フィードバックのライフサイクル を設計する ライフサイクルにおける説明 責任と対策のオーナーシップ を明確にする

© 2023, Amazon Web Services, Inc. or its affiliates. さらに詳しく 将来の生成 AI モデルの開発に向けた新たな自 発的取り組み ✓ 社内外からの攻撃検証 (red-teaming) ✓ セキュリティリスク情報 ✓ 音声・画像が AI によって生成されたものか どうかを判断するメカニズム ✓ サイバーセキュリティと内部脅威対策 ✓ 第三者による問題の発見と報告 ✓ モデルの機能、制限事項、適切な使用領域 ✓ AI がもたらす社会的リスクに関する研究 ✓ 社会の課題に対処する AI システム 規制や標準化への取り 組みへの参加 Amazon はホワイトハウス、テクノロジー 組織、AI コミュニティに加わり、責任ある 安全な人工知能の利用を推進しています。

© 2023, Amazon Web Services, Inc. or its affiliates. お客様が責任ある AI を提供するために AWS はどのような サービスを提供しているか ? 27 学習データの取得 基礎モデルの開発 プロンプト前処理 出力後処理 出力の影響

© 2023, Amazon Web Services, Inc. or its affiliates. まず当たり前セキュリティーの実装に必要な機能を提供 28 仮想プライベート クラウド (VPC) から Bedrock API にアクセスできる。 転送・保管されるデータは すべて暗号化される Fine Tuning に使用する データは保護・暗号化され、 お客様専用にコピーした モデルを学習する。 Amazon および 3rd Party 本体のモデル学習には一切 使われない AWS は 300 を超える セキュリティサービスと 機能を提供

© 2023, Amazon Web Services, Inc. or its affiliates. 既存の AWS サービスを組み合わせた責任ある AI の構成 29 1. 画像を生成するテキストを API エンドポイントに送信 2. Lambda で処理を開始。 2.1-2.2 Amazon Comprehend でテキストの表現を確認 2.3-2.4 Amazon SageMaker で Stable Diffusion により画 像を生成 2.4-2.5 Amazon Rekognition で画像の安全性を確認 3. 安全と確認された画像を返す AWS Lambda 2.5 Amazon API Gateway

© 2023, Amazon Web Services, Inc. or its affiliates. 30 プ レ ビ ュ ー 版 が 利 用 可 能 に な り ま し た ユースケース固有のポリシーを設定すること で、有害なトピックに対する返答の拒否やコ ンテンツのフィルタリングを実現。 応答に含まれる個人情報 (PII) を検出しマスク する等編集も可能になる予定。 N EW Guardrails for Amazon Bedrock

© 2023, Amazon Web Services, Inc. or its affiliates. プロンプトの前処理 ( 受容性評価 ) 、出力のフィルタリング 31 有害、性的など各テーマごと フィルタの強度を設定できる 投資や医療に関するアドバイス はしないよう設定できる

© 2023, Amazon Web Services, Inc. or its affiliates. 32 Amazon Bedrock で利用可能なモデルに対し、 ビルトインあるいは持ち込みのデータセット を用いて精度や有害性、プロンプト変更への 頑健性を評価できる。 自動評価以外に、人手の評価も実施可能。 N EW Model Evaluation On Amazon Bedrock プ レ ビ ュ ー 版 が 利 用 可 能 に な り ま し た

© 2023, Amazon Web Services, Inc. or its affiliates. 出力の評価・比較 33 https://aws.amazon.com/jp/blogs/aws/evaluate-compare-and-select-the-best-foundation-models-for-your-use-case-in-amazon-bedrock-preview/

© 2023, Amazon Web Services, Inc. or its affiliates. 34 Amazon CodeWhisperer 最高のコーディングコンパニオン 検出が困難な脆弱性を発見して修正案を 提案する。セキュリティスキャンが組み 込まれた AI コーディングコンパニオン。 出力の影響評価

© 2023, Amazon Web Services, Inc. or its affiliates. Agenda 1. 生成 AI への期待とリスク 2. 責任共有モデルに基づくリスクへの対応方法 3. Key Takeaways 35

© 2023, Amazon Web Services, Inc. or its affiliates. 生成 AI のセキュリティと生産性を両立させるには ? • 新しいリスクと課題を識別する • 信憑性、悪意ある生成、知的財産の侵害、機密情報保持 • 社会から求められる公平性、安全性、ガバナナンス等 • リスクを低減し、課題解決につながる AWS のサービスを選択 • AWS では責任ある基盤モデルの構築を推進 • 基盤モデルに対する入力、また出力を監視できるサービス 36

© 2023, Amazon Web Services, Inc. or its affiliates. Thank you! © 2023、アマゾンウェブサービス社またはその関連会社