© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS における⽣成 AI と 最近のアップデート 川路 義隆 アマゾン ウェブ サービス ジャパン合同会社 エンタープライズ技術本部 ソリューションアーキテクト

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 川路 義隆 アマゾン ウェブ サービス ジャパン合同会社 ソリューションアーキテクト @kawaji_scratch ⾃⼰紹介 • ⼩売業のお客様の⽀援 • サーバーレス導⼊⽀援

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 実証調査の年 ⽣成 AI がビジネスにもたらす 価値はなんですか︖ 基盤モデルとは何ですか︖ LLM とは何ですか︖ ⽣成 AI とは︖ プロンプトエンジニアになる 必要がありますか︖ 安全ですか︖ どうやってモデルを 選べば良いですか︖ どこからどうやって 始めれられますか︖ どのモデルを試すべきですか?

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 実⽤化に向けて ⽣成 AI 活⽤プロジェクトをはじめるのに どうやって優先順位をつければ良いですか︖ どうすればもっと速く実践できるか? 実⽤化するためには どうすればいいですか︖ どうすればコストを 削減できますか︖ これをスケールさせるには どうすればいいですか︖ どのモデルを使うべきですか︖ リスクを管理するには どうすればいいですか︖ ⾃分でモデルを学習すべきでしょうか︖ どのカスタマイズ⽅法を使⽤すればよいですか?

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 会話、ストーリー、 画像、動画、⾳楽など 新しいコンテンツを創造 ⽂章やコード・ 画像の⽣成⽀援など すべての事業部⾨で ⽣産性を⼤幅に向上 ⼤量の⽂書から洞察を得て 素早い情報共有により 組織のより良い意思決定に お客様や従業員と より⾃然で柔軟な コミュニケーション ⽣成 AI がもたらすビジネス価値

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. カスタマー・ エクスペリエンスの向上 ビジネスプロセスの最適化 チャットボット バーチャルアシスタント パーソナライゼーション インテリジェントな コンタクトセンター 会話型のより柔軟な検索 コンテンツ作成・要約 データから洞察へ コード⽣成 製品デザイン モデリング 不正検知 予知保全 データ増強 プロセス最適化 BI ツール への組み込み 業界横断的な⽣成 AI のユースケース

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon における 顧客レビュー Amazon.com における評価 Rufus 買い物アシスタントの エキスパートとして Amazon 薬局 より迅速な処⽅と より親切なサポート

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⽣成 AI アプリケーション

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⽣成 AI アプリケーション データ基盤

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 誰もがアクセス可能な ⼀般的な⽣成 AI ⾃社データを活⽤した ⾃社のビジネスと 顧客を理解する⽣成 AI あなたのデータが差別化の鍵になります

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. で ⽣成 AI を活⽤しましょう お客様のドメインに関する⼀般的で専⾨的な知識 ラベルが付けられておらず、構造化されていない企業データ 基盤モデルのコピーを変更 特定のタスクに関する専⾨知識 ラベル付きの例が少ない 基礎モデルのコピーを変更 迅速な増強による専⾨知識 エンタープライズナレッジコーパス 基盤モデルに変更はない

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. よりパーソナルな バーチャルエージェント オンライン旅⾏代理店が、パーソナライズされた旅⾏ ⽇程を作成したいと考えています データ 過去の旅⾏ ウェブの閲覧履歴 旅⾏の好み フライトおよびホテルの在庫 プロモーションキャンペーン 類似する旅⾏者の旅程

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⽣成 AI アプリケーションの データ基盤に求められること エンドツーエンドの データガバナンス機能 責任ある AI、アクセス管理 データ統合により データサイロ化を解消し すべてのデータに 簡単に接続 構造化データ、⾮構造化データ、 ベクターデータを 保存し照会する 包括的なデータ機能

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS は、データと AI の導⼊を エンドツーエンドで実現できます エンドツーエンドの ガバナンス機能が役⽴ちます データを活⽤して より迅速に⾏動 インテリジェンスを内蔵した 最も包括的なデータと AI サービスのセット すべてのデータを統合 迅速かつ簡単に接続できるように ゼロ ETL の未来に投資 17年以上にわたるデータと ML の⾰新、そして今も続く進化 トレーニング、導⼊⽀援、グ ローバルパートナーネット ワークなど、様々なサービス オンボーディング⽀援 データベース、分析、機械学習 サービスを利⽤している顧客数が 200 万⼈を超える、実績ある リーダー

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⽣成 AI スタック GPUs AWS Inferentia AWS Trainium Amazon SageMaker EC2 Capacity Blocks Neuron UltraClusters EFA Nitro Amazon Q Business Amazon Q Developer Amazon Q in QuickSight Amazon Q in Connect Amazon Bedrock Guardrails Agents Customization capabilities Custom Model Import Studio

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. GPUs AWS Inferentia AWS Trainium Amazon SageMaker EC2 Capacity Blocks Neuron UltraClusters EFA Nitro ⽣成 AI スタック

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon 基盤モデルを含む機械学習モデルを⼤規模に 構築、トレーニング、およびデプロイする 最新の公開基盤モデルにアクセス 基盤モデルをゼロから構築 基盤モデルをカスタマイズ 推論から本番運⽤まで FMOps を実装 スケーラビリティと信頼性

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. CG1 NVIDIA Tesla M2050 “Fermi” GPUs G2 NVIDIA GRID GK104 “Kepler” GPUs G3 NVIDIA Tesla M60 GPUs P3 NVIDIA V100 Tensor Core GPUs G4 NVIDIA T4 Tensor Core GPUs G5g NVIDIA T4G Tensor Core GPUs P5 NVIDIA H100 Tensor Core GPUs P2 NVIDIA K80 GPUs P4 NVIDIA A100 Tensor Core GPUs G5 NVIDIA A10G Tensor Core GPUs

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. シリコンレベルでのイノベーション AWS AWS

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Bedrock Guardrails Agents Customization capabilities Custom Model Import Studio ⽣成 AI スタック

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Bedrock 基盤モデル（FMs）を使⽤して ⽣成 AI アプリケーションを構築し スケールアップする最も簡単な⽅法 • 単⼀の API で利⽤できる主要な基盤 モデルの選択肢 • モデルのカスタマイズ • RAG（検索拡張⽣成） • コーディング不要でエージェントを作成 • セキュリティ、プライバシー、安全性

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 幅広いモデルの選択肢 Amazon 要約、複雑な推論、作⽂、 プログラミング 状況に応じた回答、 要約、⾔い換え ⾼品質の画像や アートの⽣成 テキスト⽣成、検索、 分類 Q&Aと⽂章読解⼒ テキストの要約、⽣成、 Q&A、検索、画像⽣成 Amazon Titan Text Premier Amazon Titan Text Lite Amazon Titan Text Express Amazon Titan Text Embeddings Amazon Titan Text Embeddings V2 Amazon Titan Multimodal Embeddings Amazon Titan Image Generator Claude 3 Opus Claude 3 Sonnet Claude 3 Haiku Claude 2.1 Claude 2 Claude Instant Llama 3 8B Llama 3 70B Llama 2 13B Llama 2 70B Command Command Light Embed English Embed Multilingual Command R+ Command R Stable Diffusion XL1.0 Stable Diffusion XL 0.8 Jurassic-2 Ultra Jurassic-2 Mid Mistral Small Mistral Large Mistral 7B Mistral 8x7B テキスト要約、質問と 回答、テキスト分類、 テキスト補完、 コード⽣成

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 基 盤 モ デ ル 継続事前学習 RAG （検索拡張⽣成） ファイン チューニング Knowledge bases for Amazon Bedrock

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Agents for Amazon Bedrock 企業のシステムやデータソース間で複数 のステップにわたるタスクを実⾏する 数クリックで即座に動く⽣成 AI アプリケーションを実現 企業データに安全にアクセスし データを⾃動的に変換し 正確かつ適切な応答を作成する マルチステップのタスクを分析 調整して API コールを実⾏

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon お客様のデータのセキュリティと プライバシーを保護 お客様のデータは基礎モデルの 学習には使⽤されない カスタマイズに使⽤されるデータは お客様の VPC を通じて安全に転送 すべてのデータは転送中および 保存中に暗号化される データは API が処理される リージョン内に留まる GDPR、SOC、ISO、CSA の コンプライアンスおよび HIPAA の適格性に対応

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Guardrails for Amazon Bedrock お客様のアプリケーション要件と 責任ある AI ポリシーに合わせた 保護対策を実装 複数の基盤モデルと Amazon Bedrock の エージェントに対してガードレールを適⽤ 責任ある AI ポリシーに基づいて有害な コンテンツのフィルタリングを設定 短い⾃然⾔語の説明を⽤いて禁⽌トピック を定義し、使わせないようにする PII などの機密情報やカスタム正規表現を マスキングまたはブロック

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Q Business Amazon Q Developer Amazon Q in QuickSight Amazon Q in Connect Amazon Bedrock Guardrails Agents Customization capabilities Custom Model Import Studio ⽣成 AI スタック

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Q AWS の⽣成 AI を搭載した アシスタントで業務を改⾰ データソース、リポジトリ、 エンタープライズシステムを統合 ユーザーが業務を遂⾏する場所で使⽤可能 業界トップクラスのサポートを提供 ⼀般利⽤可能

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. アプリケーションの計画 コード⽣成 ユニットテスト セキュリティスキャン コード修正・移⾏ トラブルシューティング 開発者知識 BUSINESS USERS DEVELOPERS Amazon Q Business ナレッジ検索 要約 コンテンツ作成 洞察の抽出 調査と分析 Amazon Q in QuickSight データの理解 ビジュアルの構築と改善 計算の作成 エグゼクティブサマリー作成 データストーリーの作成 Amazon Q Developer SPECIALIZED USERS Amazon Q in Connect エージェントアシスト レスポンスと対策の提案 サプライチェーン 実⾏可能なインサイトの提供 コンテキスト連携 需要予測 Amazon Q in AWS Supply Chain Amazon Q で業務改⾰を

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. デ ー タ が あ な た の 差 別 化 要 因 で す Amazon Q: セキュアでプライベートな設計 Amazon Q Developer Pro または Amazon Q Business に登録 当社のモデルを改善のために コンテンツを使⽤することはありません 既存の識別情報、ロール アクセス権限を理解し、尊重 アクセス可能なデータ等を パーソナライズ

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Q Business - Introduction

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. GPUs AWS Inferentia AWS Trainium Amazon SageMaker EC2 Capacity Blocks Neuron UltraClusters EFA Nitro Amazon Q Business Amazon Q Developer Amazon Q in QuickSight Amazon Q in Connect Amazon Bedrock Guardrails Agents Customization capabilities Custom Model Import Studio ⽣成 AI スタック

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 33 Amazon Q Business ⾃社内のビジネスユーザーに対して、登録データソースの情報に基づいた 「⽣成AIとの チャットWebアプリ」を提供 • ビジネスの質問に対して、安全かつ プライベートに迅速で正確かつ 関連性の⾼い回答を提供 • 標準のプラグインやカスタムプラグインを 使って、アクションを実⾏可能 • ユーザーの権限に基づく既存のアクセス制御 を利⽤ • 40以上の⼀般的な企業アプリケーションやド キュメントリポジトリに接続 • 管理者が簡単にガードレールを適⽤して、 応答をカスタマイズおよび制御 • ユーザーが軽量アプリケーションを作成し、 ⾃⾝で⽇々のタスクを効率化 • 現時点では "英語での対話に最適化" AWS管理コンソールとは 異なるWeb UIを提供 ※バージニア北部(us-east-1), オレゴン(us-west-2)リージョンで⼀般利⽤可

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 34 Amazon Q Business - 位置づけ ビルディングブロック (Amazon Bedrock等) を使った開発が不要で、 すぐに⾃社ビジネスユーザーに対して ⽣成AIによる⽀援 を提供 ⾃社内ビジネスユーザーへの ⽣成AI価値の提供⼿段 Amazon Q Business Amazon Bedrock • アプリケーションの開発・デプロイ・保守 が不要 (すぐに使い始められる) • シンプルな料⾦体系 (ユーザー料⾦ & インデックス料⾦) • ⽣成AIの基盤モデルの選択を含め、要件に 応じたアプリケーションの実装が可能 • 利⽤する各種AWSサービスビルディング ブロックの料⾦ ログイン認証/UI を含む "Webアプリケーション" APIで利⽤する "ビルディングブロック" 内部で利⽤

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 35 Amazon Q Business Q Business - アプリケーション 「アプリケーション」に 複数の データソース を登録し、インデックスの 登録ドキュメントに基づく 検索拡張⽣成(RAG)ベースのチャット機能 を提供 チャット 応答 ユーザー データソース (3rd Party SaaS) インデックス アプリケーション (API) データソース (S3バケット等) アプリケーション Q Business Retriever Kendra Retriever or 3rd Party プラグイン アクション ※Q Businessアプリケーション内部では ⼤規模⾔語モデル(LLM) を利⽤するが、そのモデル⾃体は⾮公開

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 36 Q Business - ユーザー管理 (認証) Q Business の アプリケーションUI へは、アカウント毎に IAM Identity Centerインスタンス (組織 or アカウント) と接続して利⽤する IAM Identity Center Amazon Q Business アプリケーション UI ユーザー ① 認証 ② Web UIアクセス 組織インスタンス アカウントインスタンス or リージョン A https://<⾃動⽣成ID>.chat.qbusiness..on.aws/ ※Q Businessアプリケーションは、同⼀リージョンの IAM Identity Center と接続 ※カスタムドメインの利⽤は、前段に CloudFrontディストリビューション を配置し、 その「代替ドメイン」としてカスタムドメイン名と同ドメインACM証明書 を設定することで対応

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 37 Q Business - ユーザー管理 (認証) Q Business アプリケーションのUI ("Web Experience") は、 IAM Identity Center の アクセスポータル または 直接URL指定でアクセス Amazon Q Businessアプリケーション は IAM Identity Center アクセスポータルで 「AWSマネージドアプリ」として登録

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 38 Q Business - ユーザー管理 (パーソナライズ) IAM Identity Center の ユーザープロファイル「ジョブ関連情報」と 「アドレス」の属性を参照し、チャット応答をパーソナライズする機能あり IAM Identity Center ユーザー毎の「プロファイル」 ユーザーA ユーザーB ユーザーC ※Q Businessアプリケーション作成前のプロファイル設定が前提

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 39 Q Business - アプリケーションのインターフェース Q Business アプリケーションは、 ⼤別して以下の2つのインターフェースを利⽤ Q Business アプリケーション へのアクセス カスタムUI 開発 • 組み込みで提供されるUI • Q Business の 基本的な利⽤⽅法 • SDKを利⽤したユーザー独⾃アプリを開発 • 「APIでのみ利⽤可能な機能」も利⽤可能 Web Experience • Chat API • ChatSync API を利⽤したAPIアクセス

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 40 Q Business - Web Experience Q アプリケーションが持つ Web UI を構成可能 → 固有のPublic な DNS名が発⾏され、ユーザーは Webブラウザ でアクセス 管理者は以下の項⽬を設定可能︓ • タイトル • サブタイトル • Welcomeメッセージ • サンプルプロンプトのON/OFF ファイルアップロードボタン と チャット ⼊⼒欄 会話履歴 (最⼤30⽇保持)

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 41 Q Business - Web Experience : Sources 表⽰ 回答のために インデックスに登録されたドキュメントが参照されている場合、 その出典となったドキュメントの情報が Sources セクションに表⽰される インデックスに登録され、回答に参照されたドキュメントは "Sources"ボタンをクリックすることで表⽰される → インデックスされたソースURIがそのまま表⽰されるた め、リンクをクリックして実際にアクセス出来ることは Q Businessアプリケーションとしては担保しない

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 42 Q Business - API (Chat / ChatSync) フロントエンドはユーザーが⾃由に開発し、そのバックエンドとして Q Business API (Chat / ChatSync) を呼び出して利⽤ Amazon Q Business アプリケーション ユーザー アプリケーション AWS SDK ChatSync API Chat API # 主なAPI 説明 1 Chat ストリーミング応答で、1回のやり取りを⾏う (UI向け) 2 ChatSync 同期型応答で、1回のやり取りを⾏う (⾮UI/API向け) APIで「会話ID」を初回に取得し、 ⼀連のチャットセッションは 同じ会話IDをパラメータで 送信することで⾏う ※Q Business APIの呼び出しは、ユーザーアプリケーションが、IAM Identity Centerの認証トークンを利⽤する 構成であることが前提 (ユーザーのSubscription階層を識別する必要があるため)

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 最近のアップデート

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. • Agent との session が終了した後、その要約を memory として保持 • 次回の session では memoryId を指定することで各⼈の好みや過去の会話に沿った応対を実現 44 複 数 の セ ッ シ ョ ン を 跨 い で ユ ー ザ ー ご と の m e m o r y を 共 有 す る こ と で よ り 各 ユ ー ザ ー に パ ー ソ ナ ラ イ ズ さ れ た 対 応 が 可 能 に Agents for Amazon Bedrock – Memory Retention PREVIEW https://aws.amazon.com/jp/blogs/aws/agents-for-amazon-bedrock-now-support-memory-retention-and-code-interpretation-preview/ セッションの要約 (航空券の予約注⽂) セッション #1 セッション #2 私のフライトの⽇の 他の便はある︖ 過去の会話によると LHR→FCO 2024/6/20 6:02pm の便をご予約ですね。 …

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. • 従来の Amazon S3 に加えて、 以下のデータソースを選択可能に § Web Cralwer – クローリングの範囲を URL パターンなどで設定可能 § Confluence § Salesforce § SharePoint 45 複 数 の デ ー タ ソ ー ス を ベ ク ト ル D B に 同 期 し て R A G ア ー キ テ ク チ ャ で ク エ リ 可 能 に KB for Amazon Bedrock – Data connectors PREVIEW *Knowledge Bases https://docs.aws.amazon.com/bedrock/latest/userguide/data-source-connectors.html

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. • Default • Fixed-size • No chunking • Hierarchical chunking NEW § 階層型のチャンク構造をとり、 検索対象は⼦チャンク、検索結果は親チャンクを利⽤する • Semantic chunking NEW § テキスト情報を解釈した区切りでチャンキング • Custom transformation NEW § Lambda 関数によるカスタムアルゴリズム § LangChain や LlamaIndex などのコンポーネントも利⽤可能 46 ⾼ 度 な チ ャ ン キ ン グ を 実 現 で き る 機 能 が 追 加 KB for Amazon Bedrock – ⾼度な RAG 機能 (1/2) *Knowledge Bases GENERALLY AVAILABLE https://docs.aws.amazon.com/bedrock/latest/userguide/kb-chunking-parsing.html

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. • 図表などを LLM で⼀度パースすることで 複雑なデータを解析・抽出して検索性を向上 § Claude 3 Sonnet または Haiku を指定 • データソースごとに設定可能 • パース⽤のプロンプトもカスタマイズ可能 47 表 な ど の デ ー タ の パ ー ス の ⾼ 度 化 オ プ シ ョ ン が 登 場 KB for Amazon Bedrock – ⾼度な RAG 機能 (2/2) *Knowledge Bases GENERALLY AVAILABLE https://docs.aws.amazon.com/bedrock/latest/userguide/kb-chunking-parsing.html

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. • Amazon Aurora や Amazon DynamoDB, Amazon S3 などの AWS サービスや、 Salesforce などの外部サービスをデータソースとして利⽤できる • API コネクタを介してサードパーティサービスと連携も可能 48 ⽣ 成 A I を 活 ⽤ し 、 ⾃ 然 ⾔ 語 に よ っ て 、 複 数 の ペ ー ジ か ら 構 成 さ れ る ユ ー ザ イ ン タ フ ェ ー ス や デ ー タ モ デ ル 、 ビ ジ ネ ス ロ ジ ッ ク を 含 む エ ン タ ー プ ラ イ ズ グ レ ー ド の ア プ リ ケ ー シ ョ ン を 作 成 AWS App Studio PREVIEW https://aws.amazon.com/jp/blogs/machine-learning/fine-tune-anthropics-claude-3-haiku-in-amazon-bedrock-to-boost-model-accuracy-and-quality/

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Thank you!