20240713 Generative AI with AWS

Slide 1

Slide 1 text

© 2024, Amazon Web Services, Inc. or its affiliates. © 2024, Amazon Web Services, Inc. or its affiliates. Generative AI with AWS - AWS で実現する⽣成 AI - Yoshinori Fujiwara Sr. Solutions Architect Amazon Web Services Japan G.K. 2 0 2 4 / 7/ 1 3 JAW S - U G O k a ya m a 2 0 2 4

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

© 2024, Amazon Web Services, Inc. or its affiliates. 6 ⽣成 AI を実現する仕組み - 基盤モデル⽣成 AI は「基盤モデル」と呼ばれる「膨⼤なデータに基づき事前にトレーニングされた⼤規模な機械学習モデル」によって実現テキスト⽣成要約情報抽出 Q&A チャットボット利⽤タスクラベル付けされていないデータ (教師なしデータ) 基盤モデル (FM) テキスト⽣成要約情報抽出 Q&A チャットボット学習利⽤タスク MLモデル … … … … ラベル付きデータ … … … … 事前学習

Slide 7

Slide 7 text

© 2024, Amazon Web Services, Inc. or its affiliates. 7 ⽣成 AI (Generative AI) とはテキスト⽣成商品説明⽂の⽣成画像⽣成商品画像の背景⽣成会話、ストーリー、画像、動画、⾳楽など、指⽰に沿い⾼精度なコンテンツを⽣成可能なモデルやモデル込みのアプリケーション⼀般に基盤モデルと呼ばれる、膨⼤なデータに基づいて事前にトレーニングされた⼤規模モデルを利⽤指⽰︓ プロのカメラマンが撮影した商品画像、⼤理⽯のテーブルの上に、たくさんの果物が乗っている、背景は少しボケている

Slide 8

Slide 8 text

© 2024, Amazon Web Services, Inc. or its affiliates. 8 ⽣成 AI (Generative AI) とはテキスト⽣成商品説明⽂の⽣成画像⽣成商品画像の背景⽣成会話、ストーリー、画像、動画、⾳楽など、指⽰に沿い⾼精度なコンテンツを⽣成可能なモデルやモデル込みのアプリケーション⼀般に基盤モデルと呼ばれる、膨⼤なデータに基づいて事前にトレーニングされた⼤規模モデルを利⽤指⽰︓ プロのカメラマンが撮影した商品画像、⼤理⽯のテーブルの上に、たくさんの果物が乗っている、背景は少しボケているカスタマイズ要素 • 役割やシチュエーションを補⾜ E.g. あなたは、デジタルマーケティングの専⾨家です。 • 望ましい回答を例⽰ • ⾃社データ等を事前情報として埋め込む(RAG) カスタマイズ要素 • 現れてはいけない項⽬の指定 • 元画像の特定要素や領域のみ指定簡単な指⽰（プロンプト）で多様なタスクを解かせることができる ⇒プロンプトの⼯夫にてカスタマイズや精度向上が可能

Slide 9

Slide 9 text

© 2024, Amazon Web Services, Inc. or its affiliates. 9 ⽣成 AI サービスやツール GPUs Inferentia Trainium SageMaker EC2 Capacity Blocks Neuron UltraClusters EFA Nitro Amazon Bedrock Agents Guardrails Customization Capabilities Amazon Q Business Amazon Q Developer Amazon Q in QuickSight Amazon Q in Connect

Slide 10

Slide 10 text

© 2024, Amazon Web Services, Inc. or its affiliates. 10 ⽣成 AI 活⽤をはじめる上での難しさ⽣成 AI の進化への追従プライバシーとセキュリティインフラストラクチャ複数のモデルを簡単に利⽤できる環境の構築データ漏洩の防⽌、国内にデータを留めたい … … モデル A モデル B … モデル C … モデルの実⾏を⽀えるインフラの管理 “… ? “ “… 。“ in 海外 in ⽇本必要なこと • 各モデルごとの環境構築と機械学習の知識 • モデルのデプロイやカスタマイズのための⼤規模な計算リソース • インフラの維持管理 • 柔軟なスケーリング • … v1 v2 v3 v1 v1 Lite パラメータ ○ B パラメータ △△ B モデルモデルモデルモデル

Slide 11

Slide 11 text

© 2024, Amazon Web Services, Inc. or its affiliates. 11 ⽣成 AI サービスやツール GPUs Inferentia Trainium SageMaker EC2 Capacity Blocks Neuron UltraClusters EFA Nitro Amazon Bedrock Agents Guardrails Customization Capabilities Amazon Q Business Amazon Q Developer Amazon Q in QuickSight Amazon Q in Connect

Slide 12

Slide 12 text

Slide 13

Slide 13 text

© 2024, Amazon Web Services, Inc. or its affiliates. 13 基盤モデルを活⽤した⽣成 AI アプリケーションを簡単に構築、拡張できる⽅法 Amazon Bedrock API を介してさまざまな基盤モデルにアクセス、インフラ管理は不要お客様の業務⽤途に適した基盤モデルを選択 Amazon、AI21 Labs、 Anthropic、Cohere、Meta、Stability AI 東京リージョン含む複数のリージョンで⼀般提供 ( 2024 年 7 ⽉時点) エージェント機能、RAG 機能、⾮公開でのモデルのカスタマイズなど基盤モデルの効果を⾼めるさまざまな機能を提供データセキュリティやコンプライアンスを実現

Slide 14

Slide 14 text

© 2024, Amazon Web Services, Inc. or its affiliates. 14 幅広いモデルの選択肢を提供 - 将来のモデル変更への柔軟性確保 Amazon 要約、複雑な推測、⽂書作成、コーディング⽂脈に応じた回答、要約、書き換え⾼品質な画像、アートテキスト⽣成、検索、分類 Q&A、読解⽂書要約、⽣成、 Q&A、検索、画像⽣成 Amazon Titan Text Lite Amazon Titan Text Express Amazon Titan Text Embeddings Amazon Titan Text Embeddings V2 Amazon Titan Text Premier Amazon Titan Multimodal Embeddings Amazon Titan Image Generator Claude 3.5 Sonnet Claude 3 Opus Claude 3 Sonnet Claude 3 Haiku Claude 2.1 Claude 2 Claude Instant Llama 3 8B Llama 3 70B Llama 2 13B Llama 2 70B Command Command Light Embed English Embed Multilingual Command R+ Command R Stable Diffusion XL1.0 Stable Diffusion XL 0.8 Jurassic-2 Ultra Jurassic-2 Mid Mistral Large Mistral 7B Mistral Small Mixtral 8x7B テキスト要約、Q&A、テキスト分類、テキスト補完、コード⽣成

Slide 15

Slide 15 text

© 2024, Amazon Web Services, Inc. or its affiliates. 15 検索拡張⽣成 Retrieval augmented generation (RAG) 回答を企業データに限定しモデルのハルシネーション (誤った発⾔) を軽減ナレッジベースから取得した情報にはソースの情報が付随され、回答の透明性を確保回答質問ナレッジベース基盤モデル⾃社の商品やサービスに関する正確な情報を参照 1 2 3 4 ナレッジベースとしての Amazon Bedrock

Slide 16

Slide 16 text

© 2024, Amazon Web Services, Inc. or its affiliates. 16 ファインチューニングでビジネスの差別化を俊敏かつ安全に実現 Meta—Llama 広告製品情報プログラム⽣成されたコンテンツファインチューンモデル Amazon Bedrock ラベル付されたサンプル Amazon S3 Copy Meta—Llama 基盤モデル少量のラベル付けされたサンプルを使って特定のタスクに精度の⾼い推論を実現

Slide 17

Slide 17 text

© 2024, Amazon Web Services, Inc. or its affiliates. 17 Guardrails for Amazon Bedrock アプリケーション要件と責任ある AI ポリシーに合わせた保護⼿段を実装するファインチューニングモデルやエージェントを含め、すべての基盤モデルにガードレールを適⽤責任ある AI ポリシーに基づいて、有害なコンテンツやトピックをフィルタリングして回避するように設定個⼈を特定できる情報 (PII) やカスタム正規表現をブロックまたはマスク

Slide 18

Slide 18 text

© 2024, Amazon Web Services, Inc. or its affiliates. 18 AWS Cloud Amazon Bedrock を介した⽣成 AI 搭載アプリケーションの構造ユーザーアプリ or システム Amazon Bedrock Amazon Bedrock で選べる基盤モデルアプリを操作アプリが Bedrockの APIを呼び出しモデルごとに求められる⽅法で呼び出し Converse API

Slide 19

Slide 19 text

© 2024, Amazon Web Services, Inc. or its affiliates. 19 AWS Cloud Amazon Bedrock を介した⽣成 AI 搭載アプリケーションの構造ユーザーアプリ or システム Amazon Bedrock で選べる基盤モデルアプリを操作モデルごとに求められる⽅法で呼び出し Guardrails for Amazon Bedrockが⼊出⼒を評価・フィルタ Converse API Amazon Bedrock

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

© 2024, Amazon Web Services, Inc. or its affiliates. 26 Amazon CloudFront クライアント Lambda 関数 URL 1. リクエスト Amazon Bedrock 4. コマンドの指示 5. レスポンス 6. ストリーミングレスポンス AWS WAF Amazon S3 Origin Access Control (OAC) Amazon S3 (Transfer Acceleration) Lambda 関数 URL 2. S3 署名付 URL 3. S3 ダイレクトアップロード OAC OAC Amazon CloudFront + AWS Lambda 関数 URL feat. “⽣成 AI”