AWSにおける生成AIと最近のアップデート

© 2024, Amazon Web Services, Inc. or its affiliates. All
rights reserved. AWS における⽣成 AI と最近のアップデート川路義隆アマゾンウェブサービスジャパン合同会社エンタープライズ技術本部ソリューションアーキテクト

rights reserved. 川路義隆アマゾンウェブサービスジャパン合同会社ソリューションアーキテクト @kawaji_scratch ⾃⼰紹介 • ⼩売業のお客様の⽀援 • サーバーレス導⼊⽀援

rights reserved. 実証調査の年⽣成 AI がビジネスにもたらす価値はなんですか︖ 基盤モデルとは何ですか︖ LLM とは何ですか︖ ⽣成 AI とは︖ プロンプトエンジニアになる必要がありますか︖ 安全ですか︖ どうやってモデルを選べば良いですか︖ どこからどうやって始めれられますか︖ どのモデルを試すべきですか?

rights reserved. 実⽤化に向けて⽣成 AI 活⽤プロジェクトをはじめるのにどうやって優先順位をつければ良いですか︖ どうすればもっと速く実践できるか? 実⽤化するためにはどうすればいいですか︖ どうすればコストを削減できますか︖ これをスケールさせるにはどうすればいいですか︖ どのモデルを使うべきですか︖ リスクを管理するにはどうすればいいですか︖ ⾃分でモデルを学習すべきでしょうか︖ どのカスタマイズ⽅法を使⽤すればよいですか?

rights reserved. 会話、ストーリー、画像、動画、⾳楽など新しいコンテンツを創造⽂章やコード・画像の⽣成⽀援などすべての事業部⾨で⽣産性を⼤幅に向上⼤量の⽂書から洞察を得て素早い情報共有により組織のより良い意思決定にお客様や従業員とより⾃然で柔軟なコミュニケーション⽣成 AI がもたらすビジネス価値

rights reserved. カスタマー・エクスペリエンスの向上ビジネスプロセスの最適化チャットボットバーチャルアシスタントパーソナライゼーションインテリジェントなコンタクトセンター会話型のより柔軟な検索コンテンツ作成・要約データから洞察へコード⽣成製品デザインモデリング不正検知予知保全データ増強プロセス最適化 BI ツールへの組み込み業界横断的な⽣成 AI のユースケース

rights reserved. Amazon における顧客レビュー Amazon.com における評価 Rufus 買い物アシスタントのエキスパートとして Amazon 薬局より迅速な処⽅とより親切なサポート

rights reserved. ⽣成 AI アプリケーション

rights reserved. ⽣成 AI アプリケーションデータ基盤

rights reserved. 誰もがアクセス可能な⼀般的な⽣成 AI ⾃社データを活⽤した⾃社のビジネスと顧客を理解する⽣成 AI あなたのデータが差別化の鍵になります

rights reserved. で⽣成 AI を活⽤しましょうお客様のドメインに関する⼀般的で専⾨的な知識ラベルが付けられておらず、構造化されていない企業データ基盤モデルのコピーを変更特定のタスクに関する専⾨知識ラベル付きの例が少ない基礎モデルのコピーを変更迅速な増強による専⾨知識エンタープライズナレッジコーパス基盤モデルに変更はない

rights reserved. よりパーソナルなバーチャルエージェントオンライン旅⾏代理店が、パーソナライズされた旅⾏⽇程を作成したいと考えていますデータ過去の旅⾏ウェブの閲覧履歴旅⾏の好みフライトおよびホテルの在庫プロモーションキャンペーン類似する旅⾏者の旅程

rights reserved. ⽣成 AI アプリケーションのデータ基盤に求められることエンドツーエンドのデータガバナンス機能責任ある AI、アクセス管理データ統合によりデータサイロ化を解消しすべてのデータに簡単に接続構造化データ、⾮構造化データ、ベクターデータを保存し照会する包括的なデータ機能

rights reserved. AWS は、データと AI の導⼊をエンドツーエンドで実現できますエンドツーエンドのガバナンス機能が役⽴ちますデータを活⽤してより迅速に⾏動インテリジェンスを内蔵した最も包括的なデータと AI サービスのセットすべてのデータを統合迅速かつ簡単に接続できるようにゼロ ETL の未来に投資 17年以上にわたるデータと ML の⾰新、そして今も続く進化トレーニング、導⼊⽀援、グローバルパートナーネットワークなど、様々なサービスオンボーディング⽀援データベース、分析、機械学習サービスを利⽤している顧客数が 200 万⼈を超える、実績あるリーダー

rights reserved. ⽣成 AI スタック GPUs AWS Inferentia AWS Trainium Amazon SageMaker EC2 Capacity Blocks Neuron UltraClusters EFA Nitro Amazon Q Business Amazon Q Developer Amazon Q in QuickSight Amazon Q in Connect Amazon Bedrock Guardrails Agents Customization capabilities Custom Model Import Studio

rights reserved. GPUs AWS Inferentia AWS Trainium Amazon SageMaker EC2 Capacity Blocks Neuron UltraClusters EFA Nitro ⽣成 AI スタック

rights reserved. Amazon 基盤モデルを含む機械学習モデルを⼤規模に構築、トレーニング、およびデプロイする最新の公開基盤モデルにアクセス基盤モデルをゼロから構築基盤モデルをカスタマイズ推論から本番運⽤まで FMOps を実装スケーラビリティと信頼性

rights reserved. CG1 NVIDIA Tesla M2050 “Fermi” GPUs G2 NVIDIA GRID GK104 “Kepler” GPUs G3 NVIDIA Tesla M60 GPUs P3 NVIDIA V100 Tensor Core GPUs G4 NVIDIA T4 Tensor Core GPUs G5g NVIDIA T4G Tensor Core GPUs P5 NVIDIA H100 Tensor Core GPUs P2 NVIDIA K80 GPUs P4 NVIDIA A100 Tensor Core GPUs G5 NVIDIA A10G Tensor Core GPUs

rights reserved. シリコンレベルでのイノベーション AWS AWS

rights reserved. Amazon Bedrock Guardrails Agents Customization capabilities Custom Model Import Studio ⽣成 AI スタック

rights reserved. Amazon Bedrock 基盤モデル（FMs）を使⽤して⽣成 AI アプリケーションを構築しスケールアップする最も簡単な⽅法 • 単⼀の API で利⽤できる主要な基盤モデルの選択肢 • モデルのカスタマイズ • RAG（検索拡張⽣成） • コーディング不要でエージェントを作成 • セキュリティ、プライバシー、安全性

rights reserved. 幅広いモデルの選択肢 Amazon 要約、複雑な推論、作⽂、プログラミング状況に応じた回答、要約、⾔い換え⾼品質の画像やアートの⽣成テキスト⽣成、検索、分類 Q&Aと⽂章読解⼒テキストの要約、⽣成、 Q&A、検索、画像⽣成 Amazon Titan Text Premier Amazon Titan Text Lite Amazon Titan Text Express Amazon Titan Text Embeddings Amazon Titan Text Embeddings V2 Amazon Titan Multimodal Embeddings Amazon Titan Image Generator Claude 3 Opus Claude 3 Sonnet Claude 3 Haiku Claude 2.1 Claude 2 Claude Instant Llama 3 8B Llama 3 70B Llama 2 13B Llama 2 70B Command Command Light Embed English Embed Multilingual Command R+ Command R Stable Diffusion XL1.0 Stable Diffusion XL 0.8 Jurassic-2 Ultra Jurassic-2 Mid Mistral Small Mistral Large Mistral 7B Mistral 8x7B テキスト要約、質問と回答、テキスト分類、テキスト補完、コード⽣成

rights reserved. 基盤モデル継続事前学習 RAG （検索拡張⽣成）ファインチューニング Knowledge bases for Amazon Bedrock

rights reserved. Agents for Amazon Bedrock 企業のシステムやデータソース間で複数のステップにわたるタスクを実⾏する数クリックで即座に動く⽣成 AI アプリケーションを実現企業データに安全にアクセスしデータを⾃動的に変換し正確かつ適切な応答を作成するマルチステップのタスクを分析調整して API コールを実⾏

rights reserved. Amazon お客様のデータのセキュリティとプライバシーを保護お客様のデータは基礎モデルの学習には使⽤されないカスタマイズに使⽤されるデータはお客様の VPC を通じて安全に転送すべてのデータは転送中および保存中に暗号化されるデータは API が処理されるリージョン内に留まる GDPR、SOC、ISO、CSA のコンプライアンスおよび HIPAA の適格性に対応

rights reserved. Guardrails for Amazon Bedrock お客様のアプリケーション要件と責任ある AI ポリシーに合わせた保護対策を実装複数の基盤モデルと Amazon Bedrock のエージェントに対してガードレールを適⽤責任ある AI ポリシーに基づいて有害なコンテンツのフィルタリングを設定短い⾃然⾔語の説明を⽤いて禁⽌トピックを定義し、使わせないようにする PII などの機密情報やカスタム正規表現をマスキングまたはブロック

rights reserved. Amazon Q Business Amazon Q Developer Amazon Q in QuickSight Amazon Q in Connect Amazon Bedrock Guardrails Agents Customization capabilities Custom Model Import Studio ⽣成 AI スタック

rights reserved. Amazon Q AWS の⽣成 AI を搭載したアシスタントで業務を改⾰データソース、リポジトリ、エンタープライズシステムを統合ユーザーが業務を遂⾏する場所で使⽤可能業界トップクラスのサポートを提供⼀般利⽤可能

rights reserved. アプリケーションの計画コード⽣成ユニットテストセキュリティスキャンコード修正・移⾏トラブルシューティング開発者知識 BUSINESS USERS DEVELOPERS Amazon Q Business ナレッジ検索要約コンテンツ作成洞察の抽出調査と分析 Amazon Q in QuickSight データの理解ビジュアルの構築と改善計算の作成エグゼクティブサマリー作成データストーリーの作成 Amazon Q Developer SPECIALIZED USERS Amazon Q in Connect エージェントアシストレスポンスと対策の提案サプライチェーン実⾏可能なインサイトの提供コンテキスト連携需要予測 Amazon Q in AWS Supply Chain Amazon Q で業務改⾰を

rights reserved. データがあなたの差別化要因です Amazon Q: セキュアでプライベートな設計 Amazon Q Developer Pro または Amazon Q Business に登録当社のモデルを改善のためにコンテンツを使⽤することはありません既存の識別情報、ロールアクセス権限を理解し、尊重アクセス可能なデータ等をパーソナライズ

rights reserved. Amazon Q Business - Introduction

rights reserved. GPUs AWS Inferentia AWS Trainium Amazon SageMaker EC2 Capacity Blocks Neuron UltraClusters EFA Nitro Amazon Q Business Amazon Q Developer Amazon Q in QuickSight Amazon Q in Connect Amazon Bedrock Guardrails Agents Customization capabilities Custom Model Import Studio ⽣成 AI スタック

rights reserved. 33 Amazon Q Business ⾃社内のビジネスユーザーに対して、登録データソースの情報に基づいた「⽣成AIとのチャットWebアプリ」を提供 • ビジネスの質問に対して、安全かつプライベートに迅速で正確かつ関連性の⾼い回答を提供 • 標準のプラグインやカスタムプラグインを使って、アクションを実⾏可能 • ユーザーの権限に基づく既存のアクセス制御を利⽤ • 40以上の⼀般的な企業アプリケーションやドキュメントリポジトリに接続 • 管理者が簡単にガードレールを適⽤して、応答をカスタマイズおよび制御 • ユーザーが軽量アプリケーションを作成し、⾃⾝で⽇々のタスクを効率化 • 現時点では "英語での対話に最適化" AWS管理コンソールとは異なるWeb UIを提供 ※バージニア北部(us-east-1), オレゴン(us-west-2)リージョンで⼀般利⽤可

rights reserved. 34 Amazon Q Business - 位置づけビルディングブロック (Amazon Bedrock等) を使った開発が不要で、すぐに⾃社ビジネスユーザーに対して⽣成AIによる⽀援を提供⾃社内ビジネスユーザーへの⽣成AI価値の提供⼿段 Amazon Q Business Amazon Bedrock • アプリケーションの開発・デプロイ・保守が不要 (すぐに使い始められる) • シンプルな料⾦体系 (ユーザー料⾦ & インデックス料⾦) • ⽣成AIの基盤モデルの選択を含め、要件に応じたアプリケーションの実装が可能 • 利⽤する各種AWSサービスビルディングブロックの料⾦ログイン認証/UI を含む "Webアプリケーション" APIで利⽤する "ビルディングブロック" 内部で利⽤

rights reserved. 35 Amazon Q Business Q Business - アプリケーション「アプリケーション」に複数のデータソースを登録し、インデックスの登録ドキュメントに基づく検索拡張⽣成(RAG)ベースのチャット機能を提供チャット応答ユーザーデータソース (3rd Party SaaS) インデックスアプリケーション (API) データソース (S3バケット等) アプリケーション Q Business Retriever Kendra Retriever or 3rd Party プラグインアクション ※Q Businessアプリケーション内部では⼤規模⾔語モデル(LLM) を利⽤するが、そのモデル⾃体は⾮公開

rights reserved. 36 Q Business - ユーザー管理 (認証) Q Business のアプリケーションUI へは、アカウント毎に IAM Identity Centerインスタンス (組織 or アカウント) と接続して利⽤する IAM Identity Center Amazon Q Business アプリケーション UI ユーザー ① 認証 ② Web UIアクセス組織インスタンスアカウントインスタンス or リージョン A https://<⾃動⽣成ID>.chat.qbusiness.<region>.on.aws/ ※Q Businessアプリケーションは、同⼀リージョンの IAM Identity Center と接続 ※カスタムドメインの利⽤は、前段に CloudFrontディストリビューションを配置し、その「代替ドメイン」としてカスタムドメイン名と同ドメインACM証明書を設定することで対応

rights reserved. 37 Q Business - ユーザー管理 (認証) Q Business アプリケーションのUI ("Web Experience") は、 IAM Identity Center のアクセスポータルまたは直接URL指定でアクセス Amazon Q Businessアプリケーションは IAM Identity Center アクセスポータルで「AWSマネージドアプリ」として登録

rights reserved. 38 Q Business - ユーザー管理 (パーソナライズ) IAM Identity Center のユーザープロファイル「ジョブ関連情報」と「アドレス」の属性を参照し、チャット応答をパーソナライズする機能あり IAM Identity Center ユーザー毎の「プロファイル」ユーザーA ユーザーB ユーザーC ※Q Businessアプリケーション作成前のプロファイル設定が前提

rights reserved. 39 Q Business - アプリケーションのインターフェース Q Business アプリケーションは、⼤別して以下の2つのインターフェースを利⽤ Q Business アプリケーションへのアクセスカスタムUI 開発 • 組み込みで提供されるUI • Q Business の基本的な利⽤⽅法 • SDKを利⽤したユーザー独⾃アプリを開発 • 「APIでのみ利⽤可能な機能」も利⽤可能 Web Experience • Chat API • ChatSync API を利⽤したAPIアクセス

rights reserved. 40 Q Business - Web Experience Q アプリケーションが持つ Web UI を構成可能 → 固有のPublic な DNS名が発⾏され、ユーザーは Webブラウザでアクセス管理者は以下の項⽬を設定可能︓ • タイトル • サブタイトル • Welcomeメッセージ • サンプルプロンプトのON/OFF ファイルアップロードボタンとチャット⼊⼒欄会話履歴 (最⼤30⽇保持)

rights reserved. 41 Q Business - Web Experience : Sources 表⽰回答のためにインデックスに登録されたドキュメントが参照されている場合、その出典となったドキュメントの情報が Sources セクションに表⽰されるインデックスに登録され、回答に参照されたドキュメントは "Sources"ボタンをクリックすることで表⽰される → インデックスされたソースURIがそのまま表⽰されるため、リンクをクリックして実際にアクセス出来ることは Q Businessアプリケーションとしては担保しない

rights reserved. 42 Q Business - API (Chat / ChatSync) フロントエンドはユーザーが⾃由に開発し、そのバックエンドとして Q Business API (Chat / ChatSync) を呼び出して利⽤ Amazon Q Business アプリケーションユーザーアプリケーション AWS SDK ChatSync API Chat API # 主なAPI 説明 1 Chat ストリーミング応答で、1回のやり取りを⾏う (UI向け) 2 ChatSync 同期型応答で、1回のやり取りを⾏う (⾮UI/API向け) APIで「会話ID」を初回に取得し、⼀連のチャットセッションは同じ会話IDをパラメータで送信することで⾏う ※Q Business APIの呼び出しは、ユーザーアプリケーションが、IAM Identity Centerの認証トークンを利⽤する構成であることが前提 (ユーザーのSubscription階層を識別する必要があるため)

rights reserved. 最近のアップデート

rights reserved. • Agent との session が終了した後、その要約を memory として保持 • 次回の session では memoryId を指定することで各⼈の好みや過去の会話に沿った応対を実現 44 複数のセッションを跨いでユーザーごとの m e m o r y を共有することでより各ユーザーにパーソナライズされた対応が可能に Agents for Amazon Bedrock – Memory Retention PREVIEW https://aws.amazon.com/jp/blogs/aws/agents-for-amazon-bedrock-now-support-memory-retention-and-code-interpretation-preview/ セッションの要約 (航空券の予約注⽂) セッション #1 セッション #2 私のフライトの⽇の他の便はある︖ 過去の会話によると LHR→FCO 2024/6/20 6:02pm の便をご予約ですね。 …

rights reserved. • 従来の Amazon S3 に加えて、以下のデータソースを選択可能に § Web Cralwer – クローリングの範囲を URL パターンなどで設定可能 § Confluence § Salesforce § SharePoint 45 複数のデータソースをベクトル D B に同期して R A G アーキテクチャでクエリ可能に KB for Amazon Bedrock – Data connectors PREVIEW *Knowledge Bases https://docs.aws.amazon.com/bedrock/latest/userguide/data-source-connectors.html

rights reserved. • Default • Fixed-size • No chunking • Hierarchical chunking NEW § 階層型のチャンク構造をとり、検索対象は⼦チャンク、検索結果は親チャンクを利⽤する • Semantic chunking NEW § テキスト情報を解釈した区切りでチャンキング • Custom transformation NEW § Lambda 関数によるカスタムアルゴリズム § LangChain や LlamaIndex などのコンポーネントも利⽤可能 46 ⾼度なチャンキングを実現できる機能が追加 KB for Amazon Bedrock – ⾼度な RAG 機能 (1/2) *Knowledge Bases GENERALLY AVAILABLE https://docs.aws.amazon.com/bedrock/latest/userguide/kb-chunking-parsing.html

rights reserved. • 図表などを LLM で⼀度パースすることで複雑なデータを解析・抽出して検索性を向上 § Claude 3 Sonnet または Haiku を指定 • データソースごとに設定可能 • パース⽤のプロンプトもカスタマイズ可能 47 表などのデータのパースの⾼度化オプションが登場 KB for Amazon Bedrock – ⾼度な RAG 機能 (2/2) *Knowledge Bases GENERALLY AVAILABLE https://docs.aws.amazon.com/bedrock/latest/userguide/kb-chunking-parsing.html

rights reserved. • Amazon Aurora や Amazon DynamoDB, Amazon S3 などの AWS サービスや、 Salesforce などの外部サービスをデータソースとして利⽤できる • API コネクタを介してサードパーティサービスと連携も可能 48 ⽣成 A I を活⽤し、⾃然⾔語によって、複数のページから構成されるユーザインタフェースやデータモデル、ビジネスロジックを含むエンタープライズグレードのアプリケーションを作成 AWS App Studio PREVIEW https://aws.amazon.com/jp/blogs/machine-learning/fine-tune-anthropics-claude-3-haiku-in-amazon-bedrock-to-boost-model-accuracy-and-quality/

rights reserved. Thank you!

AWSにおける生成AIと最近のアップデート

AWSにおける生成AIと最近のアップデート

More Decks by kawaji

Other Decks in Technology

Featured

Transcript