Slide 1

Slide 1 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⽣成 AI ユースケースを考え倒すための Generative AI Use Cases JP (GenU) の魅⼒と使い⽅ 岡本 晋太朗 アマゾン ウェブ サービス ジャパン合同会社 Solutions Architect AWS Expert Online for JAWS-UG #33

Slide 2

Slide 2 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⾃⼰紹介 名前︓岡本 晋太朗 (おかもと しんたろう) 所属︓ アマゾン ウェブ サービス ジャパン合同会社 技術統括本部 ソリューションアーキテクト 経歴︓ プラント計装エンジニアおよび、⼯場向けのデジタルツイン プラットフォーム構築を経て AWS ジャパンにて 主に製造業のお客様のクラウド活⽤をご⽀援。最近は⽣成 AI 成分多め 好きなAWSサービス︓ ノーコードで 200 以上の AWS サービスを連携できる AWS Step Functions

Slide 3

Slide 3 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⽣成 AI とは︖

Slide 4

Slide 4 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. BLOOM Generative AI (⽣成 AI) とは ? • 会話、ストーリー、画像、動画、⾳楽など、新しいコンテンツやアイデアを 創造 • ⼀般に基盤モデル (FM: Foundation Model) と呼ばれる膨⼤なデータに基づい て事前にトレーニングされた⼤規模モデルを搭載

Slide 5

Slide 5 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. の転換点 膨⼤なデータ拡散 機械学習による イノベーション 計算能⼒の ⾶躍的向上

Slide 6

Slide 6 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⽣成 AI の技術的位置づけ ⼈⼯知能 (Artificial Intelligence, AI) ⼈間の知的判断をコンピュータ上で実現するための技術全般 (ロジック、if-then ⽂、機械学習(深層学習を含む)) 機械学習 (Machine Learning, ML) AI の⼀種であり、知的モデルを構築するためにデータの中の傾向を 学習する技術 深層学習 (Deep Learning, DL) ML の⼀種であり、⾳声・画像認識などのタスクを深い複数レイヤー 構造のニューラルネットワークで実現する技術 ⽣成 AI (Generative AI) テラバイト規模のデータで学習させた数⼗億以上のパラメーター を持つ”基盤モデル”により 追加学習なしに ⾼精度のコンテンツ ⽣成を実現する技術

Slide 7

Slide 7 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⽣成 AI - 基盤モデル (Foundation Model) 「基盤モデル」は、従来の AI/ML モデルと何が異なるか? → 「⼀定の汎⽤さ」がありその範囲内ではゼロから学習させる必要性がない テキスト⽣成 要約 情報抽出 Q&A チャットボット 利⽤ タスク ラベル付け されていない データ (教師なし データ) 基盤モデル (FM) テキスト⽣成 要約 情報抽出 Q&A チャットボット 学習 利⽤ タスク MLモデル … … … … ラベル付き データ … … … … 事前学習

Slide 8

Slide 8 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⽣成 AI - なぜ注⽬される? 基盤モデル (Foundation Model) と呼ばれる 「膨⼤なデータに基づき事前にトレーニングされた⼤規模な機械学習モデル」によって実現 会話・ストーリー・画像/動画 など 新しいコンテンツやアイデアを創造、 あるいは ⼈の能⼒拡張や作業⽀援 を従来と異なる⼿軽さで実現 追加学習を 多くの場合で 必要としない 簡単な指⽰(プロンプト)で 多様なタスクを 解かせることができる

Slide 9

Slide 9 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Bedrock とは︖

Slide 10

Slide 10 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 3. 基盤モデルを活⽤するアプリケーション Amazon Q Amazon Q in Amazon QuickSight Amazon Q in Amazon Connect Amazon Q Developer - in-line code suggestions 2. 基盤モデルを活⽤してアプリケーション を構築するツール群 Amazon Bedrock ガードレール エージェント カスタマイズ機能 1. 基盤モデルの学習と推論のための基盤 GPUs Trainium Inferentia SageMaker Ultra Clusters EFA EC2 Capacity Blocks Nitro Neuron AWS の⽣成 AI スタック

Slide 11

Slide 11 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 3. 基盤モデルを活⽤するアプリケーション Amazon Q Amazon Q in Amazon QuickSight Amazon Q in Amazon Connect Amazon Q Developer - in-line code suggestions 2. 基盤モデルを活⽤してアプリケーション を構築するツール群 Amazon Bedrock ガードレール エージェント カスタマイズ機能 1. 基盤モデルの学習と推論のための基盤 GPUs Tranium Inferencia SageMaker Ultra Clusters EFA EC2 Capacity Blocks Nitro Neuron AWS の⽣成 AI スタック

Slide 12

Slide 12 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Bedrock サーバーレスの API サービスを 介して、基盤モデルを活⽤した ⽣成 AI アプリケーションの 構構を⽀援 東京リージョンで利⽤可能 データセキュリティやコンプライ アンスを実現 Agents 機能、RAG 機能、モデル カスタマイズなど基盤モデルの効 果を⾼めるさまざまな機能を提供 厳選された基盤モデルから業務に 最適な基盤モデルを選択・活⽤ API を介してすぐに⽣成 AI を利 ⽤開始、インフラ管理は不要

Slide 13

Slide 13 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 幅広い基盤モデルの選択肢をご提供 Amazon Bedrock ※ 2024 年に発表あるいは⼀般提供開始 COMMAND R & EMBED Command R+ Command R Command Command Light テキスト 埋め込み Embed - Multilingual Embed - English LLAMA 3 テキスト Llama 3 70B Llama 3 8B Llama 2 70B Llama 2 13B Stable Diffusion 画像 SDXL 1.0 AMAZON TITAN Titan Multimodal Embeddings Titan Text Embeddings V2 Titan Text Embeddings テキスト Titan Text Premier Titan Text Express Titan Text Lite 埋め込み 画像 Titan Image Generator JURASSIC Jurassic-2 Ultra Jurassic-2 Mid テキスト Mistral AI MISTRAL & MIXTRAL テキスト Mistral Large Mistral 7B Mixtral 8X7B CLAUDE 3 Claude 3 Opus Claude 3 Sonnet Claude 3 Haiku Claude 2.1 Claude 2.0 Claude Instant テキスト テキスト & ビジョン

Slide 14

Slide 14 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Bedrock における Claude 3 family ⽤途に合わせて、知能、スピード、コストの組み合わせを選択できる Claude 3 Opus Claude 3 Sonnet Claude 3 Haiku ユース ケース 最も知性が高く、 最高のパフォーマンス 知能、スピード、 コストのバランスが とれたモデル 最も低コストで 最速のパフォーマンス コンテキ スト長 200K 200K 200K ビジョン 対応 コスト (1000 Token あたり) $0.015 $0.075 $0.003 $0.015 $0.00025 $0.00125 Input: Output: マルチモーダル (画像⼊⼒)に対応 Anthropic によるベンチマーク結果 https://www.anthropic.com/ news/claude-3-family

Slide 15

Slide 15 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Meta Llama 3 (70B および 8B) Llama 3 は、開発者、研究者、企 業の⽅々が、⽣成 AI のアイデア を構築、実験、責任を持って拡張 するために設計されています 1. 世代を重ねるごとに、Llama 3 は幅広い業界 ベンチマークで最先端のパフォーマンスを発 揮し、推論能⼒の向上など新しい機能を提供 しています 2. Llama 3 70B: コンテンツ作成、会話型 AI、⾔語理解、 研究開発、および企業アプリケーションに 最適です 3. Llama 3 8B: コスト・レスポンス時間・⽣成精度のバラン スをとりながらタスクを解く必要がある場合 に最適です

Slide 16

Slide 16 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Cohere Command R+ および Command R 1. Command R+: Cohere の最も強⼒な⽣成⾔語モデルです。 RAG やマルチステップツールなど、⻑いコン テキストのタスクに最適化されています。 2. Command R: RAG やツール、⼤規模な実稼働ワークロード などの⻑⽂タスクに最適化された⽣成⾔語モ デルです。 3. これらのモデルは、⾼い精度と効率性を両⽴ し、企業が概念実証を超えて、⽇々の業務に AI を活⽤できるよう⽀援します。 Cohere を使って、エンタープラ イズ向けの⽣成 AI 製品や ⾼度な多⾔語アプリケーション を構築しましょう

Slide 17

Slide 17 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Titan Image Generator の⽣成例 Prompt: close up of a bird face with vivid rainbow feathers Amazon による⽣成 AI モデル

Slide 18

Slide 18 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⽣成 AI の企業利⽤を可能にする Amazon Bedrock のデータプライバシー • Amazon Bedrock への通信はすべて暗号化され、ご要件に応じて閉域接 続経由で利⽤できます。 • Amazon Bedrock は、サービスログにユーザーデータを保存しません。 • Amazon Bedrock は、ユーザーの⼊⼒やそれに基づいたモデルの出⼒に ついて、モデルの訓練への利⽤や第三者への配布を⾏いません。 • モデルプロバイダーは、ユーザーデータにアクセスできません。 • Amazon Bedrock は、複数の⾃動化された不正利⽤検出メカニズムを備 えます。不正検出プロセスには⼈間が介在しません。また、AWS がユー ザーデータを保存または第三者へ提供することはありません。

Slide 19

Slide 19 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 実⾏ログの取得機能 (Model Invocation Logging) • Bedrock へのリクエスト原⽂、⽇時などを CloudWatch または S3 に⾃動記録可能 • マネジメントコンソールで Bedrock から機能を有効化するだけで使⽤開始

Slide 20

Slide 20 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⽣成 AI ユースケースを考え倒すための Generative AI Use Cases JP (GenU)

Slide 21

Slide 21 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⽣成 AI 活⽤を成功させるための 3 つのステップ Biz Dev ML ⽣成 AI による成⻑サイクルを設計する インパクトがあり実現・実装可能なユースケースを選ぶ 迅速に顧客体験を検証する マネージドサービスを活⽤し⼩さく多く実験する 顧客から得られたフィードバックで体験を改善する より良い体験をよりコスト効率よいモデルで提供する

Slide 22

Slide 22 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⽣成 AI 活⽤を成功させるための 3 つのステップ Biz Dev ML ⽣成 AI による成⻑サイクルを設計する インパクトがあり実現・実装可能なユースケースを選ぶ 迅速に顧客体験を検証する マネージドサービスを活⽤し⼩さく多く実験する 顧客から得られたフィードバックで体験を改善する より良い体験をよりコスト効率よいモデルで提供する 各ステップを⾼速に進めていくには︖

Slide 23

Slide 23 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⽣成 AI を始めるにあたっての課題 チャット以外 のユースケースの 検討・実装⽅法 利⽤状況 をモニタリング セキュリティ

Slide 24

Slide 24 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS 知識不要ですぐに利⽤開始 最短わずか 10 分でデプロイ完了 Generative AI Use Cases JP (略称︓GenU) すぐに業務活⽤できる ビジネスユースケース集付きの 安全な⽣成 AI アプリ実装 https://github.com/aws-samples/generative-ai-use-cases-jp OSS として無償提供中 インフラは使った分だけの従量課⾦ スモールスタートで⽣成 AI を活⽤ エンタープライズユースも可能 豊富なセキュリティ・統制機能 最新の⽇本語対応⽣成 AI モデルに対応 ⽐較検証で最適なモデルを選定 様々なビジネスユースケースを標準搭載 触りながらアイディアを発⾒ 独⾃のアイディアをすぐに形に ⾼いカスタマイズ性で⾼速に実証を完了

Slide 25

Slide 25 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 開発の経緯 お客様との机上の議論だけでは、⽣成 AI で何がで きるのかなかなか伝わらない・・・ ⽣成 AI の代表的ユースケースを、お客様に簡単に お試しいただけるアセットを作ってみましょう︕ お客様担当 プロトタイプエンジニア その後、様々な要望を取り⼊れ 「すぐに業務活⽤できるユースケース集付き⽣成 AI アプリ実装」に進化

Slide 26

Slide 26 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. アーキテクチャ 基本部分はフルサーバーレス + 様々なオプションをデプロイ可能

Slide 27

Slide 27 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 継続的なアップデート 0 50 100 150 200 250 300 0 5 10 15 20 25 2023/08/20 2023/09/20 2023/10/20 2023/11/20 2023/12/20 2024/01/20 2024/02/20 2024/03/20 2024/04/20 GenU / PR 数推移 PR 数 累計

Slide 28

Slide 28 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 継続的なアップデート 0 50 100 150 200 250 300 0 5 10 15 20 25 2023/08/20 2023/09/20 2023/10/20 2023/11/20 2023/12/20 2024/01/20 2024/02/20 2024/03/20 2024/04/20 GenU / PR 数推移 PR 数 累計 Claude 3 Sonnet (日本時間 3 月 5 日登場) のビジョン 機能に 1 日で対応し、その後も迅速に機能拡充 機能アップデート・モデル追加が相次ぐ AWS の生成 AI サービスに継続的に対応中

Slide 29

Slide 29 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 料⾦試算例 - サーバーレスで⼩さく始めやすい サービス 料⾦ (USD) Amazon Bedrock 8.25 Amazon CloudFront 0.15 Amazon S3 0 Amazon API Gateway 0.06 Amazon Cognito 0.28 AWS Lambda 0.64 Amazon DynamoDB 2.92 Amazon Transcribe 7.2 合計 19.5 前提条件︓Claude3 Haiku 利⽤ 50 名で 1 ⼈あたり 1 ⽇ 10 回 1 ⽉あたり 22 ⽇利⽤ モデル以外はデフォルト設定 (RAGは無効化) でデプロイ 参考資料: https://aws.amazon.com/jp/cdp/ai-chatapp/ 使ったぶんだけの従量課⾦ それなりに使い倒しても 1 ⼈あたり⽉額 0.4ドル程度︕

Slide 30

Slide 30 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 簡単なデプロイ npm ci npx –w packages/cdk cdk bootstrap npm run cdk:deploy 今始めれば、このセッションが終わる頃には利⽤開始できます︕ ぜひ話を聞きながらデプロイしてみてください︕ リポジトリをクローンして 3 ⾏ 最短 10 分程度で利⽤開始 必要なもの: Node.js, AWS CLI, AWS アカウント だけ︕

Slide 31

Slide 31 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. マルチモデル対応 内部でログを抽象化して DynamoDB Table に保持しており、モデル間のプロンプトの差異を吸収するため 複数モデルを併⽤できる。たとえば会話途中でのモデルの切り替えもできる 2024 年 5 ⽉ 15 ⽇現在、テキスト⽣成は Amazon, Anthropic, Cohere, Meta, Mistral の 計 16 モデルと TGI 対応の Sagemaker エンドポイント、画像⽣成は Amazon, Stability AI の計 2 モデルに対応 role: ‘user’ content: ‘フィボナッチ数を10個列挙して’ role: ‘assistant’ content: ‘0, 1, 1, 2, 3, 5, 8, 13, 21, 34’ role: ‘system’ content: ‘あなたはチャットボットです’ role: ‘user’ content: ‘その数を全て⾜し合わせると︖’ … DynamoDB Table あなたはチャットボットです\n\nHuman:フィボナッチ 数を10個列挙して\n\nAssistant:0, 1, 1, 2, 3, 5, 8, 13, 21, 34\n\nHuman:全て⾜し合わせると︖\n\nAssistant: [INST]あなたはチャットボットです[/INST]\nわかり ました\n[INST]フィボナッチ数を10個列挙して [/INST]\n0, 1, 1, 2, 3, 5, 8, 13, 21, 34\n[INST]全て⾜し 合わせると︖[/INST] Amazon Bedrock モデル A ⽤プロンプト モデル B ⽤プロンプト Lambda Function モデル B モデル A

Slide 32

Slide 32 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. その他のサンプル実装との違い GenU Bedrock Claude Chat ライセンス OSS (MIT-0) OSS (MIT-0) 対応⾔語 ⽇本語 8 カ国語 機能 12 ユースケース + 3 ツール チャット, RAG 対応モデル テキスト 16(&TGI) + 画像 2 Claude 3 または Mistral 特徴 映像・画像・⾳声認識系など、組み込 みユースケースが豊富。ユースケース の開発から本番利⽤まで幅広い⽤途で 利⽤可能。ブラウザ拡張あり。 チャットに特化したシンプルな UI。独 ⾃データによる RAG がアプリ内で構築 できるボット機能。ボットは複数作成 可能で他ユーザーとの共有も可能。 2024 年 5 ⽉ 15 ⽇現在 豊富なセキュリティ機能や、カスタムベースとしての利⽤性はどちらも備えている 利⽤⽬的に応じて使い分けることをおすすめ

Slide 33

Slide 33 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. GenU の収録ユースケースと各種機能

Slide 34

Slide 34 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 収録ユースケースと機能 • テキスト系ユースケース • チャット • ⽂章⽣成 • 要約 • 校正 • 翻訳 • Web コンテンツ抽出 • 画像系ユースケース • 画像⽣成 • 映像分析 • ユースケース間連携 • ブログ記事作成 • 議事録作成 • ツール • ⾳声認識 • ファイルアップロード • Kendra 検索 • 外部ナレッジ連携ユースケース • RAG チャット • Agent チャット • Web 検索エージェント • セキュリティオプション • Cognito 認証 • サインアップ無効化 • 登録メールアドレス制限 • SAML 認証対応 • AWS WAF 連携 • IPv4/IPv6 範囲制限 • 地域制限 • その他機能 • システムコンテキスト保存 • URL による外部連携 • 会話履歴のシェア • 利⽤状況ダッシュボード • ブラウザ拡張 • カスタムドメイン • Sagemaker Endpoint 利⽤

Slide 35

Slide 35 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. テキスト系: チャット • まずはここから • 使い⽅に困ったらプロンプト例を⾒てひらめきを得る

Slide 36

Slide 36 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. テキスト系: チャット • Claude 3 では画像を使った⽣成も可能

Slide 37

Slide 37 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. テキスト系: ⽂章⽣成 • ⻑い⽂章を⼈間の指⽰通りに再構成

Slide 38

Slide 38 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. テキスト系: 要約 • 読む価値があるかを数秒で判断する

Slide 39

Slide 39 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. テキスト系: 校正 • 誤った⽂章を指摘してもらい、意図どおりの⽂章を作成する

Slide 40

Slide 40 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. テキスト系: 翻訳 • ⻑い⽂章も⼀度に正確な翻訳

Slide 41

Slide 41 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. テキスト系: Web コンテンツ抽出 • URL からコンテンツを取得して、本⽂を直接処理

Slide 42

Slide 42 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 画像系: 画像⽣成 • テキスト⽣成モデルを使って⽇本語でプロンプトを⽣成し、⾼品質な画像を素早く⽣成

Slide 43

Slide 43 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 画像系: 映像分析 • カメラ映像から質問に回答

Slide 44

Slide 44 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 外部ナレッジ連携ユースケース (RAG/Agents) DB / Index Retrieval LLM App Generation Function Action RAG Agents

Slide 45

Slide 45 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 外部ナレッジ連携: RAG (検索拡張⽣成) チャット • Kendra の検索結果を⽤いて回答⽣成

Slide 46

Slide 46 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 外部ナレッジ連携: Agent チャット • Lambda を呼び出して回答⽣成。サンプルとして Web 検索エージェントを標準提供

Slide 47

Slide 47 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ツール: ⾳声書き起こし • mp3, mp4, wav, flac, ogg, amr, webm, m4a からの⽂字起こしと、マイク⾳声認識。

Slide 48

Slide 48 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ツール: ファイルアップロード • csv, doc, docx, md, pdf, ppt, pptx, tsv, xlsx から⽂字を抽出。そのまま他のユースケースに連携可能

Slide 49

Slide 49 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ツール: Kendra 検索 • 通常の Kendra 検索を⾏える(RAG 有効化時のみ)。RAG とのアウトプット⽐較に。

Slide 50

Slide 50 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ユースケース間連携 • 出⼒にはコピーボタンが付属しているため、出⼒結果をそのまま他のユースケースに持ち込める • ブログ記事作成と議事録作成のサンプルユースケースを連携例として収録 Copy

Slide 51

Slide 51 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. システムコンテキストの保存 • チャットユースケースではシステムコンテキストを変更可能 • よく使うシステムコンテキストは、保存して再利⽤ができる

Slide 52

Slide 52 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 外部連携 (URL パラメータでプロンプト設定) • 各ユースケースのフォームは URL のクエリ⽂字列経由で⼊⼒できる • ブックマークや外部アプリ連携、社内でのプロンプト共有などに利⽤可能

Slide 53

Slide 53 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 会話履歴のシェア機能 • 会話履歴を他ユーザーと共有するリンクを作成できる (同じアプリに登録しているユーザー限定)

Slide 54

Slide 54 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. CloudWatch モニタリング⽤ダッシュボード • トークン消費数・利⽤数・ユーザーログイン試⾏数・プロンプトログを⼀覧可能 • Amazon Bedrock の Model Invocation Logging 機能を使い、セキュアにログを収集・管理

Slide 55

Slide 55 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. セキュリティ関連機能 • Cognito 認証 (標準機能) • セルフサインアップの無効化 • 登録可能なメールアドレスの制限 • SAML 連携対応 (Google Workspace/Microsoft EntraID など) • AWS WAF 連携 (オプション) • IPv4/IPv6 範囲制限 • アクセス地域制限

Slide 56

Slide 56 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ブラウザ拡張 • ブラウジング中に画⾯切り替えなく GenU の各ユースケースを使えるブラウザ拡張を提供 • 独⾃のユースケースを登録できる • 詳細は builders.flash 無茶振りは⽣成 AI に断ってもらおう ~ ブラウザに⽣成 AI を組み込んでみた~ もチェック︕

Slide 57

Slide 57 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. その他のカスタマイズ機能 カスタムモデル利⽤ (上級者向け) • Sagemaker Endpoint にデプロイした独⾃モデル GenU で利⽤できる • Text Generation Inference (TGI) に対応したモデルをサポート • Rinna, Llama2 系はプロンプトテンプレートも標準で提供している • それ以外のモデルはプロンプトテンプレートを作成することで利⽤可能 カスタムドメイン設定 • Route 53 Public Hosted Zone に A レコードを⾃動設定できる 別 AWS アカウントの Amazon Bedrock 利⽤

Slide 58

Slide 58 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. カスタム⽣成 AI アプリのベースとして活⽤ • 標準的な技術スタック (React + AWS CDK) を採⽤しているため改造が容易 • セキュリティや⽣成結果の処理等、付加価値つながらない重労働をオフロードして、 ユースケースの中⾝の開発に集中 • builders.flash Amazon Bedrock で Interpreter を開発 ! ~ ⽇本語だけで AWS Lambda のコード⽣成とデプ ロイとテストまで完結 ~ もチェック︕

Slide 59

Slide 59 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. まとめ • GenU はすぐに⽣成 AI 活⽤法を考え始めることができるビジネスユースケース集 • 本番利⽤も可能なセキュリティ機能付きで、創造的な作業に集中できる • チャットボット (も⽴派なユースケースですが) から⼀歩踏み出して、ビジネス課 題を解決するための⽣成 AI 活⽤を始めてみませんか︖ • プロジェクトへの Contribution も⼤歓迎です︕お気軽に Issue / PR お待ちしてい ます

Slide 60

Slide 60 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS Summit Japan 2024 でブース出します︕ Developer Zone 深く楽しく最新のテクノロジーを学びたい⽅は「Developer Zone」へぜひお越しください。Deepなテクニカルセッション に出会えるライブステージ「Developers on Live」、実際に⾒ て触って理解を深める展⽰エリア、コミュニティエリアなど、 開発に携わる皆さまが快適に過ごせる空間がここにあります。 数回コマンドを実⾏するだけで簡単にデプロイできる 無料の⽣成 AI アセットを展⽰します。 LLM チャット、RAG チャット、⽂章⽣成、画像⽣成、 映像分析などのユースケースを実際に触って体験する ことができます。 簡単にデプロイできて 業務活⽤もできる⽣成 AI アセット 2024 年 6 ⽉ 20, 21 ⽇ @ 幕張メッセで開発チームと GenU を語ろう︕ お待ちしています︕ https://aws.amazon.com/jp/summits/japan/

Slide 61

Slide 61 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Thank you!