Tweet
Tweet

Slide 1

Slide 1 text

2024年5月17日 JAWS-UG事務局 週刊生成AI with AWS キャッチアップ （2024/5/6週）

Slide 2

Slide 2 text

1/8 Amazon Qの一般利用開始に際して、Andy JassyがXにコメントをポスト

Slide 3

Slide 3 text

AWSが設立された当初の目的は、開発者がインフラストラクチャを 管理する時間と顧客体験に取り組む時間のバランスを改善 Amazon Qのローンチにより、開発者が70%の時間を 繰り返しのタスクに費やす時間を同様に改善することを目指す

Slide 4

Slide 4 text

GenAIによって支えられたQが以下のタスクを実行 　　コードの生成 　　テスト 　　デバッグ 　　内部データリポジトリへのアクセス 　　　　　ソフトウェア開発と内部データタスクの支援を行います

Slide 5

Slide 5 text

2/8 Adam SelipskyもAmazon Qの一般利用開始についてXにポスト

Slide 6

Slide 6 text

【導入効果】 開発者と従業員の退屈な作業が大幅に軽減されます。 【実現できること】 コードのテスト、デバッグ、作成を支援 機能の実装からソフトウェア アップグレードの実行まで、 　さまざまなタスクを自律的に実行 Q を使用すると、コーディングだけでなく、 点在する内部データ ソースから洞察に簡単にアクセスでき、 質問に答え、傾向を分析 Amazon Q アプリの導入により、ユーザーはコーディングの経験が なくても、組織データに基づいて AI アプリを作成できるようになり ます。

Slide 7

Slide 7 text

Werner VogelsがブログでAIによる 会議の議事録取得アーキテクチャを紹介 3/8

Slide 8

Slide 8 text

オープンソースDistillでできること 会議の音声録音 (MP3、FLAC、WAV などの形式) を取得して分析し、 ToDo 項目のリストとともにサマリーが作成される オプションとして作られたTo DoやサマリーをSlackへ

Slide 9

Slide 9 text

アーキテクチャ図 https://github.com/aws-samples/amazon-bedrock-audio-summarizer

Slide 10

Slide 10 text

Distillの特徴 会議の要約を実行する AI モデルを選択可能！ 　デフォルトでは、Anthropic の Claude 3 Sonnet # bedrock-inference/lambda_function.py ... body = json.dumps( { "anthropic_version": "bedrock-2023-05-31", ... } ... response = bedrock_client.invoke_model( modelId="anthropic.claude-3-sonnet-20240229-v1:0", body=body ) ...

Slide 11

Slide 11 text

新モデルAmazon Titan Text Premierが Amazon Bedrockから利用可能に 4/8

Slide 12

Slide 12 text

https://aws.amazon.com/jp/blogs/aws/build-rag-and-agent-based-generative-ai-applications-with-new-amazon-titan-text- premier-model-available-in-amazon-bedrock/ Amazon Titan Text Premierの他モデル比較

Slide 13

Slide 13 text

Amazon Titan Text Premierを有効化

Slide 14

Slide 14 text

・RAG、エージェント、チャット、オープンエンドテキスト生成 ブレーンストーミング、要​ ​ 約、コード生成、テーブル作成、 データの書式設定など ユースケース 32K トークン数 英語のみ 言語 Amazon Titan Text Premierの特徴

Slide 15

Slide 15 text

生成AIアプリケーション開発のためのWebインタフェース、 Amazon Bedrock Studioをプレビュー提供開始 5/8

Slide 16

Slide 16 text

Amazon Bedrock Studioとは 組織ユーザーに Bedrock のプレイグラウンドや、ナレッジベ ースやエージェントなどのコンポーネントを使って Bedrock アプリケーションのプロトタイプを作成、評価したり組織内の ユーザーへ共有することができる Amazon Bedrock Studioの使いどころ 簡単にエージェント、ナレッジベース、ガードレールなど一部 の機能の自動デプロイにより簡単に試すことができる点

Slide 17

Slide 17 text

ワークスペース作成を始めるには IAM Identity Centerを利用して元々の組織のSSOが利用可能

Slide 18

Slide 18 text

ワークスペースが作成できた後 ログインして各種機能を利用できる

Slide 19

Slide 19 text

Agents for Amazon Bedrockが プロビジョンドスループット料金モデルに対応 6/8

Slide 20

Slide 20 text

Amazon Bedrock で、モデルをデプロイするため 「専用キャパシティを確保するために」 トークンベースではない時間ベースの「プロビジョンドスループット」あり 「プロビジョンドスループット」について Amazon Bedrock for エージェントでも同様に「特定の 基本モデルのモデル ユニット」が購入可能に 1 分あたりに処理される入力または出力トークンの最大数によって 測定される、一定の保証されたスループットが保証

Slide 21

Slide 21 text

アップデート前にエイリアスを作成 エージェントのエイリアスを作成したら、そのエイリアスに関する情報を 表示したり、編集したり、削除したりできます。

Slide 22

Slide 22 text

スループットの料金について 1 分あたりに処理される入力トークンまたは出力トークンの 最大数によって測定される特定のスループットが提供。 料金はモデル単位ごとに時間単位で請求 オンデマンド 【スループット契約期間】 1ヶ月利用 6ヵ月利用

Slide 23

Slide 23 text

Amazon SageMaker NotebooksがG6インスタンスをサポート 7/8

Slide 24

Slide 24 text

Amazon EC2 G6 インスタンスの特徴 24 GB のメモリ（GPUあたり） 最大 8 つの NVIDIA L4 Tensor コア GPU 第 3 世代 AMD EPYC プロセッサを搭載 G4dnインスタンスと比較してディープラーニング用途で最大2倍の パフォーマンス ユースケース： 　G6 インスタンスを使用して、モデルのデプロイのテスト 　生成 AI の微調整と推論ワークロード、自然言語処理、 　言語翻訳、コンピューター ビジョン、 　レコメンダー エンジンなどのユースケースの対話型モデル トレーニング

Slide 25

Slide 25 text

Amazon SageMakerとAmzon DataZoneが統合され、 データとML資産の統合管理が容易に 8/8

Slide 26

Slide 26 text

Amazon DataZone でのデータ統合 プロデューサーデータソース AWS Glue データカタログと Amazon Redshift の組み込みデ ータソースからデータを公開 分析ツール Amazon Athena や Amazon Redshift クエリエディタなどのサ ービスと連携して、クエリエディタ からのデータを直接操作できる アクセスフルフィルメント AWS Glue データカタログと Amazon Redshift の組み込みデ ータソースからデータを公開 機械学習 (ML) ツール Amazon SageMaker を使用するこ とで、データアセットや ML アセッ トに簡単にアクセスします。

Slide 27

Slide 27 text

SageMakerがDataZoneと統合され、MLインフラストラクチャ、データ、アセッ トのアクセス制御 【アップデートのメリット】 データやアセットをSageMaker StudioやCanvasで利用および共有でき、チーム やパートナーとの共同作業が促進されます。

Slide 28

Slide 28 text

ご清聴ありがとうございます。