週刊AWSキャッチアップ～週刊生成AI with AWS – 2024/5/6週～

#jawsug #週刊awsキャッチアップ

Transcript

1. 2024年5月17日 JAWS-UG事務局 週刊生成AI with AWS キャッチアップ （2024/5/6週）
2. 1/8 Amazon Qの一般利用開始に際して、Andy JassyがXにコメントをポスト
3. AWSが設立された当初の目的は、開発者がインフラストラクチャを 管理する時間と顧客体験に取り組む時間のバランスを改善 Amazon Qのローンチにより、開発者が70%の時間を 繰り返しのタスクに費やす時間を同様に改善することを目指す
4. GenAIによって支えられたQが以下のタスクを実行 　　コードの生成 　　テスト 　　デバッグ 　　内部データリポジトリへのアクセス 　　　　　ソフトウェア開発と内部データタスクの支援を行います
5. 2/8 Adam SelipskyもAmazon Qの一般利用開始についてXにポスト
6. 【導入効果】 開発者と従業員の退屈な作業が大幅に軽減されます。 【実現できること】 コードのテスト、デバッグ、作成を支援 機能の実装からソフトウェア アップグレードの実行まで、 　さまざまなタスクを自律的に実行 Q を使用すると、コーディングだけでなく、 点在する内部データ ソースから洞察に簡単にアクセスでき、 質問に答え、傾向を分析 Amazon Q アプリの導入により、ユーザーはコーディングの経験が なくても、組織データに基づいて AI アプリを作成できるようになり ます。
7. Werner VogelsがブログでAIによる 会議の議事録取得アーキテクチャを紹介 3/8
8. オープンソースDistillでできること 会議の音声録音 (MP3、FLAC、WAV などの形式) を取得して分析し、 ToDo 項目のリストとともにサマリーが作成される オプションとして作られたTo DoやサマリーをSlackへ
9. アーキテクチャ図 https://github.com/aws-samples/amazon-bedrock-audio-summarizer
10. Distillの特徴 会議の要約を実行する AI モデルを選択可能！ 　デフォルトでは、Anthropic の Claude 3 Sonnet # bedrock-inference/lambda_function.py ... body = json.dumps( { "anthropic_version": "bedrock-2023-05-31", ... } ... response = bedrock_client.invoke_model( modelId="anthropic.claude-3-sonnet-20240229-v1:0", body=body ) ...
11. 新モデルAmazon Titan Text Premierが Amazon Bedrockから利用可能に 4/8
12. https://aws.amazon.com/jp/blogs/aws/build-rag-and-agent-based-generative-ai-applications-with-new-amazon-titan-text- premier-model-available-in-amazon-bedrock/ Amazon Titan Text Premierの他モデル比較
13. Amazon Titan Text Premierを有効化
14. ・RAG、エージェント、チャット、オープンエンドテキスト生成 ブレーンストーミング、要​ ​ 約、コード生成、テーブル作成、 データの書式設定など ユースケース 32K トークン数 英語のみ 言語 Amazon Titan Text Premierの特徴
15. 生成AIアプリケーション開発のためのWebインタフェース、 Amazon Bedrock Studioをプレビュー提供開始 5/8
16. Amazon Bedrock Studioとは 組織ユーザーに Bedrock のプレイグラウンドや、ナレッジベ ースやエージェントなどのコンポーネントを使って Bedrock アプリケーションのプロトタイプを作成、評価したり組織内の ユーザーへ共有することができる Amazon Bedrock Studioの使いどころ 簡単にエージェント、ナレッジベース、ガードレールなど一部 の機能の自動デプロイにより簡単に試すことができる点
17. ワークスペース作成を始めるには IAM Identity Centerを利用して元々の組織のSSOが利用可能
18. ワークスペースが作成できた後 ログインして各種機能を利用できる
19. Agents for Amazon Bedrockが プロビジョンドスループット料金モデルに対応 6/8
20. Amazon Bedrock で、モデルをデプロイするため 「専用キャパシティを確保するために」 トークンベースではない時間ベースの「プロビジョンドスループット」あり 「プロビジョンドスループット」について Amazon Bedrock for エージェントでも同様に「特定の 基本モデルのモデル ユニット」が購入可能に 1 分あたりに処理される入力または出力トークンの最大数によって 測定される、一定の保証されたスループットが保証
21. アップデート前にエイリアスを作成 エージェントのエイリアスを作成したら、そのエイリアスに関する情報を 表示したり、編集したり、削除したりできます。
22. スループットの料金について 1 分あたりに処理される入力トークンまたは出力トークンの 最大数によって測定される特定のスループットが提供。 料金はモデル単位ごとに時間単位で請求 オンデマンド 【スループット契約期間】 1ヶ月利用 6ヵ月利用
23. Amazon SageMaker NotebooksがG6インスタンスをサポート 7/8
24. Amazon EC2 G6 インスタンスの特徴 24 GB のメモリ（GPUあたり） 最大 8 つの NVIDIA L4 Tensor コア GPU 第 3 世代 AMD EPYC プロセッサを搭載 G4dnインスタンスと比較してディープラーニング用途で最大2倍の パフォーマンス ユースケース： 　G6 インスタンスを使用して、モデルのデプロイのテスト 　生成 AI の微調整と推論ワークロード、自然言語処理、 　言語翻訳、コンピューター ビジョン、 　レコメンダー エンジンなどのユースケースの対話型モデル トレーニング
25. Amazon SageMakerとAmzon DataZoneが統合され、 データとML資産の統合管理が容易に 8/8
26. Amazon DataZone でのデータ統合 プロデューサーデータソース AWS Glue データカタログと Amazon Redshift の組み込みデ ータソースからデータを公開 分析ツール Amazon Athena や Amazon Redshift クエリエディタなどのサ ービスと連携して、クエリエディタ からのデータを直接操作できる アクセスフルフィルメント AWS Glue データカタログと Amazon Redshift の組み込みデ ータソースからデータを公開 機械学習 (ML) ツール Amazon SageMaker を使用するこ とで、データアセットや ML アセッ トに簡単にアクセスします。
27. SageMakerがDataZoneと統合され、MLインフラストラクチャ、データ、アセッ トのアクセス制御 【アップデートのメリット】 データやアセットをSageMaker StudioやCanvasで利用および共有でき、チーム やパートナーとの共同作業が促進されます。
28. ご清聴ありがとうございます。