AWS Updates - App Dev & AI/ML -

Slide 1

Slide 1 text

2023-09-02 AWS UPDATE APP DEV – AI/ML © 2022, Amazon Web Services, Inc. or its affiliates. © 2022, Amazon Web Services, Inc. or its affiliates. AWS Updates ! アプリ開発から AI/ML まで Paul Amazon Web Services Japan Solutions Architect

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

2023-09-02 AWS UPDATE APP DEV – AI/ML © 2022, Amazon Web Services, Inc. or its affiliates. AWS Application Composer AWS管理コンソールUIで IaCコード(設定ファイル) を作成するサービス → CloudFormation / SAM(*) テンプレートファイルを生成 & 編集 • CFn / SAMテンプレートを編集 (既存ファイルの読み込みも可能) • SAMが対応する代表的なサーバーレス関連サービスに対応例1：Amazon API Gateway 例2：AWS Lambda • ローカルファイルシステムに接続することで、ローカルのファイルを編集可能リソースメニューからのドラッグ&ドロップとプロパティ設定でSAMテンプレートを編集 (*) AWS SAM = AWS Serverless Application Model (参照)

Slide 8

Slide 8 text

Slide 9

Slide 9 text

2023-09-02 AWS UPDATE APP DEV – AI/ML © 2022, Amazon Web Services, Inc. or its affiliates. Application Composer - リソース間の接続キャンバス上において、種類に応じてリソース間をコネクタで接続 → テンプレートに IAMポリシー / 環境変数 / イベントの定義が自動生成コネクタでリソース間を接続 (例︓API → Lambda関数) AWS::Serverless::APIリソース定義に接続先Lambda関数をバックエンド統合として設定 AWS::Serverless::Functionリソース定義に接続元APIをイベントトリガーとして設定

Slide 10

Slide 10 text

2023-09-02 AWS UPDATE APP DEV – AI/ML © 2022, Amazon Web Services, Inc. or its affiliates. Application Composer - 対応リソース(Featured) リソースパレットからドラッグ & ドロップで配置・編集が可能 → Application Composer からスクラッチでコーディング可能 # 対応AWSリソースリソース 1 API Gateway AWS::Serverless::Api 2 Cognitoユーザープール AWS::Cognito:UserPool 3 Cognitoユーザープール Client AWS::Cognito:UserPoolClient 4 DynamoDB テーブル AWS::DynamoDB:Table 5 EventBridge イベントルール AWS::Events:Rule 6 EventBridge スケジュール AWS::Scheduler::Schedule 7 Kinesis Data ストリーム AWS::Kinesis::Stream 8 Lambda 関数 AWS::Serverless::Function 9 Lambda レイヤー AWS::Serverless::LayerVersion 10 S3 バケット AWS::S3::Bucket https://docs.aws.amazon.com/application-composer/latest/dg/reference-resources.html # 対応AWSリソースリソース 11 SNSトピック AWS::SNS::Topic 12 SQS キュー AWS::SQS::Queue 13 Step Functions ステートマシン AWS::Serverless::StateMachine ※API GatewayのAPI や Lambda関数/レイヤー、Step Functions ステートマシンは SAMのリソースタイプとして表現される

Slide 11

Slide 11 text

2023-09-02 AWS UPDATE APP DEV – AI/ML © 2022, Amazon Web Services, Inc. or its affiliates. Application Composer - Local Syncモード Webブラウザー(Chrome/MS Edge)の File System Access API を利用し、ローカルファイルシステムファイルに接続 & ファイルを編集可 ※非対応ブラウザー(例：Firefox) では「未接続」でのみ利用可能ローカルファイルシステムの空のフォルダを指定

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

2023-09-02 AWS UPDATE APP DEV – AI/ML © 2022, Amazon Web Services, Inc. or its affiliates. CI/CDパイプライン SAM Pipelines と組み合わせて CI/CD までさくっと進めるソースコード開発者コードリポジトリ CI/CDパイプライン用雛形ファイルを生成 (例：CodePipeline用CFnテンプレート) template.yaml (SAMテンプレート) > sam pipeline bootstrap > sam pipeline init SAMがパイプライン自体も構成(雛形を生成) CloudFormation Build Source sam build Deploy Test sam deploy SAM sam local →CI/CDパイプラインを含めた開発の立ち上げを加速 SAM

Slide 15

Slide 15 text

Slide 16

Slide 16 text

2023-09-02 AWS UPDATE APP DEV – AI/ML © 2022, Amazon Web Services, Inc. or its affiliates. VPC Lattice マネージドで以下のようなことを実現可能 1. EC2などから別のVPCにあるサービスへアクセスできるようにする 2. サービスへのアクセスに対してロードバランスを行う 3. サービスへのアクセスに対して認証制御を行う 4. それらを統合管理する（ロギング、認証ポリシーなど） 16

Slide 17

Slide 17 text

2023-09-02 AWS UPDATE APP DEV – AI/ML © 2022, Amazon Web Services, Inc. or its affiliates. • VPC をまたがる HTTP/TLS 通信を中継 • ルートテーブルの設定が不要 • 各VPCにエンドポイントが作られるので、 VPC同⼠のCIDRは重複可能 • 各VPCからはルートテーブルを設定しなくてもアクセスできる Amazon VPC Latticeによる課題解決 VPC VPC Amazon EKS VPC Pod A Pod B Lambda function クライアントクライアントサービスA サービスB VPC クライアント Amazon VPC Lattice サービスC つまり、ネットワーク設計が不要

Slide 18

Slide 18 text

2023-09-02 AWS UPDATE APP DEV – AI/ML © 2022, Amazon Web Services, Inc. or its affiliates. • Latticeにサービスを定義し、VPCに構築された http(s)のターゲットと紐づく • ターゲットの指定は以下が選択できる • EC2/Auto Scalingグループ • ALB • IPアドレス指定 • Lambda Function • EKSのPod • アクセス元のVPCにはサービスにアクセスするためのエンドポイントが作られる • サービスネットワークはサービスを括る論理境界。クライアントのVPCやアクセス制御の設定をこの単位で⾏うことができるサービスとサービスネットワーク VPC Amazon VPC Lattice Amazon EKS + Gateway API Controller VPC サービスA サービスB サービスC Pod A Pod B Lambda function クライアントサービスA サービスB サービスネットワークA サービスC サービスネットワークB サービスAのエンドポイントサービスBのエンドポイントサービスCのエンドポイントリクエスト VPCにアタッチ VPCにアタッチ

Slide 19

Slide 19 text

2023-09-02 AWS UPDATE APP DEV – AI/ML © 2022, Amazon Web Services, Inc. or its affiliates. • サービスへのアクセスは、ALBと似た考え⽅でロードバランスできる • サービスにはリスナーを設定する。リスナーごとにターゲットグループを作成する • ターゲットグループに登録したターゲットの中でロードバランスされる • ヘルスチェックも⾏われ、正常なターゲットのみにリクエストが転送される • リスナーには条件設定が可能。条件によって別のターゲットグループに転送できる • path • method(現在APIのみ) • header(現在APIのみ) ELBのように可用性やスケーラビリティを担保できる VPC Amazon VPC Lattice VPC Lambda function クライアントサービスネットワークA サービスAのエンドポイントリクエスト EC2 ターゲットグループサービスA リスナーターゲットグループ EC2 if: path /bar /foo

Slide 20

Slide 20 text

Slide 21

Slide 21 text

2023-09-02 AWS UPDATE APP DEV – AI/ML © 2022, Amazon Web Services, Inc. or its affiliates. クロスアカウント RAMを使ってクロスアカウントを実現可能 21 サービスの作成者（サービスオーナー）利用者共有サービスの共有・サービスの認証ポリシー設定・ターゲットグループやルーティング設定・自分のサービスネットワークに、共有されたサービスを関連付けすることで、自分のVPCからアクセスサービスネットワークの作成者（サービスネットワークオーナー）利用者共有サービスネットワークの共有・サービスネットワークの認証ポリシー設定・共有されたサービスネットワークに自分のサービスを関連付け※1 ※1.サービスネットワークオーナーは利用できない

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

2023-09-02 AWS UPDATE APP DEV – AI/ML © 2022, Amazon Web Services, Inc. or its affiliates. AWS Step Functions AWS によって提供されるサーバーレスのワークフローサービスローコードで多くの AWS サービスとの統合が可能 AWS Step Functions によるワークフローは • ステートマシンを用いて構築する • ステートマシンは JSON ベースの Amazon States Language (ASL) で定義する • ビジュアルエディタ Workflow Studio による直感的な操作をサポート • マイクロサービス、機械学習、ETLパイプラインなど幅広いユースケースをサポート

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

2023-09-02 AWS UPDATE APP DEV – AI/ML © 2022, Amazon Web Services, Inc. or its affiliates. StepFunctions の Workflow Studio がアップデート • テンプレートからの構築が可能に e.g. § S3にCSVファイルを置いて並列処理 § 機械学習の前処理をしてモデルのトレーニングの実行 • テンプレートのデモリソースを作成しての実行や、独自リソースの利用も可能 28

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

2023-09-02 AWS UPDATE APP DEV – AI/ML © 2022, Amazon Web Services, Inc. or its affiliates. 31 咲く⽣成系 AI とは︖ • 会話、ストーリー、画像、動画、⾳楽など、新しいコンテンツやアイデアを創造 • ⼀般に基盤モデル（Foundation Model) と呼ばれる膨⼤なデータに基づいて事前にトレーニングされた⼤規模モデルを利⽤

Slide 32

Slide 32 text

2023-09-02 AWS UPDATE APP DEV – AI/ML © 2022, Amazon Web Services, Inc. or its affiliates. 生成系AI - 基盤モデル (Foundation Model) 「基盤モデル」は、従来のAI/MLモデルと何が異なるか? → 「一定の汎用さ」がありその範囲内ではゼロから学習させる必要性がないテキスト生成要約情報抽出 Q&A チャットボット利用タスクラベル付けされていないデータ (教師なしデータ) 基盤モデル (FM) テキスト生成要約情報抽出 Q&A チャットボット学習利用タスク MLモデル … … … … ラベル付きデータ … … … … 事前学習

Slide 33

Slide 33 text

2023-09-02 AWS UPDATE APP DEV – AI/ML © 2022, Amazon Web Services, Inc. or its affiliates. 生成系AI - 基盤モデル機能種類 (3種類に大別) Text-to-text 簡単な自然言語プロンプト(質問や指示)を元に、それに応じたテキスト生成 Text-to-embeddings 検索や文書間の類似点検索などの用途向けに、テキストの数値表現を生成 “心臓の健康と歩行の相関性について記事をまとめて” Multi-modal 自然言語プロンプトから、画像、動画、音楽などを生成 “ハンド・ソープ” 以下を数値で表現 “ハンドソープ・リフィル、ハンドソープ・ディスペンサー、ハンドソープ抗菌” “健康な心臓を保つには一日 10,000 歩のウォーキングが有効です” インプットアウトプット “宇宙飛行士が馬に乗っている写真” 例 1 2 3 基盤モデル

Slide 34

Slide 34 text

2023-09-02 AWS UPDATE APP DEV – AI/ML © 2022, Amazon Web Services, Inc. or its affiliates. Amazon Bedrock 34 基盤モデルの選択 CLAUDE 2 Constitutional AI と無害学習による LLM 思慮深い対話コンテンツ作成複雑な推論コンテンツ創造コーディング NEW JURASSIC-2 テキスト⽣成⽤多⾔語対応 LLM 英語、⻄語、仏語独語、葡語、伊語蘭語テキスト要約テキスト⽣成テキスト分類⾃由形式の Q&A 情報抽出 Embedding 検索 AMAZON TITAN リアル⾼品質画像⽣成⾼精細化インペインティングユニークなアート、ロゴ、デザイン⽣成 STABLE DIFFUSION XL 1.0 NEW COMMAND + EMBED 業務アプリ向けのテキスト⽣成モデル 100+ ⾔語に対応した検索、クラスタリング、分類⽤の Embedding モデル NEW

Slide 35

Slide 35 text

2023-09-02 AWS UPDATE APP DEV – AI/ML © 2022, Amazon Web Services, Inc. or its affiliates. 公開済み基盤モデルの活⽤ 35 S A G E M A K E R J U M P S T A R T モデル Stable Diffusion XL 1.0 2.1 base ⾼精細化インペインティングタスクテキスト⼊⼒からフォト・リアルな画像⽣成⽣成画像の品質改善特⻑ Stable Diffusion 2.1 ファイン・チューン対応モデル AlexaTM 20B タスク機械翻訳質問回答テキスト要約注釈付与データ⽣成モデル Falcon-7B, 40B Open LlaMA RedPajama MPT-7B BloomZ 176B Flan T-5 models (8 種類) DistilGPT2 GPT NeoXT Bloom models (3 種類) タスク機械翻訳質問回答テキスト要約モデル Cohere Command XL タスクテキスト⽣成情報抽出質問回答テキスト要約モデル Jurassic-2 Ultra, Mid 状況に応じた回答テキスト要約⾔い換え⽂法エラー訂正タスクテキスト⽣成⻑⽂⽣成テキスト要約⾔い換えチャット情報抽出モデル Lyra-Fr 10B, Mini タスクテキスト⽣成キーワード抽出情報抽出質問回答テキスト要約感情分析テキスト分類モデル Llama 2 7B, 13B, 70B タスク質問回答チャットテキスト要約⾔い換え感情分析テキスト⽣成モデル Dolly タスク質問回答チャット⾔い換え感情分析テキスト⽣成

Slide 36

Slide 36 text

2023-09-02 AWS UPDATE APP DEV – AI/ML © 2022, Amazon Web Services, Inc. or its affiliates. 生成系AI - 基盤モデルとアプリアーキテクチャオープンソース基盤モデルの進化、技術競争による多様なモデルの登場 → 適材適所にモデルを組み合わせて高度なタスクを実現する方向へパターン2: 複数基盤モデルを連携利用パターン1: 単一/プロプライエタリ基盤モデルアプリ AIサービス SaaS#1 1つのサービスを外部APIで呼出プロプライエタリモデルプロプライエタリなサービス ↑ 垂直統合型で提供 ↓ 生成系AIモデル連携ライブラリ(LangChain等) SaaS#1 SaaS#n セルフホスト OSS基盤モデル (および自社Fine-Tuned) ※人間と同様に “チームを組んで” タスクを実行するスタイル ※加えて、より優れた基盤モデルが登場したら柔軟な切替を容易に ※一つの基盤モデル/サービスで全てを担うスタイル基盤モデルを使い分け&連携ユーザーアプリユーザーアプリプロプライエタリ基盤モデル (および自社Fine-Tuned)

Slide 37

Slide 37 text

2023-09-02 AWS UPDATE APP DEV – AI/ML © 2022, Amazon Web Services, Inc. or its affiliates. RAG - 概要 RAG(検索拡張生成)とは? → 大規模言語モデルのプロンプトエンジニアリング上のテクニックの1つ生成系AI アプリ基盤モデル⾮RAG (Zero-shot) RAG アプローチ生成系AI アプリ基盤モデルナレッジソース (基盤モデル外のデータ) 事前学習 (& 事後学習/Fine-Tune) 済みの情報しかLLMは回答できない質問プロンプト(≒質問) プロンプト(ナレッジと質問) ナレッジのプロンプト組⼊れにより︓ 1. "幻覚"をなるべく抑⽌ 2. 事実に基づくLLM回答(精度向上) 質問 https://arxiv.org/abs/2005.11401 ユーザーユーザー

Slide 38

Slide 38 text

2023-09-02 AWS UPDATE APP DEV – AI/ML © 2022, Amazon Web Services, Inc. or its affiliates. RAG - AWSサービスを活用した実装アプローチ RAG(検索拡張生成)のナレッジソース実装にはいくつかの選択肢がある → AWS上では、それぞれで利用可能なサービスが存在 2. Embedding LLM (*) & Vector DB利⽤ 1. Amazon Kendra利⽤ RAG (Retrieval Augmented Generation) の「ナレッジソース」実装アプローチ 2-a. Amazon OpenSearch Service (k-NN機能) 2-b. RDS for PostgreSQL (pgvector拡張) (*) 厳密にはLLM以外で Embeddingを行うアプローチも存在するが割愛

Slide 39

Slide 39 text

2023-09-02 AWS UPDATE APP DEV – AI/ML © 2022, Amazon Web Services, Inc. or its affiliates. RAG - AWSサービスを活用した実装アプローチ RAG(検索拡張生成)のナレッジソース実装にはいくつかの選択肢がある → AWS上では、それぞれで利用可能なサービスが存在 2. Embedding LLM (*) & Vector DB利⽤ 1. Amazon Kendra利⽤ • ナレッジドキュメントをあらかじめKendraに格納 • 質問を⼊⼒としてKendraをセマンティック検索でクエリし、関連するドキュメントの抜粋(群)を取得 • 結果を元にプロンプトを⽣成し、LLMに送信 RAG (Retrieval Augmented Generation) の「ナレッジソース」実装アプローチ 2-a. Amazon OpenSearch Service (k-NN機能) 2-b. RDS for PostgreSQL (pgvector拡張) (*) 厳密にはLLM以外で Embeddingを行うアプローチも存在するが割愛 • ナレッジドキュメントをあらかじめEmbeddingで Vector化し、Vector DBに格納 • 質問を⼊⼒としてVector DBをクエリし、近似するドキュメント(群)を取得 • 結果を元にプロンプトを⽣成し、LLMに送信

Slide 40

Slide 40 text

2023-09-02 AWS UPDATE APP DEV – AI/ML © 2022, Amazon Web Services, Inc. or its affiliates. RAG - 実装アプローチ：1. Amazon Kendra利用 Kendraのインデックスにナレッジを事前登録し、ユーザーの質問でセマンティック検索した結果をもとにプロンプトを生成 AWS クラウド生成系AI アプリエンドユーザー基盤モデル Amazon Kendra ② 質問内容を入力として、 Kendraを検索 & クエリ結果取得 ① 質問を入力 ③ 検索結果(②)を踏まえてそれを元に回答するようにプロンプトを生成 & 実行 ④ 基盤モデルの応答結果 ⑤ 回答を取得 RAGアプローチにおいて、⽣成系AI アプリが⽣成するプロンプトの例︓ 「以下はお客様とAIとの友好的な会話です。そのコンテキストから詳細な内容を回答してください。ただし、質問に対してAIが回答を持たない場合は真摯に "分かりません。"とだけ回答してください。 #### コンテキスト︓{Kendraクエリ結果} #### 指⽰︓上記の内容を元に、次の質問に回答してください。{エンドユーザー質問} 」インデックス社内データ等をコネクターで接続 & インデックス登録ナレッジドキュメントコネクタで Crawling & 登録

Slide 41

Slide 41 text

2023-09-02 AWS UPDATE APP DEV – AI/ML © 2022, Amazon Web Services, Inc. or its affiliates. RAG - 実装アプローチ：2. Vector DB利用 EmbeddingによるVectorデータをVector DBに事前登録し、ユーザーの質問でクエリ検索した結果をもとにプロンプトを生成 https://aws.amazon.com/jp/blogs/news/quickly-build-high-accuracy-generative-ai-applications-on-enterprise-data-using-amazon-kendra-langchain-and-large-language-models/ AWS クラウド生成系AI アプリエンドユーザー基盤モデル ① 質問を入力 ⑥ 回答を取得ナレッジを Embeddingモデルで Vector化し事前登録または Embeddingモデルナレッジドキュメント Vector DB (OpenSearch Service or pgvector) Vector データ ③ DBを類似性検索バッチ処理 ④ 検索結果(③)を踏まえてそれを元に回答するようにプロンプトを生成 & 実行 RAGアプローチにおいて、⽣成系AI アプリが⽣成するプロンプトの例︓ 「以下はお客様とAIとの友好的な会話です。そのコンテキストから詳細な内容を回答してください。ただし、質問に対してAIが回答を持たない場合は真摯に "分かりません。"とだけ回答してください。 #### コンテキスト︓{Vector DBクエリ結果から復元したナレッジ} #### 指⽰︓上記の内容を元に、次の質問に回答してください。{エンドユーザー質問} 」 ⑤ 基盤モデルの応答結果 ② 質問文を Embedding (Vectorを算出)

Slide 42

Slide 42 text

2023-09-02 AWS UPDATE APP DEV – AI/ML © 2022, Amazon Web Services, Inc. or its affiliates. まとめ • さくっとアプリを構築したい、そんなあなた → Application Composer でGUIでサクッとアプリ開発を始めましょ • サービス間の接続やトラフィック管理をしたい、そんなあなた → VPC Lattice でサービス間のトラフィック管理を試してみよう • さくっとワークフローを組みたい、そんなあなた → Step Functions Workflow Studio でテンプレートを活用しましょ • 生成系AI アプリどうつくんの？ → Amazon Bedrock, SageMaker Jump Start 等を活用しましょ 42

Slide 43

Slide 43 text

2023-09-02 AWS UPDATE APP DEV – AI/ML © 2022, Amazon Web Services, Inc. or its affiliates. 他にもAWS のアップデートを知る方法 https://aws.amazon.com/jp/blogs/news/tag/%E9%80%B1 %E5%88%8Aaws/ https://aws.amazon.com/new/ What’s New at AWS アップデート情報Webサイト基本的に英語週間 AWS 日本のソリューションアーキテクトが日本語で先週にあったアップデート情報まとめを掲載