AWS Updates - App Dev & AI/ML -

2023-09-02 AWS UPDATE APP DEV – AI/ML © 2022, Amazon
Web Services, Inc. or its affiliates. © 2022, Amazon Web Services, Inc. or its affiliates. AWS Updates ! アプリ開発から AI/ML まで Paul Amazon Web Services Japan Solutions Architect

Web Services, Inc. or its affiliates. はじめましてポールアマゾンウェブサービスジャパン合同会社⻄⽇本のソリューションアーキテクト [関⼼のある技術] Java, Kotlin, Python, Serverless, 釣り, 料理 @bulbulpaul

Web Services, Inc. or its affiliates. AWS のアップデート！ 3

Web Services, Inc. or its affiliates. 大量 4 😇

Web Services, Inc. or its affiliates. なので、今回はアプリ開発で便利なものや AI/ML関連をいくつかピックアップ！ 5

Web Services, Inc. or its affiliates. AWS Application Composer AWS管理コンソールUIで IaCコード(設定ファイル) を作成するサービス → CloudFormation / SAM(*) テンプレートファイルを生成 & 編集 • CFn / SAMテンプレートを編集 (既存ファイルの読み込みも可能) • SAMが対応する代表的なサーバーレス関連サービスに対応例1：Amazon API Gateway 例2：AWS Lambda • ローカルファイルシステムに接続することで、ローカルのファイルを編集可能リソースメニューからのドラッグ&ドロップとプロパティ設定でSAMテンプレートを編集 (*) AWS SAM = AWS Serverless Application Model (参照)

Web Services, Inc. or its affiliates. Application Composer - キャンバス / テンプレート「キャンバス」と「テンプレート」を切り替えながら表示と編集が可能 → "コードを編集しGUIで確認" やその逆を自由に行き来しながら開発可能

Web Services, Inc. or its affiliates. Application Composer - リソース間の接続キャンバス上において、種類に応じてリソース間をコネクタで接続 → テンプレートに IAMポリシー / 環境変数 / イベントの定義が自動生成コネクタでリソース間を接続 (例︓API → Lambda関数) AWS::Serverless::APIリソース定義に接続先Lambda関数をバックエンド統合として設定 AWS::Serverless::Functionリソース定義に接続元APIをイベントトリガーとして設定

Web Services, Inc. or its affiliates. Application Composer - 対応リソース(Featured) リソースパレットからドラッグ & ドロップで配置・編集が可能 → Application Composer からスクラッチでコーディング可能 # 対応AWSリソースリソース 1 API Gateway AWS::Serverless::Api 2 Cognitoユーザープール AWS::Cognito:UserPool 3 Cognitoユーザープール Client AWS::Cognito:UserPoolClient 4 DynamoDB テーブル AWS::DynamoDB:Table 5 EventBridge イベントルール AWS::Events:Rule 6 EventBridge スケジュール AWS::Scheduler::Schedule 7 Kinesis Data ストリーム AWS::Kinesis::Stream 8 Lambda 関数 AWS::Serverless::Function 9 Lambda レイヤー AWS::Serverless::LayerVersion 10 S3 バケット AWS::S3::Bucket https://docs.aws.amazon.com/application-composer/latest/dg/reference-resources.html # 対応AWSリソースリソース 11 SNSトピック AWS::SNS::Topic 12 SQS キュー AWS::SQS::Queue 13 Step Functions ステートマシン AWS::Serverless::StateMachine ※API GatewayのAPI や Lambda関数/レイヤー、Step Functions ステートマシンは SAMのリソースタイプとして表現される

Web Services, Inc. or its affiliates. Application Composer - Local Syncモード Webブラウザー(Chrome/MS Edge)の File System Access API を利用し、ローカルファイルシステムファイルに接続 & ファイルを編集可 ※非対応ブラウザー(例：Firefox) では「未接続」でのみ利用可能ローカルファイルシステムの空のフォルダを指定

Web Services, Inc. or its affiliates. AWS Application Composer AWS管理コンソールUIで IaCコード(設定ファイル) を作成するサービス → CloudFormation / SAM(*) テンプレートファイルを生成 & 編集 • CFn / SAMテンプレートを編集 (既存ファイルの読み込みも可能) • SAMが対応する代表的なサーバーレス関連サービスに対応例1：Amazon API Gateway 例2：AWS Lambda • ローカルファイルシステムに接続することで、ローカルのファイルを編集可能リソースメニューからのドラッグ&ドロップとプロパティ設定でSAMテンプレートを編集 (*) AWS SAM = AWS Serverless Application Model (参照)

Web Services, Inc. or its affiliates. CI/CDパイプライン SAM Pipelines と組み合わせて CI/CD までさくっと進めるソースコード開発者コードリポジトリ CI/CDパイプライン用雛形ファイルを生成 (例：CodePipeline用CFnテンプレート) template.yaml (SAMテンプレート) > sam pipeline bootstrap > sam pipeline init SAMがパイプライン自体も構成(雛形を生成) CloudFormation Build Source sam build Deploy Test sam deploy SAM sam local →CI/CDパイプラインを含めた開発の立ち上げを加速 SAM

Web Services, Inc. or its affiliates. VPC Lattice マネージドで以下のようなことを実現可能 1. EC2などから別のVPCにあるサービスへアクセスできるようにする 2. サービスへのアクセスに対してロードバランスを行う 3. サービスへのアクセスに対して認証制御を行う 4. それらを統合管理する（ロギング、認証ポリシーなど） 16

Web Services, Inc. or its affiliates. • VPC をまたがる HTTP/TLS 通信を中継 • ルートテーブルの設定が不要 • 各VPCにエンドポイントが作られるので、 VPC同⼠のCIDRは重複可能 • 各VPCからはルートテーブルを設定しなくてもアクセスできる Amazon VPC Latticeによる課題解決 VPC VPC Amazon EKS VPC Pod A Pod B Lambda function クライアントクライアントサービスA サービスB VPC クライアント Amazon VPC Lattice サービスC つまり、ネットワーク設計が不要

Web Services, Inc. or its affiliates. • Latticeにサービスを定義し、VPCに構築された http(s)のターゲットと紐づく • ターゲットの指定は以下が選択できる • EC2/Auto Scalingグループ • ALB • IPアドレス指定 • Lambda Function • EKSのPod • アクセス元のVPCにはサービスにアクセスするためのエンドポイントが作られる • サービスネットワークはサービスを括る論理境界。クライアントのVPCやアクセス制御の設定をこの単位で⾏うことができるサービスとサービスネットワーク VPC Amazon VPC Lattice Amazon EKS + Gateway API Controller VPC サービスA サービスB サービスC Pod A Pod B Lambda function クライアントサービスA サービスB サービスネットワークA サービスC サービスネットワークB サービスAのエンドポイントサービスBのエンドポイントサービスCのエンドポイントリクエスト VPCにアタッチ VPCにアタッチ

Web Services, Inc. or its affiliates. • サービスへのアクセスは、ALBと似た考え⽅でロードバランスできる • サービスにはリスナーを設定する。リスナーごとにターゲットグループを作成する • ターゲットグループに登録したターゲットの中でロードバランスされる • ヘルスチェックも⾏われ、正常なターゲットのみにリクエストが転送される • リスナーには条件設定が可能。条件によって別のターゲットグループに転送できる • path • method(現在APIのみ) • header(現在APIのみ) ELBのように可用性やスケーラビリティを担保できる VPC Amazon VPC Lattice VPC Lambda function クライアントサービスネットワークA サービスAのエンドポイントリクエスト EC2 ターゲットグループサービスA リスナーターゲットグループ EC2 if: path /bar /foo

Web Services, Inc. or its affiliates. 統合管理 Latticeは、大量のマイクロサービスを管理するのに適している図はサービスネットワークの画面マネジメントコンソールでサービスネットワークにアタッチしたVPCや、属するサービスを一覧できる 20

Web Services, Inc. or its affiliates. クロスアカウント RAMを使ってクロスアカウントを実現可能 21 サービスの作成者（サービスオーナー）利用者共有サービスの共有・サービスの認証ポリシー設定・ターゲットグループやルーティング設定・自分のサービスネットワークに、共有されたサービスを関連付けすることで、自分のVPCからアクセスサービスネットワークの作成者（サービスネットワークオーナー）利用者共有サービスネットワークの共有・サービスネットワークの認証ポリシー設定・共有されたサービスネットワークに自分のサービスを関連付け※1 ※1.サービスネットワークオーナーは利用できない

Web Services, Inc. or its affiliates. VPC Lattice マネージドで以下のようなことを実現可能 1. EC2などから別のVPCにあるサービスへアクセスできるようにする 2. サービスへのアクセスに対してロードバランスを行う 3. サービスへのアクセスに対して認証制御を行う 4. それらを統合管理する（ロギング、認証ポリシーなど） 22

Web Services, Inc. or its affiliates. AWS Step Functions AWS によって提供されるサーバーレスのワークフローサービスローコードで多くの AWS サービスとの統合が可能 AWS Step Functions によるワークフローは • ステートマシンを用いて構築する • ステートマシンは JSON ベースの Amazon States Language (ASL) で定義する • ビジュアルエディタ Workflow Studio による直感的な操作をサポート • マイクロサービス、機械学習、ETLパイプラインなど幅広いユースケースをサポート

Web Services, Inc. or its affiliates. Workflow Studio 25 ドラッグ & ドロップでステートマシンを設計できるビジュアルワークフローデザイナー

Web Services, Inc. or its affiliates. ドラッグ & ドロップで State を配置 26 Flow State 最適化された統合 AWS SDK 統合

Web Services, Inc. or its affiliates. パラメータの設定 27

Web Services, Inc. or its affiliates. StepFunctions の Workflow Studio がアップデート • テンプレートからの構築が可能に e.g. § S3にCSVファイルを置いて並列処理 § 機械学習の前処理をしてモデルのトレーニングの実行 • テンプレートのデモリソースを作成しての実行や、独自リソースの利用も可能 28

Web Services, Inc. or its affiliates. 31 咲く⽣成系 AI とは︖ • 会話、ストーリー、画像、動画、⾳楽など、新しいコンテンツやアイデアを創造 • ⼀般に基盤モデル（Foundation Model) と呼ばれる膨⼤なデータに基づいて事前にトレーニングされた⼤規模モデルを利⽤

Web Services, Inc. or its affiliates. 生成系AI - 基盤モデル (Foundation Model) 「基盤モデル」は、従来のAI/MLモデルと何が異なるか? → 「一定の汎用さ」がありその範囲内ではゼロから学習させる必要性がないテキスト生成要約情報抽出 Q&A チャットボット利用タスクラベル付けされていないデータ (教師なしデータ) 基盤モデル (FM) テキスト生成要約情報抽出 Q&A チャットボット学習利用タスク MLモデル … … … … ラベル付きデータ … … … … 事前学習

Web Services, Inc. or its affiliates. 生成系AI - 基盤モデル機能種類 (3種類に大別) Text-to-text 簡単な自然言語プロンプト(質問や指示)を元に、それに応じたテキスト生成 Text-to-embeddings 検索や文書間の類似点検索などの用途向けに、テキストの数値表現を生成 “心臓の健康と歩行の相関性について記事をまとめて” Multi-modal 自然言語プロンプトから、画像、動画、音楽などを生成 “ハンド・ソープ” 以下を数値で表現 “ハンドソープ・リフィル、ハンドソープ・ディスペンサー、ハンドソープ抗菌” “健康な心臓を保つには一日 10,000 歩のウォーキングが有効です” インプットアウトプット “宇宙飛行士が馬に乗っている写真” 例 1 2 3 基盤モデル

Web Services, Inc. or its affiliates. Amazon Bedrock 34 基盤モデルの選択 CLAUDE 2 Constitutional AI と無害学習による LLM 思慮深い対話コンテンツ作成複雑な推論コンテンツ創造コーディング NEW JURASSIC-2 テキスト⽣成⽤多⾔語対応 LLM 英語、⻄語、仏語独語、葡語、伊語蘭語テキスト要約テキスト⽣成テキスト分類⾃由形式の Q&A 情報抽出 Embedding 検索 AMAZON TITAN リアル⾼品質画像⽣成⾼精細化インペインティングユニークなアート、ロゴ、デザイン⽣成 STABLE DIFFUSION XL 1.0 NEW COMMAND + EMBED 業務アプリ向けのテキスト⽣成モデル 100+ ⾔語に対応した検索、クラスタリング、分類⽤の Embedding モデル NEW

Web Services, Inc. or its affiliates. 公開済み基盤モデルの活⽤ 35 S A G E M A K E R J U M P S T A R T モデル Stable Diffusion XL 1.0 2.1 base ⾼精細化インペインティングタスクテキスト⼊⼒からフォト・リアルな画像⽣成⽣成画像の品質改善特⻑ Stable Diffusion 2.1 ファイン・チューン対応モデル AlexaTM 20B タスク機械翻訳質問回答テキスト要約注釈付与データ⽣成モデル Falcon-7B, 40B Open LlaMA RedPajama MPT-7B BloomZ 176B Flan T-5 models (8 種類) DistilGPT2 GPT NeoXT Bloom models (3 種類) タスク機械翻訳質問回答テキスト要約モデル Cohere Command XL タスクテキスト⽣成情報抽出質問回答テキスト要約モデル Jurassic-2 Ultra, Mid 状況に応じた回答テキスト要約⾔い換え⽂法エラー訂正タスクテキスト⽣成⻑⽂⽣成テキスト要約⾔い換えチャット情報抽出モデル Lyra-Fr 10B, Mini タスクテキスト⽣成キーワード抽出情報抽出質問回答テキスト要約感情分析テキスト分類モデル Llama 2 7B, 13B, 70B タスク質問回答チャットテキスト要約⾔い換え感情分析テキスト⽣成モデル Dolly タスク質問回答チャット⾔い換え感情分析テキスト⽣成

Web Services, Inc. or its affiliates. 生成系AI - 基盤モデルとアプリアーキテクチャオープンソース基盤モデルの進化、技術競争による多様なモデルの登場 → 適材適所にモデルを組み合わせて高度なタスクを実現する方向へパターン2: 複数基盤モデルを連携利用パターン1: 単一/プロプライエタリ基盤モデルアプリ AIサービス SaaS#1 1つのサービスを外部APIで呼出プロプライエタリモデルプロプライエタリなサービス ↑ 垂直統合型で提供 ↓ 生成系AIモデル連携ライブラリ(LangChain等) SaaS#1 SaaS#n セルフホスト OSS基盤モデル (および自社Fine-Tuned) ※人間と同様に “チームを組んで” タスクを実行するスタイル ※加えて、より優れた基盤モデルが登場したら柔軟な切替を容易に ※一つの基盤モデル/サービスで全てを担うスタイル基盤モデルを使い分け&連携ユーザーアプリユーザーアプリプロプライエタリ基盤モデル (および自社Fine-Tuned)

Web Services, Inc. or its affiliates. RAG - 概要 RAG(検索拡張生成)とは? → 大規模言語モデルのプロンプトエンジニアリング上のテクニックの1つ生成系AI アプリ基盤モデル⾮RAG (Zero-shot) RAG アプローチ生成系AI アプリ基盤モデルナレッジソース (基盤モデル外のデータ) 事前学習 (& 事後学習/Fine-Tune) 済みの情報しかLLMは回答できない質問プロンプト(≒質問) プロンプト(ナレッジと質問) ナレッジのプロンプト組⼊れにより︓ 1. "幻覚"をなるべく抑⽌ 2. 事実に基づくLLM回答(精度向上) 質問 https://arxiv.org/abs/2005.11401 ユーザーユーザー

Web Services, Inc. or its affiliates. RAG - AWSサービスを活用した実装アプローチ RAG(検索拡張生成)のナレッジソース実装にはいくつかの選択肢がある → AWS上では、それぞれで利用可能なサービスが存在 2. Embedding LLM (*) & Vector DB利⽤ 1. Amazon Kendra利⽤ RAG (Retrieval Augmented Generation) の「ナレッジソース」実装アプローチ 2-a. Amazon OpenSearch Service (k-NN機能) 2-b. RDS for PostgreSQL (pgvector拡張) (*) 厳密にはLLM以外で Embeddingを行うアプローチも存在するが割愛

Web Services, Inc. or its affiliates. RAG - AWSサービスを活用した実装アプローチ RAG(検索拡張生成)のナレッジソース実装にはいくつかの選択肢がある → AWS上では、それぞれで利用可能なサービスが存在 2. Embedding LLM (*) & Vector DB利⽤ 1. Amazon Kendra利⽤ • ナレッジドキュメントをあらかじめKendraに格納 • 質問を⼊⼒としてKendraをセマンティック検索でクエリし、関連するドキュメントの抜粋(群)を取得 • 結果を元にプロンプトを⽣成し、LLMに送信 RAG (Retrieval Augmented Generation) の「ナレッジソース」実装アプローチ 2-a. Amazon OpenSearch Service (k-NN機能) 2-b. RDS for PostgreSQL (pgvector拡張) (*) 厳密にはLLM以外で Embeddingを行うアプローチも存在するが割愛 • ナレッジドキュメントをあらかじめEmbeddingで Vector化し、Vector DBに格納 • 質問を⼊⼒としてVector DBをクエリし、近似するドキュメント(群)を取得 • 結果を元にプロンプトを⽣成し、LLMに送信

Web Services, Inc. or its affiliates. RAG - 実装アプローチ：1. Amazon Kendra利用 Kendraのインデックスにナレッジを事前登録し、ユーザーの質問でセマンティック検索した結果をもとにプロンプトを生成 AWS クラウド生成系AI アプリエンドユーザー基盤モデル Amazon Kendra ② 質問内容を入力として、 Kendraを検索 & クエリ結果取得 ① 質問を入力 ③ 検索結果(②)を踏まえてそれを元に回答するようにプロンプトを生成 & 実行 ④ 基盤モデルの応答結果 ⑤ 回答を取得 RAGアプローチにおいて、⽣成系AI アプリが⽣成するプロンプトの例︓ 「以下はお客様とAIとの友好的な会話です。そのコンテキストから詳細な内容を回答してください。ただし、質問に対してAIが回答を持たない場合は真摯に "分かりません。"とだけ回答してください。 #### コンテキスト︓{Kendraクエリ結果} #### 指⽰︓上記の内容を元に、次の質問に回答してください。{エンドユーザー質問} 」インデックス社内データ等をコネクターで接続 & インデックス登録ナレッジドキュメントコネクタで Crawling & 登録

Web Services, Inc. or its affiliates. RAG - 実装アプローチ：2. Vector DB利用 EmbeddingによるVectorデータをVector DBに事前登録し、ユーザーの質問でクエリ検索した結果をもとにプロンプトを生成 https://aws.amazon.com/jp/blogs/news/quickly-build-high-accuracy-generative-ai-applications-on-enterprise-data-using-amazon-kendra-langchain-and-large-language-models/ AWS クラウド生成系AI アプリエンドユーザー基盤モデル ① 質問を入力 ⑥ 回答を取得ナレッジを Embeddingモデルで Vector化し事前登録または Embeddingモデルナレッジドキュメント Vector DB (OpenSearch Service or pgvector) Vector データ ③ DBを類似性検索バッチ処理 ④ 検索結果(③)を踏まえてそれを元に回答するようにプロンプトを生成 & 実行 RAGアプローチにおいて、⽣成系AI アプリが⽣成するプロンプトの例︓ 「以下はお客様とAIとの友好的な会話です。そのコンテキストから詳細な内容を回答してください。ただし、質問に対してAIが回答を持たない場合は真摯に "分かりません。"とだけ回答してください。 #### コンテキスト︓{Vector DBクエリ結果から復元したナレッジ} #### 指⽰︓上記の内容を元に、次の質問に回答してください。{エンドユーザー質問} 」 ⑤ 基盤モデルの応答結果 ② 質問文を Embedding (Vectorを算出)

Web Services, Inc. or its affiliates. まとめ • さくっとアプリを構築したい、そんなあなた → Application Composer でGUIでサクッとアプリ開発を始めましょ • サービス間の接続やトラフィック管理をしたい、そんなあなた → VPC Lattice でサービス間のトラフィック管理を試してみよう • さくっとワークフローを組みたい、そんなあなた → Step Functions Workflow Studio でテンプレートを活用しましょ • 生成系AI アプリどうつくんの？ → Amazon Bedrock, SageMaker Jump Start 等を活用しましょ 42

Web Services, Inc. or its affiliates. 他にもAWS のアップデートを知る方法 https://aws.amazon.com/jp/blogs/news/tag/%E9%80%B1 %E5%88%8Aaws/ https://aws.amazon.com/new/ What’s New at AWS アップデート情報Webサイト基本的に英語週間 AWS 日本のソリューションアーキテクトが日本語で先週にあったアップデート情報まとめを掲載

AWS Updates - App Dev & AI/ML -

AWS Updates - App Dev & AI/ML -

More Decks by BulBulPaul

Other Decks in Technology

Featured

Transcript