未来の技術、現在の現実〜サーバーレスと Gen AI の交差点〜

Slide 1

Slide 1 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Serverless Meetup Tokyo #19 - AWS re:Invent 2023 re:Cap - Yoshitaka Kawaji Amazon Web Services Solutions Architect 未来の技術、現在の現実〜サーバーレスと Gen AI の交差点〜

Slide 2

Slide 2 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 3 川路義隆（かわじよしたか）アマゾンウェブサービスジャパン合同会社ソリューションアーキテクト⼩売業のお客様向けのAWS導⼊・アーキテクチャ⽀援アジャイル・サーバーレス好きな AWS サービス Amazon API Gateway, AWS Lambda, AWS Step Functions ࣗݾ঺հ 3 AWS Lambda Amazon API Gateway AWS Step Functions @kawaji_scratch

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Q (For AWS Builder Use) 機能⼀覧 1. Chat 2. Feature development 3. Explain and update Code 4. Code Transformation 1. Conversational Q&A 2. Troubleshoot console errors 3. Chat with AWS support 8 Amazon Q in IDEs Amazon Q in the console https://docs.aws.amazon.com/amazonq/latest/aws-builder-use-ug/what-is.html プレビュー

Slide 8

Slide 8 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Q in IDEs - Chat • チャット形式で開発に関して質問回答を⾏える機能 § コード⽣成、⽂法の質問、AWS サービスの仕様確認など • バックエンドは Amazon Bedrock を利⽤ • Visual Studio Code, JetBrains IDE にて利⽤可能 § 各 IDE 向けの AWS Toolkit をインストールすることで利⽤可能 9 プレビュー https://docs.aws.amazon.com/amazonq/latest/aws-builder- use-ug/q-in-IDE-chat.html

Slide 9

Slide 9 text

Slide 10

Slide 10 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Q in IDEs – Feature development • 現在のプロジェクトのコンテキストを利⽤して実装計画を作成 § ファイル作成や README 追記など機能開発全般の⼿順を指⽰ § /src フォルダもしくはワークスペースのルート下のファイルを解析 • 利⽤には以下の制限あり § Visual Studio Code のみ対応 § CodeWhisperer Professional ユーザーのみ利⽤可 11 https://docs.aws.amazon.com/amazonq/latest/aws- builder-use-ug/feature-dev.html プレビュー

Slide 11

Slide 11 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Q in IDEs – Explain and update code • コードブロックを指定して、以下の操作が可能 § Explain § Refactor § Fix § Optimizer § Send to prompt 12 https://docs.aws.amazon.com/amazonq/ latest/aws-builder-use-ug/explain- update-code.html プレビュー

Slide 12

Slide 12 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Q in IDEs – Code Transformation 13 https://docs.aws.amazon.com/amazonq/latest/aws- builder-use-ug/code-transformation.html • アプリケーションの⾔語バージョンアップデートを⾃動化 • 現在の対応⾔語は以下 § 変換元︓Java 8, 11 § 変換先︓Java 17 • 利⽤には以下の条件あり § Visual Studio Code, IntelliJ に対応 § CodeWhisperer Professional ユーザーのみ利⽤可プレビュー

Slide 13

Slide 13 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Q in the console – Conversational Q&A • コンソール上でチャット形式の QA を⾏える機能 • 質問例︓ § ユースケースに合った AWS サービスの提案 – How do I create and host a website on AWS? § AWS サービスの仕様の確認 – What’s the maximum runtime for a Lambda function? • EC2 インスタンスタイプの推奨も可能（下記リンク参照） 14 プレビュー https://aws.amazon.com/blogs/aws/amazon-q-brings-generative-ai- powered-assistance-to-it-pros-and-developers-preview/

Slide 14

Slide 14 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Q in the console – Troubleshoot console errors • コンソール上で出たエラーを解析 § エラー原因の提⽰および解決策の提案が可能 § デバッグの省⼒化につながる • 現在 US West 2（オレゴン）のみに対応 § グローバルサービスの場合、事前にリージョン変更が必要 15 プレビュー https://docs.aws.amazon.com/amazonq/latest/aws-builder- use-ug/troubleshoot-console-errors.html

Slide 15

Slide 15 text

Slide 16

Slide 16 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Q in the console – Chat with AWS Support • コンソール上の Amazon Q からサポートケース作成が可能 § AWS Support との連絡⽅法でチャット形式を選択した場合、Amazon Q 上でチャットを継続可能 § 連絡⽅法に電話もしくはEメールを選択した場合は従来どおり別途連絡 17 プレビュープレビュー

Slide 17

Slide 17 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. CodeWhisperer 2 プレビュー期間中に Amazon が実施した⽣産性テストによると、CodeWhisperer を利⽤した参加者は利⽤していない参加者と⽐べてタスクを完了させる確率が 27 % 上昇し、完了速度も 57 % ⾼速化。コード候補をリアルタイムに生成コード生成コードをスキャンして、見つけにくい脆弱性をチェックセキュリティスキャンオープンソースの学習データに似たコードへフラグ付けもしくはデフォルトでフィルタリングリファレンストラッカーアプリケーションをより⾼速かつセキュアに開発するための A I コーディングコンパニオン

Slide 18

Slide 18 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon CodeWhisperer Customization（プレビュー） • プライベートコードレポジトリを読み込ませ、内部ライブラリや API を含むコードを⽣成できるようカスタマイズ § ソースとして CodeStar (Github, GitLab, Bitbucket) もしくは S3 を指定 • Java, JavaScript, Python, TypeScript をサポート • CodeWhisperer Professional ユーザーのみ利⽤可能 19 プレビュー https://docs.aws.amazon.com/codewhisperer/latest/usergui de/customizations.html

Slide 19

Slide 19 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon CodeWhisperer Dashboard • ⽣成したコードの⾏数や採択率、セキュリティスキャンの回数などをダッシュボードとして表⽰ § PoC や本番利⽤時に開発効率化への貢献度を測定可能 • CodeWhisperer Professional の管理者が確認可能 20 ⼀般利⽤開始 https://docs.aws.amazon.com/codewhisperer/latest/usergui de/dashboard.html

Slide 20

Slide 20 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon CodeWhisperer for command line • CLI コマンドの⾃動補完ができるツール § Git, npm など 500 以上の CLI に対応 • `cw ai` コマンドにより⾃然⾔語をシェルスクリプトへ変換可能 • 2023年8⽉に AWS が買収した fig がベース • macOS の主要なシェルで利⽤可能（bash, zsh, fish など） 21 ⼀般利⽤開始 https://aws.amazon.com/jp/blogs/news/introducing- amazon-codewhisperer-for-command-line/

Slide 21

Slide 21 text

Slide 22

Slide 22 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 23 単一の API で主要な基盤モデルにアクセス基盤モデルのカスタマイズ検索拡張生成 (RAG) 複雑なタスクを実行可能なエージェントセキュリティ・プライバシー・安全性 Amazon Bedrock 基盤モデルによる生成系 AI アプリケーションを構築してスケーリングする最も簡単な方法 Ұ ൠ ఏ ڙ ։ ࢝ ౦ژϦʔδϣϯͰ΋ఏڙ։࢝ 完全マネージド型サービスで、APIという形で提供する従量課金制モデル

Slide 23

Slide 23 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. • ͓٬༷ͷσʔλ͕ ར༻͞ΕΔج൫Ϟσϧͷֶशʹ ར༻͞ΕΔ͜ͱ͸͋Γ·ͤΜ • શͯͷσʔλ͸҉߸Խ͞Ε సૹɺอଘ͞Ε·͢ • GDPR (Ұൠσʔλอޢنଇʣ Amazon Bedrock ͳΒɺ͓٬༷σʔλ͸ GDPR: General Data Protection Regulation HIPPA: Health Insurance Portability and Accountability Act (医療保険の携行性と責任に関する法律) • σʔλ͕͓٬༷ͷ Ծ૝ϓϥΠϕʔτΫϥ΢υ (VPC) Λ཭ΕΔ͜ͱ͸ ͋Γ·ͤΜ • HIPPA ίϯϓϥΠΞϯε౳ ඪ४ن֨ʹ४ڌ 24

Slide 24

Slide 24 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 選択可能な基盤モデル Amazon Bedrock JURASSIC-2 CLAUDE 2/2.1 SDXL 1.0 AMAZON TITAN COMMAND LLAMA 2 NEW テキスト生成用多言語対応 LLM 英語、西語、仏語独語、葡語、伊語蘭語誠実かつ責任ある AI システム研究に基づく会話、質問応答、ワークフロー自動化用LLM ユニークかつリアルな高品質画像生成アート、ロゴデザイン生成テキスト要約テキスト生成、分類質問応答、情報抽出 Embedding (埋め込み) 検索マルチモーダルテキスト要約コピーライティング対話、情報抽出質問応答等業務アプリ用テキスト生成モデル質問応答、文書読解等自然言語処理タスク用に事前学習、ファインチューニング済 LLM LLM: Large Language Model (大規模言語モデル) 25

Slide 25

Slide 25 text

Slide 26

Slide 26 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Bedrock の主要なアップデート 1. 新しい基盤モデルが利⽤可能に 2. Agents for Amazon Bedrock / Knowledge Base が利⽤可能に 3. Custom models の Fine-tuning が GA、Continued pre-training が登場 4. Model evaluation on Amazon Bedrock の発表 5. Guardrails for Amazon Bedrock の登場 6. Step Functions との統合をサポート 7. バッチ推論のサポート 27 時間都合でこの中の⼀部をピックアップして紹介します

Slide 27

Slide 27 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 新しい基盤モデルが利⽤可能に 28 Amazon Titan Image Generator (Preview) Amazon Titan Multimodal Embeddings Amazon Titan Text Lite and Express (GA) Stable Diffusion XL 1.0 (GA) Added Llama2 70B Claude 2.1 from Anthropic

Slide 28

Slide 28 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Anthropic Claude 2.1 29 • Amazon Bedrock で Claude 2.1 が利⽤可能に § 200k の context windows § ハルシネーションの割合を2分の1に削減 § ⻑いドキュメントの精度の向上 § GPT-4 Turbo と⽐較しても 20% ほど低いコスト § システムプロンプトが利⽤可能に § Function Calling 機能が試験的に追加⼀般利⽤開始バージニア / オレゴン https://aws.amazon.com/jp/blogs/aws/amazon-bedrock- now-provides-access-to-anthropics-latest-model-claude-2-1/

Slide 29

Slide 29 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Knowledge Base for Amazon Bedrock 30 Embedding Model Vector Database § データソースとなる S3 と格納先の Vector Database を指定するだけで、マネージドにドキュメントのベクトル化ができるドキュメントのチャンク化 Embeddings を⽣成する S3にデータを配置⼀般利⽤開始 • 基盤モデルとデータソースを組み合わせた拡張検索⽣成(RAG)をフルマネージドに実現可能にバージニア / オレゴン .txt / .md / .html .docx / .csv / .xlsx .pdf

Slide 30

Slide 30 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Knowledge Base for Amazon Bedrock 31 • Vector database は、OpenSearch Serverless、Redis Enterprise Cloud、Pinecone から選択できる § Amazon Aurora と MongoDB のサポートも近⽇中に追加予定 Redis Enterprise Cloud Vector Engine For Amazon OpenSearch Serverless C O M I N G S O O N MongoDB Pinecone Amazon Aurora C O M I N G S O O N ⼀般利⽤開始バージニア / オレゴン

Slide 31

Slide 31 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Agents for Amazon Bedrock ⽣成系 A I アプリケーションが社内のデータやシステムと連携しつつマルチステップでのタスクを完了できるようにします 32 | タスクを分解して調整 | | RAG のための企業データへの安全なアクセスと取得 | | ユーザーに代わって API 呼び出しを呼び出してアクションを実⾏する | | FM の思考の流れを追跡し、エージェントプロンプトを変更する機能 | 1 2 3 4 基盤モデルを選択基本的な指⽰を伝える関連するデータソースを選択実⾏可能なアクションを指定⼀般利⽤開始バージニア / オレゴン

Slide 32

Slide 32 text

Slide 33

Slide 33 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Agent ができること– タスク分解 • ユーザーの⼊⼒を複数の⼩さなタスクに分割し、タスクごとに適切な API を呼び出すことで回答を⽣成する 34 ユーザー XXX の現在の株価を教えてください。あと、XXXに関する最近のニュースを教えてください。⽂脈によると、XXX は企業の名前だな。銘柄コードを取得して、銘柄コードから株価を取得することはできそうだ。最近のニュースは Web から検索してくる必要がありそうだ。これらの情報をまとめたら、回答が⽣成できそうだ。 Agent (LLM) ⼀般利⽤開始

Slide 34

Slide 34 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Agent ができること– 回答 • ユーザーの⼊⼒を複数の⼩さなタスクに分割し、タスクごとに適切な API を呼び出すことで回答を⽣成する 35 ユーザー XXX の現在の株価を教えてください。あと、XXXに関する最近のニュースを教えてください。 XXX の2023-XX-XX 時点の株価は XXXX です。最近のニュースは以下のとおりです。 - xxxx (URL) - xxxx (URL) Agent (LLM) ⼀般利⽤開始

Slide 35

Slide 35 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Agents の使い⽅ - Knowledge Base を接続する（Optional） • Knowledge Base を Agent に参照させることで、拡張検索⽣成(RAG) をフルマネージドに実現可能 § Agent は RAG が必要だと判断した際に、Knowledge Base から情報を参照し、回答を⽣成する 36 Embedding Model Vector Database ドキュメントのチャンク化 Embeddings を⽣成する S3にデータを配置⼀般利⽤開始

Slide 36

Slide 36 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Action Group に定義した Lambda 関数 Agents の使い⽅ - Action Groups を定義する (Optional） • Agents for Bedrock がタスク実⾏時に使うことができる道具として、 Lambda 関数を定義することができる § 作成した関数のスキーマは OpenAPI フォーマットで定義する 37 Agent (LLM) getStockPrice 関数を使えば最新の株価情報を取得できるな。銘柄コードを Ticker として引数に渡せばいいんだな。 getStockPrice 関数 description: ”銘柄コードから株価を取得” Required: ”ticker” Ticker: type: “string” description: “銘柄コード” ⼀般利⽤開始

Slide 37

Slide 37 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Agents の挙動 – Action Group によるタスク処理 • ユーザーから⼊⼒されたインプットを元に、Action Group に定義された Lambda 関数を利⽤して回答を⽣成する 38 ユーザーこんにちは︕XXX の現在の株価を教えてくださいユーザーからの問い合わせは、悪意があるものではないな。⽂脈によると、XXX は企業の名前だな。 getStockTicker 関数で企業名から銘柄コードを取得して、 getStockPrice 関数で銘柄コードから株価を取得すれば回答できるな。 Agent (LLM) ⼀般利⽤開始

Slide 38

Slide 38 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Agents の挙動 – Knowledge Base によるタスク処理 • ユーザーから⼊⼒されたインプットを元に、Knowledge Base から RAG（検索拡張⽣成）を⾏う 39 ユーザーこんにちは︕無料プランから有料プランに移⾏したいのですがどうすればいいでしょうか︖ ユーザーからの問い合わせは、悪意があるものではないな。⽂脈によると、プランへのアップグレード⽅法について尋ねているな。 Knowledge Base の FAQ を検索すれば回答できるかもしれないな。 Agent (LLM) ⼀般利⽤開始

Slide 39

Slide 39 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Step Functions との統合をサポート 40 ⼀般利⽤開始 • AWS Step Functionsのワークフローに Amazon Bedrockによる⽣成系AIを組み込む機能を提供。カスタムコードの実装が不要になった • 2つのBedrock APIとの統合が可能 § InvokeModel API統合: S3からの情報を基盤モデルに渡したり、出⼒をS3に書き込むといったインタラクションを可能にする § CreateModelCustomizationJob API統合: モデルのファインチューニングが必要なワークフローで、その完了をまって次のステップの処理に移ることが可能

Slide 40

Slide 40 text

Slide 41

Slide 41 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⼈はより抽象的領域にフォーカス 42 • AWS の「ビルディングブロック」時に発⽣する繋ぎ込みが容易に Amazon EventBridge Pipes 、 AWS Step Functions の Amazon Bedrock 統合など⽇々 AWS Lambda によるサービス間接点の実装減の流れ • Amazon CodeWhisperer, Amazon Q による開発者⽀援

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Slide 51

Slide 51 text

Slide 52

Slide 52 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 今後の課題 53 「XXに1万円を振り込んでください」 • １０万円振り込んでしまったらどうしよう • ⼊出⾦履歴、⼝座情報が AI を通じて外に出てしまう不安 • 万が⼀に備えることが可能なプロンプトを作り込めるか︖ • AIを利⽤する上で開発者が細⼼の注意をはらう︖

Slide 53

Slide 53 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 今後の課題 54 「XXに1万円を振り込んでください」 • １０万円振り込んでしまったらどうしよう • ⼊出⾦履歴、⼝座情報が AI を通じて外に出てしまう不安 • 万が⼀に備えることが可能なプロンプトを作り込めるか︖ • AIを利⽤する上で開発者が細⼼の注意をはらう︖ 新たな取り組みに対して人がコストを多く払っていくことへの懸念

Slide 54

Slide 54 text

Slide 55

Slide 55 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Titan Image Generator 56 • スタジオ品質のリアルな画像を⼤量かつ低コストで作成可能 § 独⾃に⽤意した画像でモデルをファインチューニングすることで、ユースケースに適した画像⽣成を⾏うこともできる § Titan Image Generator で⽣成した画像には、⽬に⾒えない透かしが含まれており、AI が⽣成した画像を識別することができる § Txt2img だけでなく以下の機能も利⽤可能 § Image-to-image § inpainting、masking、outpainting プレビュー “Movie poster featuring a shark with an explosion in the background, intense action, high-stakes drama, cinematic lighting” バージニア / オレゴン AI の成果物の権利を守る

Slide 56

Slide 56 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Guardrails for Amazon Bedrock アプリケーション要件と責任ある A I ポリシーに合わせた保護⼿段を実装する 57 ファインチューニングモデルやエージェントを含め、すべてのFMにガードレールを適用責任ある AI ポリシーに基づいて、有害なコンテンツやトピックをフィルタリングして回避するように設定します。個人を特定できる情報をフィルタする (近日公開予定) プレビューバージニア / オレゴン AI の回答を安全にユーザーに届ける/不正な利用を防ぐ

Slide 57

Slide 57 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Guardrails for Amazon Bedrock のしくみ 58 プレビューユーザーユーザーの入力プロンプト Bedrockの生成内容 Guardrail Denied Topics Content Filters PII Redaction Word Filter 最終的な回答 * PII Redaction、Word Filter は Coming Soon

Slide 58

Slide 58 text

Slide 59

Slide 59 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Q for Business Use 60 • 社内データに基づく RAG チャットアプリケーションを簡単に構築することができる Amazon Q • ユーザー権限に基づくアクセス制御 • 40 以上のエンタープライズアプリケーションやドキュメントリポジトリに接続 • 管理者が簡単にガードレールを適⽤し、回答をカスタマイズおよび制御可能 • プラグインを利⽤し、 JiraやSalesforce、 ServiceNow、Zendeskとも連携可能プレビュー Generative AI を搭載したエンタープライズチャットアシスタント

Slide 60

Slide 60 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Q for Business Use 61 アプリケーションの作成 Retriever + データソースの選択デプロイ • Amazon Q for Business Use では以下の 3 ステップで RAG チャットアプリケーションを構築することができるプレビュー