未来の技術、現在の現実〜サーバーレスと Gen AI の交差点〜

© 2024, Amazon Web Services, Inc. or its affiliates. All
rights reserved. Serverless Meetup Tokyo #19 - AWS re:Invent 2023 re:Cap - Yoshitaka Kawaji Amazon Web Services Solutions Architect 未来の技術、現在の現実〜サーバーレスと Gen AI の交差点〜

rights reserved. 3 川路義隆（かわじよしたか）アマゾンウェブサービスジャパン合同会社ソリューションアーキテクト⼩売業のお客様向けのAWS導⼊・アーキテクチャ⽀援アジャイル・サーバーレス好きな AWS サービス Amazon API Gateway, AWS Lambda, AWS Step Functions ࣗݾ঺հ 3 AWS Lambda Amazon API Gateway AWS Step Functions @kawaji_scratch

rights reserved. Agenda 4 • サーバーレスと GenAI の現在 • サーバーレスと GenAI の未来

rights reserved. サーバーレスと GenAI の現在

rights reserved. 開発者向けサービスアップデート

rights reserved. Amazon Q for AWS Builder Use プレビュー

rights reserved. Amazon Q (For AWS Builder Use) 機能⼀覧 1. Chat 2. Feature development 3. Explain and update Code 4. Code Transformation 1. Conversational Q&A 2. Troubleshoot console errors 3. Chat with AWS support 8 Amazon Q in IDEs Amazon Q in the console https://docs.aws.amazon.com/amazonq/latest/aws-builder-use-ug/what-is.html プレビュー

rights reserved. Amazon Q in IDEs - Chat • チャット形式で開発に関して質問回答を⾏える機能 § コード⽣成、⽂法の質問、AWS サービスの仕様確認など • バックエンドは Amazon Bedrock を利⽤ • Visual Studio Code, JetBrains IDE にて利⽤可能 § 各 IDE 向けの AWS Toolkit をインストールすることで利⽤可能 9 プレビュー https://docs.aws.amazon.com/amazonq/latest/aws-builder- use-ug/q-in-IDE-chat.html

rights reserved. 10

rights reserved. Amazon Q in IDEs – Feature development • 現在のプロジェクトのコンテキストを利⽤して実装計画を作成 § ファイル作成や README 追記など機能開発全般の⼿順を指⽰ § /src フォルダもしくはワークスペースのルート下のファイルを解析 • 利⽤には以下の制限あり § Visual Studio Code のみ対応 § CodeWhisperer Professional ユーザーのみ利⽤可 11 https://docs.aws.amazon.com/amazonq/latest/aws- builder-use-ug/feature-dev.html プレビュー

rights reserved. Amazon Q in IDEs – Explain and update code • コードブロックを指定して、以下の操作が可能 § Explain § Refactor § Fix § Optimizer § Send to prompt 12 https://docs.aws.amazon.com/amazonq/ latest/aws-builder-use-ug/explain- update-code.html プレビュー

rights reserved. Amazon Q in IDEs – Code Transformation 13 https://docs.aws.amazon.com/amazonq/latest/aws- builder-use-ug/code-transformation.html • アプリケーションの⾔語バージョンアップデートを⾃動化 • 現在の対応⾔語は以下 § 変換元︓Java 8, 11 § 変換先︓Java 17 • 利⽤には以下の条件あり § Visual Studio Code, IntelliJ に対応 § CodeWhisperer Professional ユーザーのみ利⽤可プレビュー

rights reserved. Amazon Q in the console – Conversational Q&A • コンソール上でチャット形式の QA を⾏える機能 • 質問例︓ § ユースケースに合った AWS サービスの提案 – How do I create and host a website on AWS? § AWS サービスの仕様の確認 – What’s the maximum runtime for a Lambda function? • EC2 インスタンスタイプの推奨も可能（下記リンク参照） 14 プレビュー https://aws.amazon.com/blogs/aws/amazon-q-brings-generative-ai- powered-assistance-to-it-pros-and-developers-preview/

rights reserved. Amazon Q in the console – Troubleshoot console errors • コンソール上で出たエラーを解析 § エラー原因の提⽰および解決策の提案が可能 § デバッグの省⼒化につながる • 現在 US West 2（オレゴン）のみに対応 § グローバルサービスの場合、事前にリージョン変更が必要 15 プレビュー https://docs.aws.amazon.com/amazonq/latest/aws-builder- use-ug/troubleshoot-console-errors.html

rights reserved.

rights reserved. Amazon Q in the console – Chat with AWS Support • コンソール上の Amazon Q からサポートケース作成が可能 § AWS Support との連絡⽅法でチャット形式を選択した場合、Amazon Q 上でチャットを継続可能 § 連絡⽅法に電話もしくはEメールを選択した場合は従来どおり別途連絡 17 プレビュープレビュー

rights reserved. CodeWhisperer 2 プレビュー期間中に Amazon が実施した⽣産性テストによると、CodeWhisperer を利⽤した参加者は利⽤していない参加者と⽐べてタスクを完了させる確率が 27 % 上昇し、完了速度も 57 % ⾼速化。コード候補をリアルタイムに生成コード生成コードをスキャンして、見つけにくい脆弱性をチェックセキュリティスキャンオープンソースの学習データに似たコードへフラグ付けもしくはデフォルトでフィルタリングリファレンストラッカーアプリケーションをより⾼速かつセキュアに開発するための A I コーディングコンパニオン

rights reserved. Amazon CodeWhisperer Customization（プレビュー） • プライベートコードレポジトリを読み込ませ、内部ライブラリや API を含むコードを⽣成できるようカスタマイズ § ソースとして CodeStar (Github, GitLab, Bitbucket) もしくは S3 を指定 • Java, JavaScript, Python, TypeScript をサポート • CodeWhisperer Professional ユーザーのみ利⽤可能 19 プレビュー https://docs.aws.amazon.com/codewhisperer/latest/usergui de/customizations.html

rights reserved. Amazon CodeWhisperer Dashboard • ⽣成したコードの⾏数や採択率、セキュリティスキャンの回数などをダッシュボードとして表⽰ § PoC や本番利⽤時に開発効率化への貢献度を測定可能 • CodeWhisperer Professional の管理者が確認可能 20 ⼀般利⽤開始 https://docs.aws.amazon.com/codewhisperer/latest/usergui de/dashboard.html

rights reserved. Amazon CodeWhisperer for command line • CLI コマンドの⾃動補完ができるツール § Git, npm など 500 以上の CLI に対応 • `cw ai` コマンドにより⾃然⾔語をシェルスクリプトへ変換可能 • 2023年8⽉に AWS が買収した fig がベース • macOS の主要なシェルで利⽤可能（bash, zsh, fish など） 21 ⼀般利⽤開始 https://aws.amazon.com/jp/blogs/news/introducing- amazon-codewhisperer-for-command-line/

rights reserved. Amazon Bedrock

rights reserved. 23 単一の API で主要な基盤モデルにアクセス基盤モデルのカスタマイズ検索拡張生成 (RAG) 複雑なタスクを実行可能なエージェントセキュリティ・プライバシー・安全性 Amazon Bedrock 基盤モデルによる生成系 AI アプリケーションを構築してスケーリングする最も簡単な方法 Ұ ൠ ఏ ڙ ։ ࢝ ౦ژϦʔδϣϯͰ΋ఏڙ։࢝ 完全マネージド型サービスで、APIという形で提供する従量課金制モデル

rights reserved. • ͓٬༷ͷσʔλ͕ ར༻͞ΕΔج൫Ϟσϧͷֶशʹ ར༻͞ΕΔ͜ͱ͸͋Γ·ͤΜ • શͯͷσʔλ͸҉߸Խ͞Ε సૹɺอଘ͞Ε·͢ • GDPR (Ұൠσʔλอޢنଇʣ Amazon Bedrock ͳΒɺ͓٬༷σʔλ͸ GDPR: General Data Protection Regulation HIPPA: Health Insurance Portability and Accountability Act (医療保険の携行性と責任に関する法律) • σʔλ͕͓٬༷ͷ Ծ૝ϓϥΠϕʔτΫϥ΢υ (VPC) Λ཭ΕΔ͜ͱ͸ ͋Γ·ͤΜ • HIPPA ίϯϓϥΠΞϯε౳ ඪ४ن֨ʹ४ڌ 24

rights reserved. 選択可能な基盤モデル Amazon Bedrock JURASSIC-2 CLAUDE 2/2.1 SDXL 1.0 AMAZON TITAN COMMAND LLAMA 2 NEW テキスト生成用多言語対応 LLM 英語、西語、仏語独語、葡語、伊語蘭語誠実かつ責任ある AI システム研究に基づく会話、質問応答、ワークフロー自動化用LLM ユニークかつリアルな高品質画像生成アート、ロゴデザイン生成テキスト要約テキスト生成、分類質問応答、情報抽出 Embedding (埋め込み) 検索マルチモーダルテキスト要約コピーライティング対話、情報抽出質問応答等業務アプリ用テキスト生成モデル質問応答、文書読解等自然言語処理タスク用に事前学習、ファインチューニング済 LLM LLM: Large Language Model (大規模言語モデル) 25

rights reserved. Amazon Bedrock アップデート

rights reserved. Amazon Bedrock の主要なアップデート 1. 新しい基盤モデルが利⽤可能に 2. Agents for Amazon Bedrock / Knowledge Base が利⽤可能に 3. Custom models の Fine-tuning が GA、Continued pre-training が登場 4. Model evaluation on Amazon Bedrock の発表 5. Guardrails for Amazon Bedrock の登場 6. Step Functions との統合をサポート 7. バッチ推論のサポート 27 時間都合でこの中の⼀部をピックアップして紹介します

rights reserved. 新しい基盤モデルが利⽤可能に 28 Amazon Titan Image Generator (Preview) Amazon Titan Multimodal Embeddings Amazon Titan Text Lite and Express (GA) Stable Diffusion XL 1.0 (GA) Added Llama2 70B Claude 2.1 from Anthropic

rights reserved. Anthropic Claude 2.1 29 • Amazon Bedrock で Claude 2.1 が利⽤可能に § 200k の context windows § ハルシネーションの割合を2分の1に削減 § ⻑いドキュメントの精度の向上 § GPT-4 Turbo と⽐較しても 20% ほど低いコスト § システムプロンプトが利⽤可能に § Function Calling 機能が試験的に追加⼀般利⽤開始バージニア / オレゴン https://aws.amazon.com/jp/blogs/aws/amazon-bedrock- now-provides-access-to-anthropics-latest-model-claude-2-1/

rights reserved. Knowledge Base for Amazon Bedrock 30 Embedding Model Vector Database § データソースとなる S3 と格納先の Vector Database を指定するだけで、マネージドにドキュメントのベクトル化ができるドキュメントのチャンク化 Embeddings を⽣成する S3にデータを配置⼀般利⽤開始 • 基盤モデルとデータソースを組み合わせた拡張検索⽣成(RAG)をフルマネージドに実現可能にバージニア / オレゴン .txt / .md / .html .docx / .csv / .xlsx .pdf

rights reserved. Knowledge Base for Amazon Bedrock 31 • Vector database は、OpenSearch Serverless、Redis Enterprise Cloud、Pinecone から選択できる § Amazon Aurora と MongoDB のサポートも近⽇中に追加予定 Redis Enterprise Cloud Vector Engine For Amazon OpenSearch Serverless C O M I N G S O O N MongoDB Pinecone Amazon Aurora C O M I N G S O O N ⼀般利⽤開始バージニア / オレゴン

rights reserved. Agents for Amazon Bedrock ⽣成系 A I アプリケーションが社内のデータやシステムと連携しつつマルチステップでのタスクを完了できるようにします 32 | タスクを分解して調整 | | RAG のための企業データへの安全なアクセスと取得 | | ユーザーに代わって API 呼び出しを呼び出してアクションを実⾏する | | FM の思考の流れを追跡し、エージェントプロンプトを変更する機能 | 1 2 3 4 基盤モデルを選択基本的な指⽰を伝える関連するデータソースを選択実⾏可能なアクションを指定⼀般利⽤開始バージニア / オレゴン

rights reserved. Agent ができること • ユーザーの⼊⼒を複数の⼩さなタスクに分割し、タスクごとに適切な API を呼び出すことで回答を⽣成する 33 ユーザー XXX の現在の株価を教えてください。あと、XXXに関する最近のニュースを教えてください。⼀般利⽤開始

rights reserved. Agent ができること– タスク分解 • ユーザーの⼊⼒を複数の⼩さなタスクに分割し、タスクごとに適切な API を呼び出すことで回答を⽣成する 34 ユーザー XXX の現在の株価を教えてください。あと、XXXに関する最近のニュースを教えてください。⽂脈によると、XXX は企業の名前だな。銘柄コードを取得して、銘柄コードから株価を取得することはできそうだ。最近のニュースは Web から検索してくる必要がありそうだ。これらの情報をまとめたら、回答が⽣成できそうだ。 Agent (LLM) ⼀般利⽤開始

rights reserved. Agent ができること– 回答 • ユーザーの⼊⼒を複数の⼩さなタスクに分割し、タスクごとに適切な API を呼び出すことで回答を⽣成する 35 ユーザー XXX の現在の株価を教えてください。あと、XXXに関する最近のニュースを教えてください。 XXX の2023-XX-XX 時点の株価は XXXX です。最近のニュースは以下のとおりです。 - xxxx (URL) - xxxx (URL) Agent (LLM) ⼀般利⽤開始

rights reserved. Agents の使い⽅ - Knowledge Base を接続する（Optional） • Knowledge Base を Agent に参照させることで、拡張検索⽣成(RAG) をフルマネージドに実現可能 § Agent は RAG が必要だと判断した際に、Knowledge Base から情報を参照し、回答を⽣成する 36 Embedding Model Vector Database ドキュメントのチャンク化 Embeddings を⽣成する S3にデータを配置⼀般利⽤開始

rights reserved. Action Group に定義した Lambda 関数 Agents の使い⽅ - Action Groups を定義する (Optional） • Agents for Bedrock がタスク実⾏時に使うことができる道具として、 Lambda 関数を定義することができる § 作成した関数のスキーマは OpenAPI フォーマットで定義する 37 Agent (LLM) getStockPrice 関数を使えば最新の株価情報を取得できるな。銘柄コードを Ticker として引数に渡せばいいんだな。 getStockPrice 関数 description: ”銘柄コードから株価を取得” Required: ”ticker” Ticker: type: “string” description: “銘柄コード” ⼀般利⽤開始

rights reserved. Agents の挙動 – Action Group によるタスク処理 • ユーザーから⼊⼒されたインプットを元に、Action Group に定義された Lambda 関数を利⽤して回答を⽣成する 38 ユーザーこんにちは︕XXX の現在の株価を教えてくださいユーザーからの問い合わせは、悪意があるものではないな。⽂脈によると、XXX は企業の名前だな。 getStockTicker 関数で企業名から銘柄コードを取得して、 getStockPrice 関数で銘柄コードから株価を取得すれば回答できるな。 Agent (LLM) ⼀般利⽤開始

rights reserved. Agents の挙動 – Knowledge Base によるタスク処理 • ユーザーから⼊⼒されたインプットを元に、Knowledge Base から RAG（検索拡張⽣成）を⾏う 39 ユーザーこんにちは︕無料プランから有料プランに移⾏したいのですがどうすればいいでしょうか︖ ユーザーからの問い合わせは、悪意があるものではないな。⽂脈によると、プランへのアップグレード⽅法について尋ねているな。 Knowledge Base の FAQ を検索すれば回答できるかもしれないな。 Agent (LLM) ⼀般利⽤開始

rights reserved. Step Functions との統合をサポート 40 ⼀般利⽤開始 • AWS Step Functionsのワークフローに Amazon Bedrockによる⽣成系AIを組み込む機能を提供。カスタムコードの実装が不要になった • 2つのBedrock APIとの統合が可能 § InvokeModel API統合: S3からの情報を基盤モデルに渡したり、出⼒をS3に書き込むといったインタラクションを可能にする § CreateModelCustomizationJob API統合: モデルのファインチューニングが必要なワークフローで、その完了をまって次のステップの処理に移ることが可能

rights reserved. サーバーレスと GenAI の未来

rights reserved. ⼈はより抽象的領域にフォーカス 42 • AWS の「ビルディングブロック」時に発⽣する繋ぎ込みが容易に Amazon EventBridge Pipes 、 AWS Step Functions の Amazon Bedrock 統合など⽇々 AWS Lambda によるサービス間接点の実装減の流れ • Amazon CodeWhisperer, Amazon Q による開発者⽀援

rights reserved. ⼈はより抽象的領域にフォーカス 43 • Agents for Amazon Bedrock ではタスク実⾏時の Lambda 関数を動的に選択して呼び出すことが可能

rights reserved. ⼈はより抽象的領域にフォーカス 44 • ⼈がやりたいことを伝えることで期待する結果を得られる世界に向かっていく • テクノロジーの進化により⼈はより⽣産的な活動にフォーカスしていく

rights reserved. Demo

rights reserved. 46

rights reserved. AI が⼈のアシスタントから主たる業務担当へ 47 ⼈が⾏う領域 AI が担う領域

rights reserved. AI が⼈のアシスタントから主たる業務担当へ 48 ⼈が⾏う領域 AI が担う領域

rights reserved. 今後の課題 49 「XXに1万円を振り込んでください」

rights reserved. 今後の課題 50 「XXに1万円を振り込んでください」 • １０万円振り込んでしまったらどうしよう

rights reserved. 今後の課題 51 「XXに1万円を振り込んでください」 • １０万円振り込んでしまったらどうしよう • ⼊出⾦履歴、⼝座情報が AI を通じて外に出てしまう不安

rights reserved. 今後の課題 52 「XXに1万円を振り込んでください」 • １０万円振り込んでしまったらどうしよう • ⼊出⾦履歴、⼝座情報が AI を通じて外に出てしまう不安 • 万が⼀に備えることが可能なプロンプトを作り込めるか︖

rights reserved. 今後の課題 53 「XXに1万円を振り込んでください」 • １０万円振り込んでしまったらどうしよう • ⼊出⾦履歴、⼝座情報が AI を通じて外に出てしまう不安 • 万が⼀に備えることが可能なプロンプトを作り込めるか︖ • AIを利⽤する上で開発者が細⼼の注意をはらう︖

rights reserved. 今後の課題 54 「XXに1万円を振り込んでください」 • １０万円振り込んでしまったらどうしよう • ⼊出⾦履歴、⼝座情報が AI を通じて外に出てしまう不安 • 万が⼀に備えることが可能なプロンプトを作り込めるか︖ • AIを利⽤する上で開発者が細⼼の注意をはらう︖ 新たな取り組みに対して人がコストを多く払っていくことへの懸念

rights reserved. よりセキュアな環境、よりマネージドな世界へ 55 安全な環境での AI 活用マネージドサービスによるプロンプト活用

rights reserved. Amazon Titan Image Generator 56 • スタジオ品質のリアルな画像を⼤量かつ低コストで作成可能 § 独⾃に⽤意した画像でモデルをファインチューニングすることで、ユースケースに適した画像⽣成を⾏うこともできる § Titan Image Generator で⽣成した画像には、⽬に⾒えない透かしが含まれており、AI が⽣成した画像を識別することができる § Txt2img だけでなく以下の機能も利⽤可能 § Image-to-image § inpainting、masking、outpainting プレビュー “Movie poster featuring a shark with an explosion in the background, intense action, high-stakes drama, cinematic lighting” バージニア / オレゴン AI の成果物の権利を守る

rights reserved. Guardrails for Amazon Bedrock アプリケーション要件と責任ある A I ポリシーに合わせた保護⼿段を実装する 57 ファインチューニングモデルやエージェントを含め、すべてのFMにガードレールを適用責任ある AI ポリシーに基づいて、有害なコンテンツやトピックをフィルタリングして回避するように設定します。個人を特定できる情報をフィルタする (近日公開予定) プレビューバージニア / オレゴン AI の回答を安全にユーザーに届ける/不正な利用を防ぐ

rights reserved. Guardrails for Amazon Bedrock のしくみ 58 プレビューユーザーユーザーの入力プロンプト Bedrockの生成内容 Guardrail Denied Topics Content Filters PII Redaction Word Filter 最終的な回答 * PII Redaction、Word Filter は Coming Soon

rights reserved. Amazon Q for Business Use プレビュー

rights reserved. Amazon Q for Business Use 60 • 社内データに基づく RAG チャットアプリケーションを簡単に構築することができる Amazon Q • ユーザー権限に基づくアクセス制御 • 40 以上のエンタープライズアプリケーションやドキュメントリポジトリに接続 • 管理者が簡単にガードレールを適⽤し、回答をカスタマイズおよび制御可能 • プラグインを利⽤し、 JiraやSalesforce、 ServiceNow、Zendeskとも連携可能プレビュー Generative AI を搭載したエンタープライズチャットアシスタント

rights reserved. Amazon Q for Business Use 61 アプリケーションの作成 Retriever + データソースの選択デプロイ • Amazon Q for Business Use では以下の 3 ステップで RAG チャットアプリケーションを構築することができるプレビュー

rights reserved. 62 必要なITリソースを必要な時に調達する

rights reserved. 63 必要なITリソースを必要な時に調達するプログラムを⽤意するのみ、処理実⾏時間に対する従量課⾦

rights reserved. 64 必要なITリソースを必要な時に調達するプログラムを⽤意するのみ、処理実⾏時間に対する従量課⾦ユーザーのやりたいことを伝えることで結果を得る

rights reserved. サーバーレス x AI が我々の⽬指す世界 65 かもしれません

rights reserved. Thank you!

未来の技術、現在の現実〜サーバーレスと Gen AI の交差点〜

未来の技術、現在の現実〜サーバーレスと Gen AI の交差点〜

More Decks by kawaji

Other Decks in Technology

Featured

Transcript