Agents for Amazon Bedrockで美味しいパンを購入したい

JAWS DAYS 2024 恒例!ソリューションアーキテクト怒涛のLTにおける発表資料

Transcript

1. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. J A W S D A Y S – L E A P B E Y O N D Agents for Amazon Bedrockで 美味しいパンを購入したい アマゾン ウェブ サービス ジャパン合同会社 エンタープライズ技術本部 ソリューションアーキテクト 川路 義隆
2. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 2 ⾃⼰紹介 川路 義隆 アマゾン ウェブ サービス ジャパン合同会社 ソリューションアーキテクト • ⼩売業のお客様の⽀援 • サーバーレス導⼊⽀援 @kawaji_scratch
3. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 3 基盤モデルを活⽤した ⽣成 AI アプリケーションを 簡単に構築、拡張できる⽅法 Amazon Bedrock API を介してさまざまな基盤モデルにアクセス、 インフラ管理は不要 お客様の業務⽤途に適した基盤モデルを選択 Amazon、AI21 Labs、 Anthropic、Cohere、Meta、Stability AI 東京リージョン含む 6 つのリージョンで⼀般提供 ( 2024 年 1 ⽉時点) エージェント機能、RAG 機能、⾮公開でのモデル のカスタマイズなど基盤モデルの効果を⾼める さまざまな機能を提供 データセキュリティやコンプライアンスを実現
4. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 4 データセキュリティ・コンプライアンス お客様のデータが 基盤モデルの学習や AWS およびサードパーティーの モデルプロバイダーに 共有されることは無い お客様のデータはすべて作成 されたリージョンに留まる 全ての転送・保管されるデータ は常に暗号化 AWS PrivateLink を使うことで Amazon VPC と Amazon Bedrock 間の プライベート接続を実現 HIPPA コンプライアンス等 標準規格に準拠 GDPR (⼀般データ保護規則）
5. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 5 幅広い基盤モデルの選択肢をご提供 Amazon Bedrock JURASSIC-2 CLAUDE SDXL 1.0 AMAZON TITAN COMMAND & EMBED LLAMA 2 Command Command Light Jurassic-2 Ultra Jurassic-2 Mid テ キ ス ト ⽣ 成 Claude 2.1 Claude 2.0 Claude Instant Claude 1.3 テ キ ス ト ⽣ 成 埋 め 込 み Embed - Multiligual Embed - English テ キ ス ト ⽣ 成 Llama-2-70b-chat Llama-2-13b-chat 画 像 ⽣ 成 SDXL 1.0 SDXL 0.8 テ キ ス ト ⽣ 成 Titan Text Express Titan Text Lite 埋 め 込 み Titan Multimodal Embeddings Titan Text Embeddings 画 像 ⽣ 成 Titan Image Generator (Preview) ※ AWS re:Invent 2023 で発表あるいは⼀般提供開始されたもの テ キ ス ト ⽣ 成
6. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 6 Amazon Bedrock の機能全体像 Input Claude 2.1 Llama 2 Titan Multimodal Embeddings … Output 様々な基盤モデルを提供 Guardrails for Amazon Bedrock カスタマイズされた セーフガードの実装 Agents for Amazon Bedrock フルマネージド型のエージェント機能 Model Invocation Logging ⼊出⼒結果のログ記録 Knowledge Bases for Amazon Bedrock フルマネージド型の RAG 機能 Fine Tuning / Continued Pre-training カスタムモデルの構築 Provisioned Throughput 安定した API 実⾏のために スループットを確保 Model Evaluation on Amazon Bedrock 最適なモデル選択のための 複数モデルの評価・⽐較 ベクトル DB Agent Custom Model 外部 API
7. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 7 Amazon Bedrock の機能全体像 Input Claude 2.1 Llama 2 Titan Multimodal Embeddings … Output 様々な基盤モデルを提供 Guardrails for Amazon Bedrock カスタマイズされた セーフガードの実装 Agents for Amazon Bedrock フルマネージド型のエージェント機能 Model Invocation Logging ⼊出⼒結果のログ記録 Knowledge Bases for Amazon Bedrock フルマネージド型の RAG 機能 Fine Tuning / Continued Pre-training カスタムモデルの構築 Provisioned Throughput 安定した API 実⾏のために スループットを確保 Model Evaluation on Amazon Bedrock 最適なモデル選択のための 複数モデルの評価・⽐較 ベクトル DB Agent Custom Model 外部 API
8. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 8 Agent ユーザーの⼊⼒を複数の⼩さなタスクに分割し、 タスクごとに適切な API を呼び出すことで回答を⽣成する ユーザー XXX の現在の株価を教えてください。あと、XXX に関する 最近のニュースを教えてください。 Agent (LLM) ⽂脈によると、XXX は企業の名前だな。 銘柄コードを取得して、銘柄コードから株価を取得することはできそうだ。 最近のニュースは Web から検索してくる必要がありそうだ。 これらの情報をまとめたら、回答が⽣成できそうだ。
9. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 9 やりたいこと 部活の先輩の「美味しいパン買ってこい」に成功したい!! 先輩 おい、川路。今からパン買ってこい。美味しいやつ頼む。 私 どんなパンがいいですか︖ 先輩 美味しければなんでもいい。 美味しくなかったらお前の⾃腹なー。10分以内。 ヒアリングしている時間はない︕︕
10. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Agentsの使い方 10 Action Group に定義した Lambda 関数 • Agents for Bedrock がタスク実行時に使うことができる道具として、 Lambda 関数を定義することができる § 作成した関数のスキーマは OpenAPI フォーマットで定義する Agent (LLM) getStockPrice 関数を使えば 最新の株価情報を取得できるな。 銘柄コードを Ticker として引数 に渡せばいいんだな。 getStockPrice 関数 description: ”銘柄コードから株価を取得” Required: ”ticker” Ticker: type: “string” description: “銘柄コード”
11. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 11 完成イメージ おい、川路。今からパン買ってこい。美味しいやつ頼む。 先輩の過去⾷べてたパンから◦ ◦パンが良さそうだ 先輩 Agent (LLM) Agent (LLM) ▲▲製パンの注⽂APIで注⽂Done!! 私 ダッシュで取りに⾏ってくる︕ Bedrockありがとう︕︕
12. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. アーキテクチャ 12 Agent パン購⼊外部 API 先輩の好きなパンDB （先輩のクレジットカード） 先輩の好きなパン取得 パン購⼊ ActionGroup
13. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. まとめ 13 • Agents を利⽤することで複雑なタスクを⾏わせることができる § 複数のタスクが含まれる指⽰を⽣成AIが分解し 対応するLambda関数を⾒つける § 外部APIを呼び出したり、DBを参照したりできる できること
14. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. まとめ 14 • 先輩の好きなパンDBを構築するまでに⾃腹でたくさん パン買う必要が・・・ • パンを発注するAPIが⾒つからなかった （誰かコンビニのテイクアウト注⽂API開発してください） • 先輩のクレジットカード情報⼊⼿できず できなかったこと
15. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Thank you! © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.