AWSの⽣成AIサービス Amazon Bedrock⼊⾨︕ KDDIアジャイル開発センター株式会社 テックエバンジェリスト 御⽥ 稔 2024/6⽉ 最新版

1 KDDI Agile Development Center Corporation $ whoami 御⽥ 稔（みのるん） @minorun365 テックエバンジェリスト KDDIアジャイル開発センター（KAG）＆ KDDI兼務 JAWS-UG運営 東京⽀部 / SRE⽀部 / NW-JAWS • AWS Samurai 2023 • 2024 Japan AWS Top Engineer & All Certs • AWS Community Builder

2 KDDI Agile Development Center Corporation ⽣成AIブーム、すごいですよね︕

3 KDDI Agile Development Center Corporation 多くの企業が「⽣成AI活⽤」に⼒を⼊れている 弊社も⽣成AIで ブチ上げるぞい︕ チミ、推進担当 よろしくな︕ えらいひと

4 KDDI Agile Development Center Corporation ⽣成AIブームの⽕付け役（⼀例） テキスト⽣成 画像⽣成 ChatGPT Stable Diffusion

5 KDDI Agile Development Center Corporation クラウド各社の⽣成AIサービス展開（アプリケーション開発者向け） マイクロソフト（Azure OpenAI Service） グーグル（Google Cloud Vertex AI） オラクル（OCI Generative AI） アマゾン（Amazon Bedrock）

6 KDDI Agile Development Center Corporation AWSクラウド Amazon Bedrockとは︖ • AWSが提供する開発者向けの⽣成AIサービス • ⽣成AIモデルをサーバーレスで、APIとして利⽤できる︕ アプリケーション サーバー Amazon Bedrock APIを叩くだけ アプリ利⽤者

7 KDDI Agile Development Center Corporation Bedrockの何がいいの︖ OpenAIとかあるやん︕ • 何よりAWSのいちサービスとして⽣成AIが使える 利⽤者多いのでエンジニアも⾒つけやすく、既存AWSシステムにも組み込みやすい。 コミュニティが超活発なので、最新機能の知⾒も爆速でインターネットに転がります • ⾊んなAI企業の有⼒モデルをいいとこ取りできる テキスト⽣成はClaude、RAG⽤の埋め込みならCohere Embed、 画像⽣成はStable Diffusion…など。モデルは⽇々追加されていく • エンプラReady。セキュリティ、ガバナンス、サポートの品質︕ ⼊⼒データが学習されない、閉域ネットワーク対応など。 AWSサポートも⾮常に評判よく、優先度低のチケットもそこそこ爆速で親切に返ってきます

8 KDDI Agile Development Center Corporation そんなBedrockの機能紹介︕

9 KDDI Agile Development Center Corporation Bedrockのメイン機能︓⽣成AIモデルを⼿軽に使える︕ 2024年6⽉時点で7社、33モデルが利⽤可能 Anthropic • Claude 3.5 Sonnet • Claude 3 Opus • Claude 3 Sonnet • Claude 3 Haiku • Claude 2.1 / Instant Cohere • Command R / R+ • Command • Command Light • Embed English • Embed Multilingual Stability AI • SDXL 1.0 Amazon • Titan Text Premier • Titan Text Express / Lite • Titan Text Embeddings • Titan Multimodal Embeddings • Titan Image Generator Meta • Llama 3 70B / 8B • Llama 2 Chat 70B • Llama 2 Chat 13B • Llama 2 70B • Llama 2 13B Mistral AI • Mistral Large • Mistral Small • Mixtral 8x7B • Mistral 7B AI21 Labs • Jumba-Instruct • Jurrasic-2 Ultra • Jurrasic-2 Mid

10 KDDI Agile Development Center Corporation 多すぎる︕︕︕ ΞϚκϯͷ Ϟσϧ͸ ଟ͗͢Δɻ

11 KDDI Agile Development Center Corporation 結局、おすすめモデルはどれなの︖ • テキスト⽣成︓Claude（Anthropic社） ◦ 最新のClaude 3.5 SonnetはGPT-4oを超えた︖と評判 ◦ マルチモーダル（テキスト＋画像）の⼊⼒にも対応 • 埋め込み︓Embedシリーズ（Cohere社） ◦ ⽇本語含め、多⾔語対応のMultilingualモデルもあり • 画像⽣成︓Stable Diffusion XL（Stability AI社） ◦ ただしAmazonのTitan Image Generatorもそこそこ良い （コスパ⾼く、写実系の画像⽣成が優秀） 6/20 新モデル登場︕ Claude 3.5 Sonnet

12 KDDI Agile Development Center Corporation Bedrockあるある「イベント当⽇に新機能が⽣える」 本⽇2024/6/26 未明、AI21 Labs社の新モデル 「Jambda-Instruct」が登場 🎉 • 256Kトークンという⼤容量の⼊⼒が可能 • 同社のJurassic-2シリーズより⾼性能 • 英語のみ対応 ⻑⼤な⽂書（⽂庫本レベル）を渡して、 要約させたり質問するような使い⽅が得意。 いちおう⽇本語でも喋ってくれます

13 KDDI Agile Development Center Corporation 実際に使ってみよう︕（GUI編） AWSマネコンから、 プレイグラウンドで 簡単に試せます

14 KDDI Agile Development Center Corporation 実際に使ってみよう︕（API編） 実際のアプリケーション開発では、BedrockのモデルをAPIから利⽤します ⽣成AIフレームワーク（LangChain）を利⽤ Python（AWS SDK）からテキスト⽣成

15 KDDI Agile Development Center Corporation AWSクラウド よくある⽣成AIアプリのアーキテクチャ例 Amazon Bedrock Amazon DynamoDB AWS Lambda Amazon S3 Amazon API Gateway ブラウザから Webチャット フロントエンド バックエンド 会話履歴 社内チャットボット の例 ⽣成AIモデル

16 KDDI Agile Development Center Corporation モデル以外にも、いろんな機能がある︕

17 KDDI Agile Development Center Corporation エンプラでも安⼼の付随機能 • メトリクス監視、ログ出⼒（CloudWatch） • 監査証跡保存（CloudTrail） • 閉域対応（PrivateLink） AWSクラウド Amazon Bedrock VPC AWS PrivateLink アプリケーション

18 KDDI Agile Development Center Corporation ⾊んな応⽤機能もあります（⼀例） • ナレッジベース＆エージェント ⾼度なAIアプリを、複雑なコードを書かずとも簡単に作れる • ファインチューニング＆事前学習 ⾃分のデータを⼤量に⾷わせてモデルを学習させられる • ガードレール AIがヤバいこと⾔わないように制御できる • モデル評価 どのモデルを使えばいいの!? を点数評価してくれる

19 KDDI Agile Development Center Corporation イチオシ機能① ナレッジベース for Amazon Bedrock AIに参考⽂献を検索させる「RAG（検索によって強化された⽣成）」を実現する機能 RAGが ないとき RAGが あるとき KAGってどんな会社︖ 家具屋さんです 参考⽂献 KAGってどんな会社︖ KDDIアジャイル開発 センター株式会社です 検索 事前学習 していない 質問は苦⼿

20 KDDI Agile Development Center Corporation AWSクラウド イチオシ機能① ナレッジベース for Amazon Bedrock ⽣成AIでみんなやる社内⽂書検索、RAGアーキテクチャがAWSマネコンから簡単に作れる︕ 社内⽂書 ナレッジベース for Bedrock 埋め込み モデル 回答⽣成 モデル OpenSearch Serverless ベクトル変換 結果取得 同期 質問 回答⽣成 有休の 申請⽅法は︖ ⾃然⾔語のテキストを ベクトルとして保存。 ➡ 意味検索ができる︕

21 KDDI Agile Development Center Corporation AWSクラウド イチオシ機能② エージェント for Amazon Bedrock ⽣成AIに細かく指⽰出すの⾯倒ですよね︖ ⼤きな⽬的を与えるとAI⾃ら⾏動計画を⽴てて、 • 必要あればLambda関数を実⾏したり… • 必要あればナレッジベースを⾒にいったり… そんな⾃律型AIエージェントを マネコンから簡単に作れる︕ ナレッジ ベース エージェント APIとして 呼び出せる 関数 基盤 モデル 外部 サービス など 今年の花⽕⼤会を調べて カレンダーに登録しといて︕

22 KDDI Agile Development Center Corporation 他のAWSサービスと組み合わせると⾯⽩い 例︓Step Functionsと組み合わせてAIアプリをローコード開発︕

23 KDDI Agile Development Center Corporation 注意点︓新機能は海外リージョンから順にリリースされる • 最新のモデルや機能は、東京に来るの待ってたら結構時間かかる ◦ Claudeなどの最新モデル来⽇までには数週間〜数ヶ⽉待つ必要あり ◦ ナレッジベースやエージェントは先⽇、ようやく東京リージョンにも対応 • ただ、ぶっちゃけここはそれほど障壁ではない。なぜなら… ◦ 海外のモデルだからレスポンスがめちゃ遅い︕みたいなことは全然ない ◦ リージョンまたいでも、AWSサービス間の通信はAWS設備内に閉じる ※Bedrock関係なく、もし個⼈情報を海外リージョン上に保管するような場合は データガバナンス⾯を社内相談しましょう ※社内ルールをちゃんと確認しましょう︕

24 KDDI Agile Development Center Corporation AWSには、Bedrock以外にも⽣成AIサービスがあります︕ japan.zdnet.com/article/35219048/ ⽣成AIをアプリとして 利⽤したい︕ ⽣成AIでアプリを 開発したい︕ ⽣成AIのモデルを 構築したい︕

25 KDDI Agile Development Center Corporation AWSには、Bedrock以外にも⽣成AIサービスがあります︕ ⽣成AIをアプリとして 利⽤したい︕ ⽣成AIでアプリを 開発したい︕ ⽣成AIのモデルを 構築したい︕ エンドユーザー向け （Amazon Qなど） アプリ開発者向け （Amazon Bedrock） 機械学習エンジニア向け （SageMakerシリーズなど）

26 KDDI Agile Development Center Corporation ⽣成AI領域、めっちゃ⾯⽩いんです︕

27 KDDI Agile Development Center Corporation ⽣成AI領域が⾯⽩いのはなぜ︖ • API叩くだけなので内製開発の⼊⾨にも持ってこい︕ • AIが賢いので、⼯夫次第ですぐ実⽤的なアプリに活かせる • 毎週アプデがたくさんあるので コミュニティで楽しく学べる 今朝のアプデ⾒た!? これ熱くね？？？ xxさんのブログが 分かりやすかったよ！

Be a Change Leader. アジャイルに⼒を与え 共に成⻑し続ける社会を創る