© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. AWS re:Invent 2024 以降の ⽣成 AI アップデート 20分で振り返る︕ 尾原 颯（Soh Ohara) Startup Solutions Architect Amazon Web Services Japan G.K.

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 2 ⾃⼰紹介 尾原 颯 アマゾン ウェブ サービス ジャパン合同会社 ソリューションアーキテクト スタートアップ（⽣成 AI ・ヘルスケア）の お客様中⼼に技術⽀援をしています。 東京⼤学⼯学部機械⼯学科卒業. 学⽣時代は ヘルスケアスタートアップなどにて 機械学習エンジニアインターン 3⽉に初ハーフマラソンに挑戦 🏃 著書 @soh_ohara 𝕏

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. アジェンダ AWS re:Invent 2024 ⽣成 AI アップデート振り返り DeepSeek on AWS 3

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. AWS re:Invent 2024 ⽣成 AI アップデート振り返り 4

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Amazon Bedrock 関連アップデート 5 • Amazon Bedrock InlineAgents • Amazon Bedrock Agents Custom Orchestration • 基盤モデルAmazon Nova が Amazon Bedrock で利⽤可能に(←) • Amazon Bedrock で更なるモデル選択肢拡充をアナウンス(←) • Amazon Bedrock Marketplace を発表(←) • Amazon Bedrock Intelligent Prompt Routing を発表 • Amazon Bedrock Prompt Caching を発表 • Amazon Bedrock が Rerank API をサポート • Amazon Bedrock のモデル蒸留機能を発表 (←) • Amazon Bedrock が複数エージェントの協調動作に対応(←) • Amazon Bedrock の Latency-optimized inference を発表 • Amazon Bedrock Data Automation を発表 • Amazon Bedrock Guardrails が Automated Reasoning Check に 対応 • Amazon Bedrock Guardrails のマルチモーダル有害性検知機能を発表 • Amazon Bedrock Knowledge Bases が GraphRAG に対応 • Amazon Bedrock Knowledge Bases が構造化データの取り込みをサ ポート • Amazon Bedrock Knowledge Bases がマルチモーダルデータに対応 • Amazon Bedrock Knowledge Bases が応答のストリーミングをサポート • Amazon Bedrock Knowledge Bases の⾃動クエリフィルタ機能を発表 • Amazon Bedrock Knowledge Bases が API によるデータ操作に対応 • Amazon Bedrock Knowledge Bases で RAG の評価機能をプレビュー開 始 • Amazon Bedrock Model Evaluation で LLM によるモデル評価機能のプ レビューを開始 • AWS AI Service Cards に新たなモデルを追加 • Amazon Bedrock Knowledge Bases で Quick Create on Postgres • Amazon Bedrock IDE のプレビューを開始

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Amazon Bedrock とは 6

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. データセキュリティ とプライバシー どのモデルを 使うべきか どうすれば 加速するか ⽣成 AI のお客様が

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 最先端の基盤モデルを単⼀ API で利⽤ モデルのカスタマイズ Retrieval Augmented Generation (RAG) マルチステップタスクのエージェント実⾏ セキュリティ・プライバシー・統制 Amazon Bedrock 基盤モデルと周辺ツール群で ⽣成 AI アプリケーションを構築及びス ケールする最も簡単な⽅法

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. AMAZON NOVA JAMBA CLAUDE COMMAND EMBED RERANK LLAMA LUMA RAY 2 ⻑コンテキストの効 果的な推論と迅速 な分析 ⾼品質な AI 画像 ⽣成及び AI 画像 編集 ⾼度な画像と ⾔語の推論 知識の要約、 エキスパートエージェ ント、コード補完 テキストと画像から の⾼品質な動画 ⽣成 ⼤規模企業向けソ フトウェアエンジニア リング AI STABLE DIFFUSION STABLE IMAGE MISTRAL MIXTRAL MALIBU POINT 低遅延の マルチモーダル AIエ ージェント、RAG、 ⾼品質な画像・ ビデオ⽣成 Computer Use を含む⾼度な推論 コーディング能⼒ マルチモーダル RAG と多⾔語知 識エージェント Amazon Bedrock 幅 広 い モ デ ル 選 択 肢 Coming soon

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Amazon Nova Reel Amazon Nova Canvas 最先端の知性と業界をリードする価格性能を提供する 最先端の基盤モデル C r e a t i v e C o n t e n t G e n e r a t i o n M o d e l s Amazon Nova Lite Amazon Nova Premier C O M I N G S O O N Amazon Nova Pro Amazon Nova Micro U n d e r s t a n d i n g M o d e l s Amazon Nova © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 010 ⼀ 般 利 ⽤ 開 始

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Amazon Nova Understanding Models Amazon Nova Micro Amazon Nova Lite Amazon Nova Pro Amazon Nova Premier GA 128K 200+ languages Text input; text output Yes GA 300K 200+ languages Text, image, video input; text output Yes GA 300K (5M coming soon) 200+ languages Text, image, video input; text output Yes Coming soon Coming soon Coming soon Coming soon Coming soon Availability ⼊⼒トークン⻑ 対応⾔語 ⼊⼒可能データ 形式 Fine-tuning

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Text to image ⾃然⾔語のプロンプトから⾼品質な画像を⽣成 ⾃動編集 マスク画像なしにテキストプロンプトで編集 Inpainting/Outpainting 物体の除去/置換、イメージの境界拡張 Image variations/Instant Customization インプットした画像に対して 5 以上の バリエーションを⽣成 画像制御、背景除去 ControlNet (canny, segmentation);ブランド⽤のカラーパレット ウォーターマークとモデレーション トレーサビリティ、有害なコンテンツの検出と除去 Amazon Nova Canvas C2PA ⽣成されたコンテンツに標準でメタデータが付与

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Text to video ⾃然⾔語プロンプトでビデオ⽣成 Image to video テキストによる説明とイメージでビデオを⽣成 Amazon Nova Reel 最先端のビデオ⽣成を 低レイテンシー、低コストで提供 カメラモーション制御 ⾃然⾔語プロンプトでカメラの動きを制御 ビルトインの安全と責任ある AI ウォーターマーク、モデレーション

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 3rd Party のモデル選択肢の拡充 14 • Amazon Bedrock で新たに2社のモデルプロバイダーと、 新モデルの選択肢拡充 • Poolside • malibu : コード⽣成、テスト記述、リファクタリング、ドキュメン テーションなど複雑な課題に対応 • point : 開発者のニーズを予測しコード補完を低遅延で • Luma • Luma Ray 2 : テキストや画像のプロンプトからリアルな動画 を⽣成 • Stability AI • Stable Diffusion 3.5 : テキストの説明⽂から⾼品質な画 像を⽣成。Amazon SageMaker Hyperpod で トレーニング アナウンス ⼀般利⽤開始 ⼀般利⽤開始

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. • コンソール画面で完結するシンプルな開発ワークフロー • カスタムスケールポリシーを指定した マネージドなエンドポイントでモデルをデプロイ • Agents、Knowledge Bases、Guardrails などの Amazon Bedrockが提供するツールとのネイティブ統合 • セキュアな API 経由でモデルへアクセスが可能 • 日本企業が提供するモデルも利用可能 • CyberAgentLM3-22B-Chat KARAKURI LM 8x7B Instruct、 Preferred Networks PLaMo、Stockmark LLM 13B （※アルファベット順） Amazon Bedrock Marketplace (GA) 100以上のモデルを Amazon Bedrock 上で テスト、検索、利用 https://aws.amazon.com/bedrock/marketplace/ ⼀ 般 利 ⽤ 開 始

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Amazon Bedrock model distillation • ⼤規模で⾼い能⼒を持つモデルは推論レイテンシが⾼く、実⾏コストも⾼くなる 傾向がある • 特定のユースケースに限り、⼤規模なモデルと同等の能⼒を持つ ⼩型モデルを作る⼿法が「モデルの蒸留」と呼ばれる • プレビューの段階では以下の プロバイダーのモデルに対応する • Anthropic • Meta • Amazon 17 プレビュー

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Prompts Responses 蒸留モデル ⾼性能な 教師モデルで 推論 軽量な ⽣徒モデルで 学習 モデル蒸留で⾼度なモデルの性能を コスト効率の⾼いモデルで再現

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Amazon Bedrock Agents の マルチエージェント対応 19

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. エネルギー効率管理エージェントの例 20 Energy Efficiency Management System - Multi-Agent Workshop https://github.com/aws- samples/bedrock-multi-agents- collaboration-workshop

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Amazon Bedrock Agents 会社のシステムとデータソースを使⽤して ⽣成 AI アプリケーションが複数のステップのタスクを実⾏ タスクを分解してオーケストレーション RAG のために会社のデータを安全にアクセスして取得 ユーザーの代わりに API を呼び出すアクションを取る Chain-of-thought トレースとエージェントプロンプトの修正 基 盤 モ デ ル を 選 択 基 本 的 な 指 ⽰ を 提 供 関 係 の あ る デ ー タ ソ ー ス を 選 択 利 ⽤ 可 能 な ア ク シ ョ ン を 指 定 1 2 3 4

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 従来の Amazon Bedrock Agents の動作 22 ⽣成 AI だけでは出来ないことを実現するための仕組み - 学習データに無い知識を使った回答作成 - プログラム / API の実⾏ ユーザー 私のエネルギー消費量の将来の予測と、過去の利⽤実 績との⽐較を教えてください あなたの予測エネルギー使⽤量は、以下の通りで、過 去データと⽐較して増加傾向にあります。 2024 年 11 ⽉ : 170.0、2024 年 12 ⽉: 175.0、 2025 年 1 ⽉ : 182.0 学習したデータからは回答できない… →タスクを、過去の消費量履歴の取得、将来 の予測消費量の取得、2 つの⽐較分析、最終 回答の⽣成に分解しよう。

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. エージェントへの要求の複雑化 23 ユーザー ソーラパネルについて、仕様や設置⽅法を知りたいな ピーク時の負荷を分散させて、消費量を最適化したいな → 単⼀のエージェントに機能を追加すると、タスクが複雑化 → 複数のエージェントを⽤途ごとに切り替えるのは煩雑

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Multi-agent collaboration 25 • 単体の AI エージェントでは完結しない、複雑性の⾼いタス クを実⾏する⽬的で複数のエージェントを利⽤することが容 易に • Hierarchical collaboration アプローチを採⽤ • 各エージェントは並⾏して稼働させることも可能で、順番に 実⾏する場合と⽐較して応答時間の短縮が期待できる • Amazon Bedrock Agents がサポートされているすべての リージョンで利⽤可能 プレビュー

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Hierarchical collaboration アプローチとは 27 Supervisor Agent Sub Agent -1 Sub Agent -2 Sub Agent -4 Sub Agent -3 Hierarchical • Agents は⽊構造のエージェントネットワークで上下の 関係を形成 • Supervisor Agent (⽊構造の Root Agent) は エンドユーザーと対話してメモリを形成 • Sub Agents を持つ Agent は、割り当てられた Task を Sub Task へ分解して委任し、結果を集約 する責任を持つ • 単⼀ Agent 同様、Sub Agents を持つ Agent も ツールや KB へのアクセスが可能 KB = Knowledge Base（ナレッジベース）

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. エネルギー効率管理エージェントの例（再掲） 28 ユーザー 予測エージェント ソーラーパネルエージェント ピーク負荷管理エージェント スーパー バイザー ユーザーはスーパーバイザーに質問する 背後のサブエージェントを意識しない 私のエネルギー消費量の将来の予測と、過 去の利⽤実績との⽐較を教えてください ソーラーパネルの電⼒消費が省エネ規則に 準拠しているかを確認したいです 私のエネルギー消費のピークを最適化するこ とは可能ですか︖

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. DeepSeek on AWS 29

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. DeepSeek は、さまざまな⼤きさのモデルや 蒸留モデルの重みが公開されており 利⽤可能 ベース & R1 モデル (671B) • DeepSeek-V3: ベース MoE モデル • DeepSeek-R1-Zero: ピュアな強化学習（RL）モ デル • DeepSeek-R1: RL 前のコールドスタートデータ利⽤ 蒸留モデル • DeepSeek-R1-Distill-Qwen (1.5B, 7B, 14B, 32B) • DeepSeek-R1-Distill-Llama (8B and 70B) DeepSeek で、複数のタスクにおいて ⾼度な推論能⼒を活⽤可能に

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 主な能⼒ • 複雑な問題解決（例 数学やコーディング）に最適化さ れた⾼度な推論能⼒を搭載 • AIME 2024、MATH-500、SWE-bench Verified で 優れたパフォーマンスを実現 • 同等のモデルと⽐較して90-95%のコスト削減の⾒込み • 671B の Mixture of Experts (MoE) アーキテクチャ を採⽤し、37B パラメータが 1 エキスパート • DeepSeek-R1 は推論時に FP8 で 800 GB 以上の HBM メモリが必要

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Bedrock Marketplace での実装 • Bedrock Marketplace でマネージドなエンドポイントに DeepSeek-R1 を展開可能 • 迅速な実装のためのコードサンプルとステップごとのデプロ イガイドを提供 • Bedrock の標準的なセキュリティ機能と モニタリング機能を利⽤可能 ml.p5e.48xlarge を使ったデプロイになるので、 インスタンス料⾦だけで $124.375/hour かかる

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. モデル選択肢 • 蒸留モデルは、レイテンシーとコスト削減をしながら主要な 性能のほとんどを維持 • 様々な計算要件とパフォーマンス要件に最適化 • DeepSeek-R1-Distill-Llama は 8B と 70B バージョンを提供 • DeepSeek-R1-Distill-Qwen 1.5B, 7B, 14B, 32B バージョンを提供 (SageMaker AI のみ)

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Custom Model Import での実装 • Bedrock Custom Model Import で DeepSeek モデルのデプロイが可能 • Llama 8B と 70B の蒸留 DeepSeek R1 モデルを サポート • 迅速な実装のためのコードサンプルとステップごとのデプロ イガイドを提供 • Bedrock の標準的なセキュリティ機能と モニタリング機能を利⽤可能 • 最初のモデル呼び出し成功から、5分窓の オンデマンド料⾦体系 • コールドスタート・スケールアップ・ダウンの 時間が発⽣に注意 8B モデルであれば $0.1570/minute + $3.90/month から利⽤可能 （70B ではざっくり4倍） https://aws.amazon.com/jp/blogs/news/deploy-deepseek-r1-distilled-llama-models-with-amazon-bedrock-custom-model-import/ 詳細なやり⽅は こちらのブログを チェック︕

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. DeepSeek model on AWS Inferentia 35 https://community.aws/content/2sKnCT05v1WiD0Dw8QB5wfAf1Cm/deploying-deepseek-llama-model-on-amazon-ec2-inferentia-instance

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Summary: DeepSeek-R1 deployment options on AWS 1. Amazon Bedrock Marketplace (Amazon SageMaker JumpStart) で DeepSeek-R1 モデルのデプロイ 2. Amazon Bedrock Custom Model Import で DeepSeek-R1-Distill モデルのデプロイ 3. Amazon EC2 Trn1 インスタンスを使った DeepSeek-R1-Distill モデルのデプロイ DeepSeek on AWS ブログ ↑ https://aws.amazon.com/jp/blogs/news/deepseek-r1-models-now-available- on-aws/

© 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. AWSのための⽣成AIアプリ構築実践ガイド ⽣成AIアプリを構築するための基礎概念を解説 （プロンプトエンジニアリング、RAG、エージェント） 基礎概念の応⽤をするためのより実践的なハンズオン （RAG、エージェント） 本番導⼊するためのポイントも解説 （責任ある AI、Working Backwards etc） 対象読者︓⽣成 AI の本格活⽤を検討している技術者 37 2025年春頃発売予定︕ https://amzn.asia/d/6Wt8A0v