AWS の⽣成 AI サービスとモデル開発⽀援 / AWS GenAI Services and Model Development Support

Transcript

1. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 針原 佳貴 2 0 2 5 / 4 / 1 0 生 成 A I モ デ ル 開 発 の リ ア ル 、 企 業 が 乗 り 越 え る 課 題 と 成 功 の 鍵 アマゾン ウェブ サービス ジャパン合同会社 シニア ⽣成 AI スタートアップ ソリューションアーキテクト AWS の⽣成 AI サービスと モデル開発⽀援
2. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 針原佳貴, Ph.D. アマゾン ウェブ サービス ジャパン合同会社 シニア ⽣成 AI スタートアップ ソリューションアーキテクト 略歴 2013年 ⼤阪⼤学 理学部 数学科卒業 2018年 東京⼤学 ⼤学院 情報理⼯学系研究科 博⼠課程修了 2018年 AWS Japan ⼊社 趣味はドラム 好きな AWS サービス: Amazon Bedrock, Amazon SageMaker, Amazon Braket, Amazon EC2 X: @_hariby
3. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. • AWS ⽣成 AI サービススタック • AWS の⽣成 AI 開発⽀援プログラム • GENIAC 第2期における AWS の⽀援 Agenda 3
4. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS ⽣成 AI スタック APPLICATIONS TO BOOST PRODUCTIVITY MODELS AND TOOLS TO BUILD GENERATIVE AI APPS INFRASTRUCTURE TO BUILD AND TRAIN AI MODELS Amazon Q Business INS IGHT S AN D AUT OMAT ION Amazon Q Developer S OF T WARE DE VE L OP ME NT L IF E C YC L E Amazon Bedrock AMAZON MODE L S | P AR T NE R MODE L S AWS Trainium AWS Inferentia GPUs HIGH P E R F OR MANC E C OMP UT E Amazon SageMaker AI MANAGE D INF R AS T R UC T UR E
5. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS ⽣成 AI スタック MODELS AND TOOLS TO BUILD GENERATIVE AI APPS Amazon Bedrock AMAZON MODE L S | P AR T NE R MODE L S
6. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Amazon Bedrock B R O A D E S T S E L E C T I O N O F F U L L Y M A N A G E D M O D E L S F R O M L E A D I N G A I C O M P A N I E S AMAZON NOVA JAMBA CLAUDE COMMAND EMBED RERANK LLAMA LUMA RAY 2 Effective reasoning & rapid analysis for long context windows High-quality AI image generation, easily deployable at scale Advanced image & language reasoning Knowledge summarization, expert agents, & code completion High-quality video generation with natural, coherent motion & ultra-realistic details Software engineering AI for large enterprises STABLE DIFFUSION MISTRAL MIXTRAL MALIBU POINT Extended thinking & coding, including computer use skills Multimodal search & advanced retrieval powering multilingual knowledge agents Coming soon Advanced reasoning, comprehension, scientific & mathematical analysis, & code generation DEEPSEEK-R1 Frontier intelligence & industry leading price performance, high-quality image & video generation
7. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Amazon Nova Foundation Models State-of-the-art foundation models that deliver frontier intelligence and industry- leading price-performance Amazon Nova Lite Amazon Nova Premier C O M I N G S O O N Amazon Nova Pro Amazon Nova Micro U N D E R S T A N D I N G M O D E L S Amazon Nova Reel Amazon Nova Canvas C R E A T I V E C O N T E N T G E N E R A T I O N M O D E L S S P E E C H - T O - S P E E C H M O D E L Amazon Nova Sonic
8. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Anthropic Claude Models on Bedrock Choose the exact combination of intelligence, speed, and cost to suit your needs 9 Claude 3.7 Sonnet Claude 3.5 Sonnet Claude 3 Haiku Claude 3 Sonnet Claude 3 Opus Use case Most intelligent & first hybrid reasoning model Most intelligent, built for high-volume use cases Fastest performance at the lowest cost Balance between intelligence, speed, and cost Second-most intelligent overall; most intelligent in Claude 3 family Context 200k 200K 200K 200K 200K Vision ✓ ✓ ✓ ✓ ✓ Cost* Input: Output: $0.003 $0.015 $0.003 $0.015 $0.00025 $0.00125 $0.003 $0.015 $0.015 $0.075 *Per 1K tokens
9. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Amazon Bedrock Marketplace 100+ publicly available and proprietary emerging, popular, and specialized models through a serverful offering EVOLUTIONARY SCALE WIDN CAMB.AI GRETEL ARCEE AI PREFERRED NETWORKS WRITER UPSTAGE NCSOFT STOCKMARK KARAKURI JOHN SNOW LABS LIQUID DATABRICKS CYBERAGENT HUGGING FACE STABILITY AI LG AI RESEARCH MISTRAL AI SNOWFLAKE NVIDIA IBM
10. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 11 Specialized knowledge through prompt augmentation Enterprise knowledge corpus No change to the foundation model Specialized knowledge for specific tasks Small number of labeled examples Change a copy of the foundation model Generalized and specialized knowledge for your domain Unlabeled, unstructured enterprise data Change a copy of the foundation model Amazon Bedrock gives you tools to supercharge your gen AI applications
11. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Amazon Bedrock Flows 12 Visualize and accelerate generative AI development workflows • Drag-and-drop interface • Direct testing and deployment • Version control and aliasing
12. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Amazon Bedrock Agents 13 Enable generative AI applications to execute multistep tasks using company systems and data sources Select your foundation model Provide basic instructions Select relevant data sources Specify available actions 1 2 3 4
13. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Amazon Bedrock multi-agent collaboration Enables developers to build, deploy, and manage multiple specialized agents working together seamlessly to address increasingly complex business workflows Master complex workflows with specialized agents tackling challenging tasks Achieve high accuracy using agents with domain expertise for reliable results Boost efficiency as multi-agents accelerate tasks through parallel processing Effortlessly scale by using agents that adapt to evolving business needs smoothly 14
14. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS ⽣成 AI スタック INFRASTRUCTURE TO BUILD AND TRAIN AI MODELS AWS Trainium AWS Inferentia GPUs HIGH P E R F OR MANC E C OMP UT E Amazon SageMaker AI MANAGE D INF R AS T R UC T UR E
15. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. EC2 accelerated compute instances for AI/ML G6 (L4) P5 (H100) DL1 G6e (L40S) P4 (A100) P5e (H200) Inf1 Inf2 P5en (H200) Trn1 GPUs AI/ML accelerators and ASICs Trn2 G5 (A10G) Trainium Inferentia H100, H200, B200, GB200, A100, L40S, L4, A10G Cloud AI100 Standard Radeon GPU Xilinx accelerator Xilinx FPGA DL2q Gaudi accelerator Announced GB200 B200
16. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS Inferentia AWS Trainium ⾃社設計 AI アクセラレータチップ © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved.
17. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Inf1 インスタンス 深層学習の推論を⾼性能か つ低価格で実⾏ ※ 推論専⽤インスタンス Trn1 インスタンス LLM、画像⽣成モデルの学習にお けるコスト効率と⾼性能の実現 ※ 学習向けインスタンス Inf2 インスタンス LLM、画像⽣成モデルの推論 を⾼性能かつ低価格で実⾏ ※ 推論向けインスタンス Trn2 インスタンス 深層学習、⽣成AIに最適な EC2最⾼性能インスタンス ※ 学習向けインスタンス ⾃社設計 AI アクセラレータチップの歴史 2019 2022 2023 2024
18. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 19 AWS Trainium, Inferentia を活⽤中のお客様 Anyscale
19. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 24 AWS Trainium2 • AWS が⾃社開発した第３世代の⽣成 AI / ML アクセラレータ • 第３世代となる Neuronコア v3 を８個搭載 HBM capacity HBM bandwidth Dense compute Sparse compute
20. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 25 Amazon EC2 Trn2インスタンス • AWS Trainium 2 を搭載した Amazon EC2 Trn2 インスタンスが⼀般利⽤開始に • P5e/P5enと⽐較して30-40%⾼いコストパフォーマンス • ⽶国東部 (オハイオ) リージョンで Capacity Blocks for ML での提供 Instance size Trainium2 chips Chip memory Chip Memory Bandwidth vCPUs Instance Memory Storage NeuronLink EFAv3 Capacity Block Price 3Yr RI Price trn2.48xlarge 16 1.5TB 46 TB/s 192 2TB 4x 1.92TB NVMe 1 TB/s 3.2 Tb/s $35.76/hr $34.39/hr H I G H P E R F O R M A N C E training and inference of trillion+ parameter Generative AI models B E S T P R I C E - P E R F for generative AI and deep learning on AWS U P T O 4 6 T B / s of HBM Bandwidth, ideal for memory intensive token generation *2025年4⽉時点の⽶国東部 (オハイオ)の価格
21. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 29 Amazon EC2 Trn2 UltraServers をプレビュー開始 • Trn2 4インスタンス (Trainium2 64チップを) 広帯域低遅延 NeuronLink-v3 で接続 • ML 向け EC2サーバーとして最高性能を達成 プ レ ビ ュ ー SPARSE COMPUTE DENSE COMPUTE HBM BANDWIDTH NEURONLINK BANDWIDTH EFAv3 BANDWIDTH HBM CAPACITY
22. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS の⽣成 AI ⽀援プログラムと GENIAC 30
23. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS の⽣成 AI ⽀援プログラムと GENIAC 2 0 2 3 年 9 月 AWS LLM 開発支援プログラム 2 0 2 4 年 2 月 GENIAC 始動 2 0 2 4 年 9 月 AWS Generative AI Accelerator 2 0 2 4 年 7 月 AWS ジャパン生成 AI 実用化推進プログラム 2 0 2 4 年 1 0 月 GENIAC 第2期 2 0 2 5 年 GENIAC 第3期
24. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 写真で⼀⾔ ボケて電笑戦 (2020-2022) • ⼤喜利サービス「ボケて」のデータを使って 与えられた画像を⾒て AI で ボケる • 画像⼊⼒・テキスト出⼒の マルチモーダル⽣成 AI • 挑戦者 • 2021: 🏆 カラクリ、 ストックマーク、吉本興業 • 2022: 🏆 MIXI、ストックマーク、個⼈ • 優勝モデル • ClipCap • Encoder: CLIP • Mapping Network: MLP • Decoder: GPT-2 32 https://aws.amazon.com/jp/blogs/startup/report-summit-2022-bokete-denshosen/ AI のボケ Aboke: 「アンパンマン！新しい顔よっ！！」 REIWA NO KAIBUTSU: 「これの s あります？」 カレー: 「部⻑の後頭部」
25. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⽇本の企業・団体が独⾃の基盤モデル (FM)・⼤規模⾔語モデル (LLM) を構築するための独⾃プログラム 33 AWS LLM 開発⽀援プログラム (2023-2024) • 15採択者のうち12事業者が FM/LLM 学習に EC2 Trn1 (AWS Trainium) インスタンスを選択 10事業者は Llama 2 ベースの (継続) 事前学習 • 「モデルのアーキテクチャは ⽇進⽉歩で新しいものが出ていますが、 学習戦略やデータは企業の開発技術として注⼒すべき」 — リコー 鈴⽊ 剛 ⽒ • Llama 2 70B をベースとした事前学習とファインチュー ニングを、独⾃収集カスタマーサポートコーパスを含む データで実施。Japanese MT-Bench において ⽇本語モデルの中で最⾼性能。— カラクリ 中⼭ 智⽂ ⽒ Japanese: https://aws.amazon.com/jp/blogs/news/llm-development-support-program-generative-ai-program-results/ English: https://aws.amazon.com/blogs/machine-learning/unlocking-japanese-llms-with-aws-trainium- innovators-showcase-from-the-aws-llm-development-support-program/
26. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS ジャパン ⽣成 AI Frontier Meetup 〜学びと繋がりの場〜 第3回 AWS ジャパン ⽣成 AI Frontier Meetup 2025 年 4 ⽉ 16 ⽇ 16:00 - 19:30 JST ⽬⿊セントラルスクエア • AWSスピーカーによるセッション (⽣成 AI トレンド、サービスアップデート) • プログラム参加者による成果発表 • 株式会社野村総合研究所 • 国⼟交通省 • フリー株式会社 • 株式会社 NTT データ • 株式会社エイチ・アイ・エス • 交流会
27. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 20採択事業者のうち、13事業者が AWS を利⽤ 36 GENIAC 基盤モデル開発⽀援事業 第2期 AWS は計算リソース提供事業者として GENIAC ⽀援チームを⽴ち上げ⽀援: 1. 計算資源: Amazon EC2 P5 (NVIDIA H100 GPU), Trn1 インスタンスの提供 2. 技術⽀援: AWS Solutions Architect (SA) 中⼼に分散学習クラスタ構築⽀援 3. 開発者コミュニティ: 海外機械学習エンジニアとの交流 (最先端の開発動向)、 国内機械学習エンジニア同⼠の交流 (知⾒共有) など 4. 事業化⽀援: GENIAC で開発された基盤モデル・⽣成 AI アプリケーションの go-to-market や Amazon Bedrock Marketplace 掲載⽀援など • 「AWSからは技術・ビジネスの両⾯でご⽀援いただき⼤変感謝しております。 AWS Trainium は効率的に LLM 開発を進めることができる最適な選択肢 だと思っております」 — カラクリ 中⼭ 智⽂ ⽒ https://aws.amazon.com/jp/blogs/news/geniac-cycle2-kick-off/
28. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Thank you! © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Yoshitaka Haribara X: @_hariby