© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. G E A N I C C O M M U N I T Y AWS による生成 AI 開発支援の取り組み Yoshitaka Haribara, Ph.D. AWS Japan Sr. Startup ML Solutions Architect 3

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 針原佳貴, Ph.D. アマゾン ウェブ サービス ジャパン合同会社 シニア スタートアップ ML/Quantum ソリューションアーキテクト 略歴 2013年 ⼤阪⼤学 理学部 数学科卒業 2018年 東京⼤学 ⼤学院 情報理⼯学系研究科 博⼠課程修了 2018年 AWS Japan 新卒⼊社 趣味はドラム 好きな AWS サービス: Amazon Bedrock, Amazon SageMaker, Amazon Braket, Amazon EC2 X @_hariby

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. • AWS 生成 AI サービススタック • AWS の生成 AI 支援プログラムと GENIAC • AWS Japan で支援しているお客様 Agenda 5

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 6 Generative AI Stack GPUs Inferentia Trainium SageMaker EC2 Capacity Reservations Neuron UltraClusters EFA Nitro Amazon Bedrock Guardrails Agents Customization Custom Model Import Studio Amazon Q AWS App Studio Amazon Models

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 7 Generative AI Stack Amazon Bedrock Guardrails Agents Customization Custom Model Import Studio Amazon Models

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 8 Amazon Bedrock B R O A D C H O I C E O F M O D E L S Text summarization, generation, Q&A, search, image generation Amazon Titan Text Premier Amazon Titan Text Lite Amazon Titan Text Express Amazon Titan Text Embeddings Amazon Titan Text Embeddings V2 Amazon Titan Multimodal Embeddings Amazon Titan Image Generator Summarization, complex reasoning, writing, coding Claude 3.5 Sonnet v2 Claude 3.5 Sonnet Claude 3 Opus Claude 3 Sonnet Claude 3 Haiku Claude 2.1 Claude 2 Claude Instant Text generation, search, classification Command Command Light Embed English Embed Multilingual Command R+ Command R Q&A and reading comprehension Llama 3.2 Llama 3.1 Llama 3 8B Llama 3 70B Llama 2 13B Llama 2 70B Mistral Large 2 (24.07) Mistral Large (24.02) Mistral Small Mixtral 8x7B Mistral 7B Text summarization, text classification, text completion, code generation, Q&A High-quality images and art Stable Image Ultra Stable Diffusion 3 Large Stable Image Core Stable Diffusion XL1.0 Stable Diffusion XL 0.8 Contextual answers, summarization, paraphrasing Jamba 1.5 Large Jamba 1.5 Mini Jamba-Instruct Jurassic-2 Ultra Jurassic-2 Mid

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 9 Generative AI Stack GPUs Inferentia Trainium SageMaker EC2 Capacity Reservations Neuron UltraClusters EFA Nitro

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Purpose-built accelerators for Generative AI AWS Inferentia2 High performance at the lowest cost per inference for LLMs and diffusion models Up to 40% better price performance than comparable Amazon EC2 instances AWS Trainium The most cost-efficient, high- performance training of LLMs and diffusion models Up to 50% savings on training costs over comparable Amazon EC2 instances https://aws.amazon.com/jp/blogs/news/aws-trainium-amazon-ec2-trn1-ml-training-part1/

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS の生成 AI 支援プログラムと GENIAC 11

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS の生成 AI 支援プログラムと GENIAC 2 0 2 3 年 9 月 AWS LLM 開発支援プログラム 2 0 2 4 年 2 月 GENIAC 始動 2 0 2 4 年 9 月 AWS Generative AI Accelerator 2 0 2 4 年 7 月 AWS ジャパン生成 AI 実用化推進プログラム 2 0 2 4 年 1 0 月 GENIAC 第2期 2 0 2 5 年

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 写真で一言ボケて電笑戦 (2020-2022) • 与えられた画像を見て 人間が AI で ボケる • 画像入力・テキスト出力の マルチモーダル生成 AI • 挑戦者 • 2021: 🏆 カラクリ、 ストックマーク、吉本興業 • 2022: 🏆 MIXI、ストックマーク、個人 • 優勝モデル • ClipCap • Encoder: CLIP • Mapping Network: MLP • Decoder: GPT-2 13 https://aws.amazon.com/jp/blogs/startup/report-summit-2022-bokete-denshosen/ AI のボケ Aboke: 「アンパンマン！新しい顔よっ！！」 REIWA NO KAIBUTSU: 「これの s あります？」 カレー: 「部長の後頭部」

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS LLM 開発支援プログラム (2023) • 15採択者のうち12事業者が基盤モデル学習に EC2 Trn1 (AWS Trainium) インスタンスを選択 • 10事業者は Llama 2 ベースの (継続) 事前学習 • 「モデルのアーキテクチャは 日進月歩で新しいものが出ていますが、 学習戦略やデータは企業の開発技術として注力すべき」 — 株式会社リコー デジタル戦略部 デジタル技術開発センター 副所長 鈴木 剛 氏 • 「産業界では、ChatGPT よりもさらにハルシネーション が抑止された信頼性の高い LLM が求められている」 — ストックマーク株式会社 共同創業者 CTO 有馬 幸介 氏 14 Japanese: https://aws.amazon.com/jp/blogs/news/llm-development-support-program-generative-ai-program-results/ English: https://aws.amazon.com/blogs/machine-learning/unlocking-japanese-llms-with-aws-trainium- innovators-showcase-from-the-aws-llm-development-support-program/

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. GENIAC 基盤モデル開発支援事業 第2期 AWS は計算リソース提供事業者として GENIAC 支援チームを立ち上げ以下の支援: 1. 計算資源: Amazon EC2 P5 (NVIDIA H100 Tensor Core GPU) または EC2 Trn1 インスタンスの提供 2. 技術支援: AWS Solutions Architect (SA) 中心のメンバーで、 コンピュート (EC2)・ネットワーク (EFA)・ストレージ (Amazon FSx for Lustre, Amazon S3) で構成される 分散学習クラスタ (AWS ParallelCluster, SageMaker HyperPod) 構築・管理支援 3. 開発者コミュニティ: 海外機械学習エンジニアとの交流による最先端の開発動向 (本日)、国内機械学習エンジニア同士の交流による知見共有 (11月15日) など 4. 事業化支援: GENIAC を通じて開発された基盤モデル・生成 AI アプリケーション の go-to-market 支援や AWS Marketplace 活用、 利用企業との AWS 主催イベントを通じたマッチング機会の提供 (11月15日) 16 https://aws.amazon.com/jp/blogs/news/geniac-cycle2-kick-off/

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWSジャパン 生成 AI Frontier Meetup 第一部: AWS ジャパン生成 AI 実用化推進プログラム Meetup • AWSスピーカーによるセッション (生成 AI トレンド、テクノロジーアップデートについて) • プログラム参加者による情報交換 (成功や苦労) および交流 • GENIAC 関係者もご招待 第二部: 生成 AI 実用化に向けたビジネスマッチング機会 • 開発した生成 AI 基盤モデルのプレゼンテーション 興味のあるお客様が立ち寄れるブースを設置 • 全体交流会

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. GENIAC 第2期で AWS を利用するお客様 • AI inside株式会社 • AiHUB株式会社 • SyntheticGestalt株式会社 • Turing株式会社 • カラクリ株式会社 • ストックマーク株式会社 • フューチャー株式会社 • 株式会社EQUES • 株式会社Preferred Elements • 株式会社ヒューマノーム研究所 • 株式会社ユビタス • 株式会社リコー • 国立研究開発法人海洋研究開発機構 20 https://aws.amazon.com/jp/blogs/news/geniac-cycle2-kick-off/

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. GENIAC 第2期で AWS を利用するお客様の声 • 「先端AIアーキテクチャを用いた処理においても信頼性高く稼働するインフラ サービスを提供するAWS様に、技術/ビジネスの両面にていつもお世話になって おります。GENIACサイクル2における大規模な AI モデルの学習処理においても、 Amazon SageMaker HyperPod を活用することで円滑に開発が進むことを期待さ せていただければと思います」 — ストックマーク株式会社 取締役CTO 有馬 幸介 氏 • 「この度インバウンド業務の課題を解決することを目的に、アジア言語対応の強 化を目指したモデル開発において、モデル開発に弊社リソースを集中させ、効率 的に開発が推進できるよう、基盤モデル構築に最適化されたマネージド型のイン フラストラクチャを提供する Amazon SageMaker HyperPod を選択しました。今 後AWSとAI活用に向けて更なる協業を期待しています」 — 株式会社ユビタス CEO Wesley Kuo 氏 21 https://aws.amazon.com/jp/blogs/news/geniac-cycle2-kick-off/

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. GENIAC 第2期で AWS を利用するお客様の声 • 「AWSからは技術・ビジネスの両面でご支援いただき大変感謝しております。 AWS Trainium は効率的に LLM 開発を進めることができる最適な選択肢だと思っ ております」 — カラクリ株式会社 取締役CPO 中山 智文 氏 • 「Preferred Networks グループでは、世界最大級の高品質なデータセットを構築 し、私たちが開発する大規模言語モデル「PLaMo」のさらなる進化と社会実装に 向けて取り組みます。 研究開発の効率化のため、Amazon EC2 P5 インスタンス および AWS ParallelCluster を利用します。 AWS からの多大なサポートと革新的 なソリューションに感謝いたします」 — Preferred Networks 代表取締役 最高研究責任者, Preferred Elements 代表取締役社長 岡野原 大輔 氏 22 https://aws.amazon.com/jp/blogs/news/geniac-cycle2-kick-off/

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. GENIAC 第2期で AWS を利用するお客様の声 • 「AWSが提供する EC2 P5 インスタンスおよび AWS ParallelCluster を活用し、完 全自動運転の実現に向けた身体性をもつマルチモーダル基盤モデルの開発を進めて いきます。現実の多様な運転環境に対応するため、独自の大規模走行データを新規 に構築し、これをもとに複雑な交通状況を理解・予測できるモデルの開発を行いま す。AWS のスケーラブルなインフラにより、膨大なデータの処理と大規模モデル の学習を効率的に進め、短期間で高精度なモデルの実現を目指しています」 — Turing株式会社 CTO 山口 祐 氏 • 「地域または企業レベルで効果的な温暖化対策立案を目的とした気候サービスのた めの生成AI基盤モデル開発に当たり、大規模言語モデルを始めとした深層学習にお いて高いパフォーマンスを発揮する NVIDIA H100 Tensor Core GPU を搭載した Amazon EC2 P5 インスタンスを選択しました。基盤技術の開発から実用化・事業 化、社会実装に向けた開発までが加速されることを期待しています」 — 国立研究開発法人 海洋研究開発機構 (JAMSTEC) 付加価値情報創生部門 地球情報科学技術センター データサイエンス研究グループ 松岡 大祐 氏 23 https://aws.amazon.com/jp/blogs/news/geniac-cycle2-kick-off/

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS Generative AI Accelerator 129 カ国 4,700 の応募の中から グローバルでスタートアップ 80社、 うち APJ で 20 社が採択 (採択率 2% 未満)。 日本からは3社 • 燈 (Akari): 革新的な DX ソリューションと AI SaaS 製品 を通じて、建設会社が業界の課題を克服できるよう支援 • Fotographer AI: 革新的なミドルウェア Fuzer を使用して、 かつてない使いやすさと品質で、ユーザーに画像生成の 完全なコントロールを提供 • Poetics: 音声認識と対話分析ソリューションに 特化した AI, SaaS 製品、および API を開発 24

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS Japan で支援しているお客様 25

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Sakana AI • EC2 インスタンス (On-demand, Capacity Blocks for ML) の利用により研究を推進、 Anthropic Claude など Amazon Bedrock の基盤モデルを活用し POC • 「コンピュータに解空間を検索させることができれば、それは勝利を意味します。 人間が手作業でそれをやろうとしても、コンピュータに勝つことはできません。 なぜなら、コンピュータは、人間よりも速く実行したり、より多くのことを試し たりでき、より忍耐強いからです」 — CTO Llion Jones 氏 • 「AWS は当社のワークロードと、当社が達成しようとしていることを深く理解し てくれています。キャパシティの問題などの課題を迅速に克服するのをサポート してくれました」「当社は非常に小規模なチームであるため、クラスターをセッ トアップするプラットフォームエンジニアがいませんでした。AWS サービスは非 常に使いやすく、研究をシンプルに進められるようになりました」 — Research Scientist 秋葉 拓哉 氏 26 https://aws.amazon.com/startups/learn/letting-nature-lead-how-sakana-ai-is-transforming-model-building

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ELYZA • EC2 Inf2 (AWS Inferentia2) インスタンスを利用し、Speculative Decoding で 高速化した ELYZA LLM for JP (Llama 2, Llama 3.x ベース) の推論環境構築 • 「私たちは常に LLM の精度を改善し続けており、基本的にモデルはパラメータ が多くなるほど精度が良くなります。そのため 70B パラメータのモデルを開発し たのですが、これほどパラメータの多いモデルですと相当にスペックの高いマシ ンでなければ推論時に動かなくなります。多くの人たちに自社の技術を使っても らうことを私たちは重視しているため、誰でも ELYZA-japanese-Llama-2-70b を 使えるようにデモサービスを作ったという経緯があります。」 — 取締役 CTO 垣内 弘太 氏 • 「AWS Inferentia2 は、高いスループットと低いレイテンシーを実現しています し、このアクセラレーターを搭載したインスタンスはキャパシティの観点で簡単 に調達できます。比較的安価なコストで、かつ大量にサーバーを準備できるとい うのは、デモサービスを構築するうえで重要な要素でした」 — ML エンジニア 堀江 伸太朗 氏 27 https://aws.amazon.com/jp/blogs/startup/tech-interview-elyza-2024/

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Thank you! Yoshitaka Haribara, Ph.D. AWS Japan Sr. Startup ML Solutions Architect