AWS の生成 AI サービス最新アップデートと事例 / AWS GenAI Update and Case Study

© 2024, Amazon Web Services, Inc. or its affiliates. All
rights reserved. Amazon Confidential and Trademark. 1 © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. AWS の生成 AI サービス最新アップデートと事例針原佳貴自動運転 A I 開発を加速させる C o - M L O p s シニアスタートアップ ML/Quantum ソリューションアーキテクト AWS Japan

rights reserved. Amazon Confidential and Trademark. 2 Speaker: 針原佳貴, Ph.D. AWS Japan シニアスタートアップ ML/Quantum ソリューションアーキテクト大阪大学量子情報・量子生命研究センター (QIQB) 招へい准教授 • 略歴 • 2013年大阪大学理学部数学科卒業 • ドラム振動の数値シミュレーション (Bessel 関数) 🥁 • 2018年東京大学大学院情報理工学系研究科博士課程修了 • 量子光学デバイスと FPGA を用いた組合せ最適化問題のアクセラレータ 🧑🎓 • 2018年 AWS Japan 新卒入社 • ボケて電笑戦 (2022) • AWS LLM 開発支援プログラム (2023) • 経産省 GENIAC 第2期支援 (2024) • 好きな AWS サービス: Amazon Bedrock, Amazon SageMaker, Amazon Braket, Amazon EC2 2 X @_hariby

rights reserved. Amazon Confidential and Trademark. 3 AWS Generative AI Stack APPLICATIONS TO BOOST PRODUCTIVITY MODELS AND TOOLS TO BUILD GENERATIVE AI APPS INFRASTRUCTURE TO BUILD AND TRAIN AI MODELS Amazon Q Business INSIGHTS AND AUTOMATION Amazon SageMaker MANAGED INFRASTRUCTURE Amazon Bedrock AMAZON MODELS | PARTNER MODELS Amazon Q Developer SOFTWARE DEVELOPMENT LIFECYCLE GPUs AWS Trainium AWS Inferentia HIGH PERFORMANCE COMPUTE

rights reserved. Amazon Nova Foundation Models 4 State-of-the-art foundation models that deliver frontier intelligence and industry leading price performance. Amazon Nova Pro Amazon Nova Lite Amazon Nova Micro G E N E R A L L Y A V A I L A B L E G E N E R A L L Y A V A I L A B L E G E N E R A L L Y A V A I L A B L E Amazon Nova Premier Our most capable multimodal model for complex reasoning tasks and for use as the best teacher for distilling custom models C O M I N G S O O N U n d e r s t a n d i n g m o d e l s Amazon Nova Reel State-of-the-art video generation model G E N E R A L L Y A V A I L A B L E Amazon Nova Canvas State-of-the-art image generation model G E N E R A L L Y A V A I L A B L E C r e a t i v e c o n t e n t g e n e r a t i o n m o d e l s Our text only model that delivers the lowest latency responses at very low cost Our lowest cost multimodal model that is lightning fast for lightweight tasks Our highly capable multimodal model with best combination of accuracy, speed, and cost for a wide range of tasks Increasing Intelligence Lower Cost & Latency

rights reserved. Amazon Confidential and Trademark. 8

rights reserved. Amazon Confidential and Trademark. 9 A portrait of a smiling young woman with long, flowing hair, standing in natural sunlight Text to image Generate images from text prompts

rights reserved. Amazon Confidential and Trademark. 10 Automatic editing - inpainting Mask-free editing Mask prompt: “lake” Text prompt: “field with fence”

rights reserved. Amazon Confidential and Trademark. 11 Automatic editing - outpainting Generate different backgrounds Mask prompt: “coffee maker” Text prompt: “a coffee maker in a sparse stylish kitchen, plate of pastries next to the coffee maker, a single cup of coffee”

rights reserved. Amazon Confidential and Trademark. 12

rights reserved. Amazon Confidential and Trademark. 13 “Cinematic dolly shot of a juicy cheeseburger with melting cheese, fries, and a condensation-covered cola on a worn diner table. Natural lighting, visible steam and droplets. 4k, photorealistic, shallow depth of field” Text to video

rights reserved. Amazon Confidential and Trademark. 14 “Static shot of a fireplace in nature; fire animation; 4k; Cinematic; at night; peaceful; highest quality; dolly in;” Text to video

rights reserved. Amazon Confidential and Trademark. 15 “Closeup of a large seashell in the sand, gentle waves flow around the shell. Camera zoom in.” Text to video

rights reserved. Amazon Confidential and Trademark. 16 “Dolly forward over a gentle river” Image to video

rights reserved. Amazon Confidential and Trademark. 17 “Dolly forward” Image to video

rights reserved. AMAZON NOVA JAMBA CLAUDE COMMAND EMBED RERANK LLAMA LUMA RAY 2 Effective reasoning & rapid analysis for long context windows High-quality AI image generation, easily deployable at scale Advanced image & language reasoning Knowledge summarization, expert agents, & code completion High-quality video generation from text & images Software engineering AI for large enterprises STABLE DIFFUSION STABLE IMAGE MISTRAL MIXTRAL MALIBU POINT Frontier multimodal intelligence at low- latency, Agent & RAG Applications, high-quality image & video generation Advanced reasoning & coding capabilities, including computer use skills Multimodal search & advanced retrieval powering multilingual knowledge agents Amazon Bedrock B R O A D C H O I C E O F M O D E L S Coming soon Coming soon

rights reserved. Amazon Confidential and Trademark. 22 • Streamline development workflows with a unified console experience • Deploy models on managed endpoints with custom scaling policies • Leverage Amazon Bedrock’s APIs, tools, and security Discover, test, and use over 100 popular, emerging and specialized models in Amazon Bedrock

rights reserved. Amazon Confidential and Trademark. Amazon Bedrock Marketplace Preferred Networks PLaMo Stockmark LLM 13B KARAKURI LM 8x7B Instruct CyberAgent CALM3 22B Chat

rights reserved. Prompts Responses Distilled model Advanced model (teacher) Fine-tuned cost-efficient model (student) Match the performance of advanced models with cost- efficient models for your use case with Model Distillation

rights reserved. Enables developers to build, deploy, and manage multiple specialized agents working together seamlessly to address increasingly complex business workflows Master complex workflows with specialized agents tackling challenging tasks Achieve high accuracy using agents with domain expertise for reliable results Boost efficiency as multi-agents accelerate tasks through parallel processing Effortlessly scale by using agents that adapt to evolving business needs smoothly

rights reserved. (preview) Automatically route prompts to different foundation models to optimize response quality and lower costs Provides a single endpoint to efficiently route prompts Uses advanced prompt matching techniques to meet cost and latency thresholds Reduce costs by up to 30% (preview) Cache repetitive context in prompts across multiple API calls Securely cache entire prompts Enhance accuracy through longer, detailed prompts Reduce costs by up to 90% and latency by up to 85% for supported models

rights reserved. Amazon Confidential and Trademark. 27 Supported AWS Regions in Amazon Bedrock N A M E R I C A Available Region *Gated A S I A P A C I F I C S A M E R I C A São Paulo E U R O P E Frankfurt Ireland* London Paris Zurich Canada Central GovCloud US-West Northern Virginia Oregon US-East Ohio Mumbai Singapore* Sydney Tokyo Seoul

All rights reserved | Data & AI Governance Lakehouse Model Development SQL Analytics Data Processing Streaming Gen AI App Development Business Intelligence Search coming soon Amazon SageMaker © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. coming soon coming soon

All rights reserved | Llama 3.1 405B on Trn2 Total Response Time (s) 3.9 6.2 13.9 Amazon Bedrock Latency Optimized Azure Google Vertex 20 15 10 5 0 TIME TO OUTPUT 100 TOKENS LEADING INFERENCE PERFORMANCE

All rights reserved | © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon EC2 Third generation EFA with 35% improvement in latency over prior generation Up to 1.8x token throughput for LLM inference vs. P5 Powered by Nvidia H200 GPUs 1.7x increase in HBM and a 1.5x HBM bandwidth over P5 instances

rights reserved. Sakana AI • EC2 インスタンス (On-demand, Capacity Blocks for ML) の利用により研究を推進、 Anthropic Claude など Amazon Bedrock の基盤モデルを活用し POC • 「コンピュータに解空間を検索させることができれば、それは勝利を意味します。人間が手作業でそれをやろうとしても、コンピュータに勝つことはできません。なぜなら、コンピュータは、人間よりも速く実行したり、より多くのことを試したりでき、より忍耐強いからです」 — CTO Llion Jones 氏 • 「AWS は当社のワークロードと、当社が達成しようとしていることを深く理解してくれています。キャパシティの問題などの課題を迅速に克服するのをサポートしてくれました」「当社は非常に小規模なチームであるため、クラスターをセットアップするプラットフォームエンジニアがいませんでした。AWS サービスは非常に使いやすく、研究をシンプルに進められるようになりました」 — Research Scientist 秋葉拓哉氏 39 https://aws.amazon.com/startups/learn/letting-nature-lead-how-sakana-ai-is-transforming-model-building

rights reserved. お客様プロフィール “ ビジネスの課題ソリューション導⼊効果 © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. • ヘルプデスクでは、DAM に関する問い合わせが 1 ⽇約 300 件、 15 名体制で対応 • 受電後の⼿作業での会話内容の⼊⼒負荷と内容のばらつきが課題である • カラオケ機器は 24 種類、デンモクは 10 種類あり、知識習得・品質維持のためにナレッジベースを作成したい • ヘルプデスクの録⾳データを Amazon Transcribe で⽂字起こしし、録⾳を聞き直す⼿間を省いた • 更に、書き起こされた⽂章を、 Amazon Bedrock で要約することで対話形式へ⾃動成形した • AWS 未経験で⼊社 1 か⽉の新⼈の⽅が約 3 週間で検証を実施 • 検証の結果、⾳声認識の精度が⾼く、モノラル⾳声でも話者の識別が出来た。約 9 割は基準を満たす良好な結果となり、実導⼊による作業軽減が期待できる • 今後は更に要約を元にしたナレッジベース作成を検討したい株式会社第⼀興商は、業務⽤カラオケ事業、カラオケ・飲⾷店事業、パーキング事業、⾳楽ソフト事業を展開している。業務⽤カラオケ DAM は業界トップシェアを誇る。 I N D U S T R Y 娯楽・エンタメ C O U N T R Y ⽇本 AWS の技術が「⾔葉⾜らずの営業マンとヘルプデスクの会話」を⾒事に要約、精度に驚きを実感。同時に新⼈ 1 名が未経験の⽣成 AI のスキルを習得、有意義な検証となった。株式会社第⼀興商開発本部副本部⻑兼開発管理部⻑執⾏役員関澤武史様株式会社第⼀興商: Amazon Bedrock でヘルプデスク問い合せ対応の作業軽減を検証 01. データ⼊⼒⽀援 (4/15)

rights reserved. お客様プロフィール “ ビジネスの課題ソリューション導⼊効果 © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⽇本電気株式会社 1899 年設⽴。IT サービス事業・社会インフラ事業を推進。近年は AI 技術の開発・活⽤・提供に注⼒。専⾨組織を発⾜し、⽇本語に強い独⾃ LLM を開発するなど精⼒的な活動を続けている。 I N D U S T R Y 製造業 C O U N T R Y ⽇本 Amazon Bedrock を利⽤することで、最新 AI 技術を活⽤した議事録作成アプリをわずか 2 週間で構築、 4 万⼈の業務改善に寄与しています。⽇本電気株式会社経営システム統括部シニアディレクター中⽥俊彦様⽇本電気株式会社: Claude 3 活⽤で精度の⾼い会議議事録を⾃動⽣成⻑時間でも正確に要旨を捉え、議事⽣成時間を 3 割削減 • 社内向けの会議議事録の⾃動作成サービスを 1 年前にリリース • 利⽤している LLM の制約により、 30 分以上の⻑時間会議データに対応できなかった • Claude 3 では、最⼤ 20 万⽂字の⼀括処理が可能 • ⻑時間の会議⽂字起こし処理のための、分割結合処理も不要に • Claude 3 は、会議の流れや決定事項を正確に捉えた議事録を⽣成。精度が⼤きく向上すると共に、議事録⽣成にかかる時間を 3 割削減 • ⽣成処理能⼒の⾼さを⽣かし、より多くの録画ファイルから議事録作成が⾏えるようサービスを拡⼤予定 01. データ⼊⼒⽀援 (10/15)

rights reserved. お客様プロフィール “ ビジネスの課題ソリューション導⼊効果 © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 社名: 株式会社⽇⽴パワーソリューションズ設⽴年⽉⽇: 1960 年 4 ⽉ 20 ⽇本社の所在地: 茨城本社茨城県⽇⽴市幸町三丁⽬ 2 番 2 号東京本社東京都千代⽥区外神⽥⼀丁⽬ 18 番 13 号代表者: 取締役社⻑安藤次男 I N D U S T R Y 製造業 C O U N T R Y ⽇本半年くらいかかると想定した⽣成 AI の効果検証が、 Amazon Bedrock を利⽤することで、3 か⽉でできました。株式会社⽇⽴パワーソリューションズ経営戦略本部担当本部⻑湯⽥晋也様株式会社⽇⽴パワーソリューションズ: Amazon Bedrock を⽤いて設備情報の検索精度を⾼め保守作業の効率を向上 • 設備保守を提供する中、ベテランエンジニアから若⼿への技術伝承が課題 • 経験の浅い保守員が膨⼤な量の設備マニュアルや過去の報告書から欲しい情報を探すのに時間が必要 • 設備マニュアルや作業報告書のデータを取り⼊れた⽣成 AI ベースのチャットボットを構築 • Amazon Kendra と Amazon Bedrock を使って RAG (検索拡張⽣成) を構成し、個々の設備の専⾨性を加味した回答が可能 • 帳票類データは取り込みにくいが、 XML 形式に変換をすることによって回答精度が向上 • 保守⼿順⽂書を作成するとき、設備マニュアルから引⽤する⼯数が減り、⽂書作成時間が削減される⾒込み • 部品名の⾔い換えがあっても精度⾼く情報を抽出 • 今後も作業指⽰書の⾃動作成、フィールドでの活⽤等、展開を検討 02. 専⾨的応対⽀援 (6/16)

rights reserved. お客様プロフィール “ ビジネスの課題ソリューション導⼊効果 © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. I N D U S T R Y 製造業 C O U N T R Y ⽇本商号: 株式会社⽇⽴製作所 Hitachi, Ltd. 設⽴年⽉⽇: 1920 年 2 ⽉ 1 ⽇本社の所在地: 東京都千代⽥区丸の内⼀丁⽬ 6 番 6 号代表者: 代表執⾏役執⾏役社⻑兼CEO ⼩島啓⼆ Amazon Bedrock の Claude 3 Haiku で、システム障害の初期対応に必要な⾼い回答精度と⾼速なレスポンスを実現することができました。株式会社⽇⽴製作所クラウドマネージドサービス本部⼤坪⼀紀様株式会社⽇⽴製作所: 統合システム運⽤管理において⽣成 AI を⽤いて、 IT システム障害における初動の判断時間を約 2 / 3 に短縮 • IT システムの突然の障害に対し、適切に早期の切り分けができない場合、ビジネスの機会損失が⻑期化する • 運⽤担当者のスキルレベルに依存した運⽤体制が常態化している • 障害事象の切り分けを⾏う際に複数のツールを組み合わせることは、原因特定にかかる時間の⻑期化につながる • 統合システム運⽤監視ソリューションである JP1 において Amazon Bedrock を⽤いた分析を検証 • JP1 で検出した IT システムの障害に対し、対処⽅法を管理画⾯からチャット形式で問い合わせ可能 • Amazon Bedrock はマニュアル情報をもとに対処⽅法を回答 • 加えて、回答の根拠となるマニュアルなどの引⽤元を表⽰することで運⽤担当者の判断を⽀援 • 9 割以上のアラートで正しい対処⽅法を回答していることを確認 • IT システムの障害において、JP1 の管理画⾯から⽣成 AIの⽀援を得ることで、初動の判断時間を約 2 / 3 に短縮することが期待される • 散在する情報の収集や対応策の確認時間にかかる運⽤担当者の負担を低減 “ 02. 専⾨的応対⽀援 (7/16)

rights reserved. お客様プロフィール “ ビジネスの課題ソリューション導⼊効果 © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. KDDIアジャイル開発センター株式会社は、アジャイル開発⼿法やサービスデザインの実践知に基づいたプロセスを⽤いて、本質的な価値の追求をパートナーと共に⾏う共創事業を提供いたします。 I N D U S T R Y 情報通信・インターネット C O U N T R Y ⽇本 Claude 3 で⽣成した議事録は「いつも⾃分が書いているレベルと遜⾊ない」と⾼い評価を得ています。 AWS で完結できる開発体験は短期間で完成度の⾼いプロダクト開発にも繋がりました。 KDDIアジャイル開発センター株式会社開発５部エンジニア⼤坪悠様 KDDIアジャイル開発センター株式会社: 営業活動全体を⽣成 AI がサポート議事録と提案書の作成時間を最⼤ 1 時間削減 • ⽇報は営業活動では重要な知⾒の源泉となる⼀⽅で、社員に作成の負担を要する作業であった • 組織としても⽇報からの知⾒共有が限定的で、経験が属⼈化していた • 上記踏まえ、営業社員の負担を軽減しつつ過去の知⾒の収集・利活⽤する仕組みの整備が課題だった • Amazon Bedrock の Claude 3 Opus で営業活動を⼀気通貫に⽀援 • Amazon Transcribe の⽂字起こし結果から議事録を⾃動⽣成。利⽤者の指⽰で出⼒の再整形も可能に • RAG (検索拡張⽣成) で提案商材を検索、類似商材との⽐較表と提案⾻⼦を⾃動⽣成 • ⽣成情報に基づく⽇報の⾃動⽣成 • 議事録と提案書の作成時間を最⼤ 1 時間短縮 • 利⽤した営業担当から「そのまま営業⽇報に使えるレベル」「⼀気に稼働が減り助かる」等、ポジティブなフィードバックが多数得られた 03. 営業⽀援 (3/9)

rights reserved. お客様プロフィール “ ビジネスの課題ソリューション導⼊効果 © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. • デジタルメディアの登場や⼈⼿不⾜の問題から記者の負担の増加が問題視されていた • 記者の業務フローを分析したところ、編集業務のうちの⼀つである⽂字起こし業務に⼤きな負荷がかかっていることがわかった • 記者の⽂字起こし業務効率化のために独⾃の⾳声認識モデルを搭載したコンテンツ制作⽀援サービス「ALOFA」を開発 • さらなる記者業務の効率化のため Bedrock を活⽤した⽣成 AI による要約⽣成等も導⼊株式会社朝⽇新聞社は 140 年以上と国内有数の歴史を持つメディア企業であり、紙からデジタルまで幅広い媒体で情報を発信しています。 I N D U S T R Y メディア C O U N T R Y ⽇本株式会社朝⽇新聞社 : コンテンツ制作⽀援サービスに Amazon Bedrock を活⽤し記者業務を効率化 Amazon Bedrock の活⽤により短期間で複数モデルを検証し、性能⾯、コスト⾯、レイテンシー⾯で最適なモデルを選ぶことができました。株式会社朝⽇新聞社メディア事業本部メディア研究開発センター嘉⽥紗世様 ” • 複数のモデルが利⽤できる Bedrock を通じ、要約の正確性やコスト効率を加味し最適なモデルを選択できた • ALOFA の導⼊により利⽤ユーザーからは「⽉の残業が 20 時間減った」といったコメントもあり業務効率化を達成 • コンテンツ制作⽀援サービスを外部展開することも考えており新たなビジネスの創出にもつながっている “ 06. コンテンツ作成 (1/14)

rights reserved. お客様プロフィール “ ビジネスの課題ソリューション導⼊効果 © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. • コンシューマー向けサービスのプラットフォームを開発運⽤ • ⻑年運⽤されているシステムであることから、設計書や運⽤に関するドキュメントが⼤量かつ複数フォーマットで作成されており、さらに分散して管理されているため担当者間のコミュニケーションコストが⾼く、属⼈的な作業が発⽣していた • Amazon Bedrock Knowledge Bases を利⽤し⽣成 AI チャットボットを構築 • LLM は Claude 3.5 Sonnet を利⽤、最新モデルに都度アップデート • アプリケーション構築には AWS Lambda, AWS Amplify 等サーバーレスサービスを活⽤し、メンテナンスを効率化 • わずか 1 週間でチャットボットを構築し、⻑年蓄積された⼤量のドキュメントの検索⼯数が約 90％削減 • 海外パートナーへのメール作成などにも活⽤し、リソースを本来業務へ集中できるように • 属⼈性が解消され、新規参画メンバーの⽣産性が向上総合通信事業者としてさまざまなサービスやネットワークソリューションを提供。 I N D U S T R Y 情報通信・インターネット C O U N T R Y ⽇本⽣成 AI による業務⽣産性向上というテーマに対し、 Amazon Bedrock Knowledge Bases は実現する答えの 1 つを極めて短期間で提供してくれました。 KDDI株式会社パーソナルシステム本部ライフデザインプラットフォーム部グループリーダー中野利彦様 ” KDDI株式会社 : 社内情報を⽤いた⽣成 AI チャットボットをわずか 1 週間で構築、業務負荷を約 90% 削減 07. システム開発⽀援 (5/15)

rights reserved. お客様プロフィール “ ビジネスの課題ソリューション導⼊効果 © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 三菱電機株式会社では、⽣成 AI の利⽤環境を従業員に提供するなど、早い段階から⽣成 AI の活⽤を検討していましたが、実ビジネスにおける活⽤⽅法に悩んでいました。 AWS Generative AI Innovation Center との協業を通じ、当社の主要事業の 1 つであるエアコン事業において、⽣成 AI を活⽤したソフトウェア開発業務の効率化の⽬処が⽴ったことは⼤きな成果と捉えています。三菱電機株式会社⽣産システム本部⽣産システム企画・技術部ソフトウェア⽣産⼒強化グループグループマネージャー⻑峯基様三菱電機株式会社は 1912 年に創業した総合電機メーカーであり、家電、産業機器、電⼦デバイス、情報通信システムなどの事業を展開しています。「変⾰と挑戦」を企業理念に掲げ、 AI や IoT などの最新技術を活⽤した製品・サービスの⾰新に取り組んでいる。三菱電機株式会社: エアコン向けファームウェア開発プロセスを⽣成 AI の⼒で効率化 I N D U S T R Y 製造業 C O U N T R Y ⽇本 • 三菱電機株式会社では、主⼒商品の 1 つであるエアコン (AC) 向けのファームウェア開発業務の効率化が重要な課題 • ファームウェアは頻繁に改修依頼が発⽣する。改修内容は、対象以外機種にも間接的に影響が及ぶ • 開発担当チームは、個々の改修依頼の影響範囲の特定と改修内容の確定のため、多数のドキュメントを時間をかけて検索し読み解く必要がある • GenAIIC は Discovery Workshop を通じ、開発の業務の現状と課題を把握。⽣成 AI 活⽤ユースケース案を複数策定。「開発関連ドキュメントの検索」を PoC に選定 • マルチモーダル⽣成 AI を活⽤し、ドキュメントからのメタデータ抽出と埋め込みを⾏いベクター DB へ格納。改修範囲に関連した⽂書を⾼精度で検索するためのメタデータを Claude 3 で⽣成 • Discovery Workshop を通じ、ファームウェア開発業務プロセスの中で⽣成 AI による効率化が⾒込めるユースケースを特定し、実⽤化までのロードマップを策定できた • PoC で実装した開発関連ドキュメント検索の検証により、フィージビリティテストを実施。その結果、制御設計者の⼯数効率を 20% ~ 40% 向上させられる可能性を確認した “ 07. システム開発⽀援 (8/15)

rights reserved. お客様プロフィール “ ビジネスの課題ソリューション導⼊効果 © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. • 700 億パラメータの⽇本語 LLM 最新モデル (当時)「ELYZA- japanese-Llama-2-70b」を開発し、実案件獲得に繋げるためのデモサービスを短期スパンで検討・公開する必要があった • しかし、700 億パラメータのモデルを動かす⾼性能な計算リソースを⼗分調達することは GPU 需要が⾼まる中で困難 • AWS Inferentia2 アクセラレーターを搭載した Amazon EC2 Inf2 インスタンスを採⽤ • 世界初の試みとして Speculative Decoding (推論処理⾼速化⼿法) を Inferentia2 上で実装 • AWS の⼿厚いサポートを受けながら、GPU と Inferentia2 とでの推論出⼒差異の問題等を解決 • ⾼スペックで調達容易な Inferentia2 搭載の Amazon EC2 Inf2 インスタンス上で Speculative Decoding を実装した結果、平均して元の推論速度の 2 倍程度の⾼速化に成功 • AWS アカウントチームおよび Inferentia2 の設計・開発に携わる Annapurna Labs の Specialist ⽀援により約 1 か⽉以内で実装を完了株式会社ELYZA は東⼤松尾研発の⽣成 AI カンパニーで、⾃然⾔語処理と⼤規模⾔語モデル（LLM）を専⾨とし、独⾃の AI エンジン開発や企業向け LLM 活⽤⽀援を⾏っています。 I N D U S T R Y 情報通信・インターネット (AI) C O U N T R Y ⽇本前例のない AWS Inferentia2 での Speculative Decoding 実装における技術サポートをはじめ、タイトなスケジュールの中、ELYZA ⽬線で⾮常に親⾝に伴⾛いただきました。株式会社 ELYZA 取締役 CTO 垣内弘太様 ” 詳細はこちら株式会社ELYZA : AWS Inferentia2 × Speculative Decoding の組み合わせで世界初、約 2 倍の推論速度を実現基盤モデル開発 (1/5)

rights reserved. お客様プロフィール “ ビジネスの課題ソリューション導⼊効果 © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. カラクリ株式会社は、カスタマーサポートの DX を推進するべく有⼈のチャットや接客ツール、また AI を⽤いたチャットボットなど顧客応対業務を効率化するサービスの提供と研究開発を⾏っています。 I N D U S T R Y 情報通信・インターネット C O U N T R Y ⽇本スタートアップ企業が LLM の開発に挑戦するには、コストと時間を最⼤限効率化することが必要です。AWS Trainium と AWS の⽀援により短期間で実⽤レベルの LLM を開発できました。カラクリ株式会社取締役 CPO 中⼭智⽂様 ※ 2024 年 1 ⽉ 18 ⽇時点カラクリ株式会社: カスタマーサポートに必要な誠実かつ⾃然な返答ができる⽇本語 LLM を 3 ⽇で学習 • AI チャットボットのサービスである KARAKURI chatbot では 2018 年に正答率 95% を達成していたものの、返答をより理解しやすく⾃然な回答で伝えられるよう改善を続けていた • ⽣成 AI の登場からいち早く LLM 専⾨の「カラクリ LLM ラボ」を⽴ち上げたものの、世界的な GPU 不⾜を含めた開発資源の問題に直⾯していた • ⼀般的なテキストデータに加え、独⾃収集したカスタマーサポート業務に特化した⽇英のデータを収集 • 学習済みの Llama2 をベースとし、学習特化の AWS Trainium で継続事前学習を⾏うことでコスト効率よく⾼性能な LLM を開発 • LLM 開発⽀援プログラムに採択されクレジットの提供と技術⽀援を受け学習 • 700 億規模のモデルを trn1.32xlarge 32 ノードで学習し、3 ⽇かつ通常の GPU の半分のコストで学習。⽇本語 LLM のベンチマークテスト「Japanese MT-Bench」で国産 LLM モデルとして最⾼性能 (※) を記録 • サービスへの組み込みを⾒越して、 AWS Inferentia2 による⾼速・コスト効率の⾼い推論でデモを実装 • 開発を進め、AWS Marketplace へのモデル出品も実現基盤モデル開発 (2/5)

rights reserved. お客様プロフィール “ ビジネスの課題ソリューション導⼊効果 © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. デジタル技術を活⽤したビジネス変⾰や社会課題の解決に向けて、さまざまなサービスを提供します。 I N D U S T R Y 情報通信・インターネット C O U N T R Y ⽇本 LLM 開発には膨⼤なマシンリソースが必要です。AWS を利⽤することで⼤量の GPU インスタンスを調達でき、2 週間で開発環境を構築することができました。株式会社NTTデータ Generative AI ビジネス推進室柏原豊様株式会社NTTデータ: AWS からの⽀援を受け、⽣成 AI の基盤モデル (LLM) の開発環境を 2 週間で構築 • ⾃社の LLM 開発に伴い、早期に⼤規模なコンピュート環境の⽤意が必要だった • ⼀⽅ハードウェアとソフトウェアリソース確保が困難、環境のタイムリーな提供が難しい • Amazon EC2 の GPU インスタンスを活⽤ • GPU クラスター構築・運⽤のための技術⽀援を受けられた • リソースを即座にスケーリングするスケーラビリティと柔軟性を実現した • 2 週間での NTT グループの LLM 開発環境構築とグループ内提供を実現 • NTT グループが開発した tsuzumi™ は有数の⽇本語処理能⼒持ち、かつ図表読解も可能なため、コンタクトセンターや相談チャットボットといった顧客サポート領域での活⽤が期待される基盤モデル開発 (3/5)

rights reserved. お客様プロフィール “ ビジネスの課題ソリューション導⼊効果 © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ” AWS チームからの⽀援により、AWS Trainium を⽤いた学習を効率的に実施することができ、コストと電⼒消費量の削減のみならず、当社開発チームの作業効率化にもつながりました。今回開発したモデルは、当社の事業領域における様々なアプリケーションの中核モデルとして活⽤する予定です。株式会社リコーデジタル技術開発センター所⻑梅津良昭様 I N D U S T R Y エレクトロニクス機器 C O U N T R Y ⽇本株式会社リコーは、プリンターやコピー機、FAX など、オフィスオートメーション時代の先駆者として知られており、オフィスの課題を解決するソリューションを提供し続けています。株式会社リコー : AWS Trainium による 700 億パラメータ⼤規模⾔語モデル開発で 50% コスト低減 “ • リコーでは、企業内に散在しているナレッジやドキュメントを AI で利活⽤するサービス「仕事の AI」を提供中。より⾼度な機能を実現するため、⽇本語・英語・中国語に対応し、⽇本語性能に優れる独⾃の⼤規模⾔語モデル (LLM) の構築プロジェクトを推進している • 数百億パラメータ規模の LLM 継続学習を、コストおよび消費電⼒について⾼い効率で実現する環境を必要としていた。また、⼤規模クラスター環境を⽤いた学習を効率的にモニタリングし、学習処理のダウンタイムとそれに伴うコスト増を防ぐ必要があった • AWS Generative AI Innovation Center (GenAIIC) および Annapurna Labs の協⼒により Trainium (16 の trn1.32xlarge ノード ) からなる学習⽤アクセラレーター環境を構築。Llama 3 をベースにし AWS Neuron SDK を⽤いた学習を⽀援 • GenAIIC では、⼤規模学習ジョブの実⾏ステータスをモニタリングするためのソリューションを開発。学習ログやモデルのチェックポイント保存状況を監視し、学習過程の異常をリアルタイムで検出、開発者に通知することが可能に • 独⾃ LLM の開発に成功。Trainium 256 台構成のアクセラレーター環境で Llama-3-Swallow-70B の継続事前学習に成功。同等の EC2 インスタンスと⽐較し 50% のコスト低減と最⼤ 25% の電⼒消費量削減を達成 • 開発した LLM は各種ベンチマークにおいて、⽇本語回答の品質と速度でそれぞれ⾼い性能を達成。英語・中国語を扱えることも確認基盤モデル開発 (4/5)

rights reserved. お客様プロフィール “ ビジネスの課題ソリューション導⼊効果 © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. • 多くの企業にとって既存の汎⽤ LLM はハルシネーション ( 誤った回答の出⼒) が多く、商⽤利⽤に踏み切ることができなかった • ⽣成 AI が世界的に盛り上がる中、 GPU の安定的な確保と学習時のコストがブロッカーとなり、事業推進の問題となっていた • 公開データだけでなくビジネスドメインの独⾃ Web コーパスや特許のデータを含めた、合計 2,200 億トークンの⽇本語テキストデータを使⽤し 130 億パラメータの LLM をゼロから学習 • Amazon EC2 trn1.32xlarge を 16 インスタンス⽤いた学習を実施し、約 30 ⽇の短期間で迅速に開発 • LLM 開発⽀援プログラムに採択されクレジットの提供と技術⽀援を活⽤ • A100 (80 G) GPU よりも約 20% 学習コストを削減 • JGLUE (⽇本語⼀般⾔語理解評価) ベンチマークで、同等のモデルと⽐較して最⾼の JSQuAD スコアを達成 • AWS Marketplace で stockmark-13b の販売を開始、1 クリックで購⼊し利⽤することを可能にストックマーク株式会社は、⾃然⾔語処理を活⽤した企業⽂化変⾰の⽀援を⾏うサービスの開発をしています。 I N D U S T R Y 情報通信・インターネット (SaaS) C O U N T R Y ⽇本独⾃ LLM 「stockmark-13b」の開発において、安定的かつ低コストに利⽤できる AWS Trainium は最適な選択肢でした。ストックマーク株式会社取締役 CTO 有⾺幸介様 ” ストックマーク株式会社 : ビジネスドメインに特化した⽇本語 LLM を GPU よりも 20% 安価に学習 “ 基盤モデル開発 (5/5)

rights reserved. お客様プロフィール “ ビジネスの課題ソリューション導⼊効果 © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. • 市場事業本部は 2024 年度から始まる中期経営計画策定において、現状の断⽚的情報でのニーズ分析や個⼈スキル依存の提案活動を課題と認識 • ⽣成 AI 技術等を活かし「データやナレッジを“つなぐ“」ことで、顧客の真の課題を組織的に解決する体制への変⾰を DX で⽬指す姿と定義 • ML Enablement Workshop を通じ、 DX で⽬指す姿を、営業、ML チームで合意。実現に向け、顧客 FB を踏まえながら段階的に AI 活⽤範囲、対象ユーザーを拡⼤するマイルストンを設定 • AWS プロトタイピングチームよりアプリケーション構築のノウハウを ML チームにスキル移転し、 MVP 作成を加速 • ワークショップ終了から約 3 ヵ⽉で最初の顧客提案を実現し、仮説の有効性を確認。ML チームは⽣成 AI による提案アイディア⽣成プロセスの⾃動化を実現 • 開発スキルの獲得により、内製で、部⾨全職員が利⽤可能なアプリケーションを 3 か⽉で構築し展開。今後もアジャイルな開発を⾏い改善継続予定株式会社三菱 UFJ フィナンシャル・グループ (MUFG) は、世界有数の⾦融グループの⼀つです。「世界で最も信頼される⾦融グループ」を⽬指し、クライアントのあらゆる⾦融ニーズに柔軟に対応し、社会に貢献し、持続可能な成⻑を促進することで、より良い世界を⽬指しています。 I N D U S T R Y ⾦融・法⼈サービス C O U N T R Y 国内 ML Enablement Workshop とプロトタイピングの⽀援により、⽬指すべき営業体験の創出から、検証、改善までの⼀連のサイクルを、迅速かつ円滑に回し始めることができました。三菱 UFJ 銀⾏⾦融市場部稲森⼤始郎様市場企画部市場エンジニアリング室堀⾦哲雄様 ” 三菱 UFJ 銀⾏ : 中期経営計画で掲げる DX 実現に不可⽋な⽣成 AI の活⽤計画策定に ML Enablement Workshop を活⽤

rights reserved. Amazon Confidential and Trademark. 67 AWS re:Invent Recap 日本語での発表内容振り返り • Keynote 編 • 12 月 17 日 (火), 19 日 (木), 20 日 (金) いずれも同一内容 • インダストリー編 • 2025 年 1 月 28 日 (火) 〜 • 自動車は 1 月 29 日 14:00-16:00 • ソリューション編 • 2025 年 2 月 4 日 (火) 〜 2 月 7 日 (金) • 各ソリューション (Analytics, AI/ML, Storage, DB, etc.) ごとに内容を厳選 67

AWS の生成 AI サービス 最新アップデートと事例 / AWS GenAI Update...

AWS の生成 AI サービス 最新アップデートと事例 / AWS GenAI Update and Case Study

More Decks by Yoshitaka Haribara

Other Decks in Technology

Featured

Transcript

AWS の生成 AI サービス最新アップデートと事例 / AWS GenAI Update...

AWS の生成 AI サービス最新アップデートと事例 / AWS GenAI Update and Case Study