AWSで生成系AIの活用がはかどる3つの理由

Slide 1

Slide 1 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS で生成系 AI の活用がはかどる 3 つの理由 Machine Learning Developer Relations Takahiro Kubo アマゾンウェブサービスジャパン合同会社

Slide 2

Slide 2 text

Slide 3

Slide 3 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 3 自己紹介アマゾンウェブサービスジャパン合同会社 Machine Learning Developer Relations 久保隆宏 (Kubo Takahiro) ミッション「機械学習を実用するなら AWS 」という認知を拡大すること。 10 年以上の業務コンサルタント経験、また研究開発していたテーマをプロダクトとしてリリースした経験をもとにお話しします。

Slide 4

Slide 4 text

Slide 5

Slide 5 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Bedrock : API から利用できる基盤モデル 5 Amazon だけでなく先進的スタートアップ企業の基盤モデルを提供対話向けの LLM 質問回答、業務フローの自動化責任ある AI に向けた学習テキスト生成用多言語対応 LLM 英語、西語、仏語独語、葡語、伊語蘭語 Amazon の構築した LLM テキスト要約テキスト生成テキスト分類自由形式の Q&A 情報抽出 Embedding 検索オープンソースの画像生成 LLM 独自性、高精細、リアルなロゴやデザイン生成インペインティング業務アプリ向けのテキスト生成モデル要約、広告文、対話、情報抽出質問回答 JU RA S SIC -2 C L A U DE 2 S DXL 1 .0 A M A ZO N T IT A N C O M M AN D L L A M A 2 オープンソースの LLM 質問回答や文書読解などの自然言語処理タスク Coming Soon

Slide 6

Slide 6 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 6 汎用的な基盤モデルだけでなく、文書校正や要約に特化したモデルを提供。 ※ Amazon Bedrock では基盤モデルのみ、 JumpStart ( 後述 ) で他のモデルを利用可能文書の校正を支援する Wordtune などを開発する企業。 AI により人が読み書きする方法の変革を目指す。 ※日本語は扱えない

Slide 7

Slide 7 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 7 Claude は約百ページ超の 100,000 トークンを扱えるだけでなく、GPT-3.5 / GPT 4 と近しい精度を持つモデル。 https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard https://yuzuai.jp/benchmark OpenAI 在籍メンバーが 2021 年に創業。安全かつ制御可能な AI の開発を目指す。Amazon からは 40 億ドルを出資。

Slide 8

Slide 8 text

Slide 9

Slide 9 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 9 “The enterprise LLM” を掲げ、顧客自身のネットワーク / 環境へのデプロイ、そこでのカスタマイズ、さらにサポートを提供。基盤モデルの開発だけでなく、マッキンゼーとの協業をはじめとした導入支援、またサポートの提供など周辺サービスも含め提供している。日本語は、理解しているが英語で返す。 Embedding のモデルは多言語対応している

Slide 10

Slide 10 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 10 AI に対しオープンイノベーションのアプローチをとることを支持し実践する。 Llama2 などのモデルをオープンソースで公開。 Llama2 は単体で高い性能を誇るだけでなく、オープンソースゆえにさまざまな派生モデルが生まれている。 https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard Hugging Face の Chatbot Arena ではトップ 10 にオリジナル含め 4 モデルがランクイン。 ELYZA から日本語データで追加学習されたモデルも公開。

Slide 11

Slide 11 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 11 Stable Diffusion をはじめ、 Stable LM 、Stable Audio など多様なモダリティのモデルを公開。日本法人を立ち上げ、日本語のモデルも公開。世界をリードするオープンソースの生成 AI モデルの開発と展開を行う企業。画像だけでなく言語、音声など多様なモデルを公開。 Japanese StableLM Alpha

Slide 12

Slide 12 text

Slide 13

Slide 13 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker JumpStart : より幅広なモデルの選択肢 13 モデル Stable Diffusion XL 1.0 2.1 base 高精細化インペインティングタスクテキスト入力からフォト・リアルな画像生成生成画像の品質改善特長 Stable Diffusion 2.1 ファイン・チューン対応モデル AlexaTM 20B タスク機械翻訳質問回答テキスト要約注釈付与データ生成モデル Falcon-7B, 40B Open LlaMA RedPajama MPT-7B BloomZ 176B Flan T-5 models (8 種類) DistilGPT2 GPT NeoXT Bloom models (3 種類) タスク機械翻訳質問回答テキスト要約モデル Cohere Command XL タスクテキスト生成情報抽出質問回答テキスト要約モデル Jurassic-2 Ultra, Mid 状況に応じた回答テキスト要約言い換え文法エラー訂正タスクテキスト生成長文生成テキスト要約言い換えチャット情報抽出モデル Lyra-Fr 10B, Mini タスクテキスト生成キーワード抽出情報抽出質問回答テキスト要約感情分析テキスト分類モデル Llama 2 7B, 13B, 70B タスク質問回答チャットテキスト要約言い換え感情分析テキスト生成モデル Dolly タスク質問回答チャット言い換え感情分析テキスト生成 400 超のオープンソースや企業独自のモデルを簡単にデプロイ、カスタマイズ

Slide 14

Slide 14 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker JumpStart の体験 14 インスタンスを選んで Deploy のボタンを押すだけでエンドポイントの作成が、学習データセットを Amazon S3 に置いて「Train」するだけで追加学習が可能 ※ Fine Tuning に対応しているモデルとしていないモデルがあります。

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 18 大規模言語モデルの経済圏構築を支援 AWS Amazon Bedrock SageMaker JumpStart AWS Marketplace モデル開発者モデル利用者世界中の AWS の顧客にリーチ顧客・ライセンス管理の簡素化パートナーを介した間接販売学習特化インスタンス支払いを AWS に一元化審査済みソフトウェアの利用既存パートナーからの調達推論特化インスタンス

Slide 19

Slide 19 text

Slide 20

Slide 20 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 20 Model Context Prompt ( 入力 ) Completion ( 出力 ) token per 1M token per 1M token GPT-3.5 4k $1.50 $2.00 GPT-4 8k $30.00 $60.00 GPT-3.5 16k $3 $4 GPT-4 32k $60.00 $120.00 Claude Instant 100k(*) $1.63 $5.51 Claude 100k(*) $11.02 $32.68 2023 年 10 月 12 日時点の価格 OpenAI: https://openai.com/pricing Anthropic: https://aws.amazon.com/jp/bedrock/pricing Amazon Bedrock で使える Claude の特徴緑色のモデルは AWS で利用可能。 (*) 東京リージョンでは Claude Instant (18k) のみ利用可能。 Claude Instant は、 GPT-3.5 の 2 倍程度だが100 k まで入る。 Claude は GPT-4 に次ぐ精度でより安価。

Slide 21

Slide 21 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. オープンソースのモデルの価格は ? 21 • 日本語クイズのデータセット JAQKET に対する精度を比較。 • Fine Tuning した OpenCALM では、 GPT-3.5 で JAQKET の評価データに対し同等の精度が得られた。 • インフラの最適化により GPT 3.5 より 20 倍 ~ 37 倍コスト効率を改善できる。詳細 : 日本語大規模言語モデル OpenCALM の知識でクイズ王に挑戦する Fine Tuning で同等精度が得られインスタンス費用のほうが安く済むなら十分な選択肢 ※インスタンスを起動し続ける場合、推論回数が低いとインスタンスの固定費が高くつく点には注意。

Slide 22

Slide 22 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 22 カスタマーサポートの回答負荷を LLM でどれだけ軽減できたかを、 Expected Net Cost Savings (ENCS) = 期待節約効果で評価。類似の検証を行った研究 (ACL2023 Industry Track) The economic trade-offs of large language models: A case study ※年効果は月 10 万件の対応で計算。 ChatGPT でなく GPT-3 のため単価が高めな点に注意回答の採用率は Prompt Engineering した GPT-3 が最も高いが、期待節約効果は Fine Tune + 蒸留したモデルが最も高い

Slide 23

Slide 23 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 23 生成系AI のための AWS Trainium トレーニングコストを最大 50% 削減同等 Amazon EC2 インスタンスと比較時 AWS Inferentia2 最大 40% 高いコストパフォーマンス同等 Amazon EC2 インスタンスと比較時 ※ SageMaker JumpStart との連携は進行中です！

Slide 24

Slide 24 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. オープンソース大規模言語モデルの高速な推論を支援 24 https://pytorch.org/blog/high-performance-llama/ https://huggingface.co/blog/accelerate-transformers-with-inferentia2

Slide 25

Slide 25 text

Slide 26

Slide 26 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. ML Enablement Workshop 生成系 AI のお試し生成系 AI によるサービスの継続的成長参考 : プロダクトの成長をリードする生成系 AI の活用戦略 26 機械学習 / 生成系 AI によるプロダクトの成長を図るお客様に無償で提供する、実現可能な計画をアウトプットできるワークショップ。理解編他社事例を参考に、ビジネスモデルキャンバスを作成応用編顧客体験の改善を確認するための検証スコープの特定開始編 1~3 カ月間の検証 (Dev)、学習 (ML) の具体的な計画

Slide 27

Slide 27 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. ML Enablement Workshop のコンテンツはすべて GitHub で公開中。 https://github.com/aws-samples/aws-ml-enablement-workshop AWS からの提供には条件がありますが、開催者向けガイドを参照しお客様自身で実施頂くこともできます 27

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Agents for Amazon Bedrock IN PREVIEW タスクを完了させる生成系 AI のワークフローをクリックのみで作成要求をタスクにばらし、実行をオーケストレーションフルマネージドなインフラのサポート企業内データにセキュアにアクセスし検索 API を通じタスクの実行を代理