Tweet
Tweet

Slide 1

Slide 1 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 大規模言語モデルを Fine Tuning すべきタイミングとその方法 Takahiro Kubo Developer Relations Machine Learning

Slide 2

Slide 2 text

© 2023, Amazon Web Services, Inc. or its affiliates. 2 Prompt Engineering から一歩進んで Fine Tuning を行うビジネス 面でのメリットと、 その時 AWS と Weights & Biases を組み合わ せて使うメリットについて知って頂く。 本セッションのゴール

Slide 3

Slide 3 text

© 2023, Amazon Web Services, Inc. or its affiliates. 3 自己紹介 アマゾン ウェブ サービス ジャパン合同会社 Machine Learning Developer Relations 久保隆宏 (Kubo Takahiro) ミッション 「機械学習を実用するなら AWS 」という認知を拡大すること。 10 年以上の業務コンサルタント経験、また研究開発していたテーマをプロダクトと してリリースした経験をもとにお話しします。

Slide 4

Slide 4 text

© 2023, Amazon Web Services, Inc. or its affiliates. 4 1. なぜ Fine Tuning をするのか 2. Fine Tuning でモデルの価値を高めるステップ 3. AWS で Fine Tuning するメリットと方法 Agenda

Slide 5

Slide 5 text

© 2023, Amazon Web Services, Inc. or its affiliates. 5 1. なぜ Fine Tuning をするのか 2. Fine Tuning でモデルの価値を高めるステップ 3. AWS で Fine Tuning するメリットと方法 Agenda

Slide 6

Slide 6 text

© 2023, Amazon Web Services, Inc. or its affiliates. おさらい : 事前学習 (Pre-training) 6 テラバイト規模のデータ 基盤モデル / 大規模言語モデル 事前学習 (Pre-training) 数十億~数百億 パラメーターを持つ

Slide 7

Slide 7 text

© 2023, Amazon Web Services, Inc. or its affiliates. 7 テキスト生成 要約 情報抽出 Q&A チャットbot 基盤モデル / 大規模言語モデル 幅広なタスクの実行 追加学習データ Fine Tuning Prompt Engineering 入力調整 (プロンプト) モデルのパラメーター を更新しない おさらい : Fine-tuning と Prompt Engineering

Slide 8

Slide 8 text

© 2023, Amazon Web Services, Inc. or its affiliates. 8 前提 : Prompt Engineering と Fine Tuning は併用できる Prompt Engineering Fine Tuning Both

Slide 9

Slide 9 text

© 2023, Amazon Web Services, Inc. or its affiliates. 9 おさらい: Prompt Engineering と Fine Tuning の種類 Prompt Engineering Fine Tuning Prompt Tuning: プロンプトの書き方を工夫し望みの出 力が得られるよう調整すること。 In Context Learning: プロンプト内 (= コンテキスト ) に少 数の学習データを含め望みの出力が得 られるよう誘導 (= 学習 ) すること。 Continuous Pretraining: 固有分野 ( ドメイン ) やタスクの知識 を追加学習により増強すること。 Instruction Tuning: プロンプトと出力のペアで追加学習す ることで振る舞いの精度を高めること。

Slide 10

Slide 10 text

© 2023, Amazon Web Services, Inc. or its affiliates. 10 Prompt Engineering と Fine Tuning のメリット・デメリット Prompt Engineering Fine Tuning • テキストが書ければ誰でも行える。 • 学習データが必要ない。 • プロンプト内で例示することは可能。 • 検索と組み合わせて知識拡張可能。 • 挙動のコントロールは限定的。 • ハルシネーションの問題が残る。 • 自由度が高く属人性が生まれやすい。 • 知識を補完し正確な返答ができる。 • 少ない指示で望みの回答が得られる。 • 入出力トークン数課金ではコストに効く • 小さいモデルで代替しコストを改善。 • 追加データが必要。 • 学習するための計算資源が必要。 • 学習のための技術的な知識が必要。

Slide 11

Slide 11 text

© 2023, Amazon Web Services, Inc. or its affiliates. 11 Prompt Engineering のみではプロダクトに蓄積された データによりモデルの価値が高まることはない。 価値 データ データが増えても学習させな い限り精度は改善しない。 学習済みのモデルで高い価値

Slide 12

Slide 12 text

© 2023, Amazon Web Services, Inc. or its affiliates. Instruction Tuning の効果の例 : Gorilla Llama ベースの、 API 呼び出しに特化したモデル 12 自然言語のテキストを、 適切な API 呼び出しに変換する =>どんどん正確にならないと困る

Slide 13

Slide 13 text

© 2023, Amazon Web Services, Inc. or its affiliates. 13 価値を高めるためには、蓄積されるデータで継続的に学習す る必要がある。 価値 データ 通常の機械学習モデル Prompt Engineering で使う大規模言語モデル Fine Tuning で使う大規模言語モデル

Slide 14

Slide 14 text

© 2023, Amazon Web Services, Inc. or its affiliates. Customer Experience Traffic Data Data Driven Decision Growth 14 機械学習によるプロダクトの成長サイクル

Slide 15

Slide 15 text

© 2023, Amazon Web Services, Inc. or its affiliates. Customer Experience Traffic Data Data Driven Decision Growth 15 機械学習によるプロダクトの成長サイクル Prompt Engineering のみでは改善のサイク ルが回らない =データが顧客体験の 改善につながらない

Slide 16

Slide 16 text

© 2023, Amazon Web Services, Inc. or its affiliates. 16 OpenAI が実施した成長サイクル Customer Experience Traffic Data Data Driven Decision Growth ① GPT-3 ④ InstructGPT ② API Access ③ API Requests/ Responses Data 参考: Training language models to follow instructions with human feedback ⑤ ChatGPT

Slide 17

Slide 17 text

© 2023, Amazon Web Services, Inc. or its affiliates. 17 プロダクトに蓄積されるデータでモデルを学習させることで顧客体験 を継続的に高める、成長サイクルを実現するため。 大規模言語モデルを選択し Fine Tuning する理由

Slide 18

Slide 18 text

© 2023, Amazon Web Services, Inc. or its affiliates. Fine Tuning により改善できる顧客体験 18 より最新かつ 十分な知識に 基づく よりコスト 効率が良い Continuous Pretraining Instruction Tuning より端的な指示 でも適切に振舞う

Slide 19

Slide 19 text

© 2023, Amazon Web Services, Inc. or its affiliates. 19 1. なぜ Fine Tuning をするのか 2. Fine Tuning でモデルの価値を高めるステップ 3. AWS で Fine Tuning するメリットと方法 Agenda

Slide 20

Slide 20 text

© 2023, Amazon Web Services, Inc. or its affiliates. Biz Dev ML 20 Fine Tuning でモデルの価値を高める 3 ステップ

Slide 21

Slide 21 text

© 2023, Amazon Web Services, Inc. or its affiliates. 21 Biz Dev ML 成長サイクルを設計する 生成系 AI により継続的に顧客体験が改善する ビジネスモデルを設計する。 Prompt Engineering でタスクを設計する すぐに使える生成系 AI によりビジネスモデルが 成立するか検証する。 モデルを選択し Fine Tuning する プロダクトに蓄積したデータでモデルを学習することで 継続的に顧客体験を改善する Fine Tuning でモデルの価値を高める 3 ステップ

Slide 22

Slide 22 text

© 2023, Amazon Web Services, Inc. or its affiliates. 22 Biz Dev ML 成長サイクルを設計する 生成系 AI により継続的に顧客体験が改善する ビジネスモデルを設計する。 Prompt Engineering でタスクを設計する すぐに使える生成系 AI によりビジネスモデルが 成立するか検証する。 モデルを選択し Fine Tuning する プロダクトに蓄積したデータでモデルを学習することで 継続的に顧客体験を改善する Fine Tuning (ML) に至る 3 ステップ

Slide 23

Slide 23 text

© 2023, Amazon Web Services, Inc. or its affiliates. 成長サイクルを実現させる 3 つの条件を確認する。 1. 機械学習が顧客の問題を解決している 2. 顧客体験の改善がビジネスの問題解決につながる 3. ビジネスの KPI 改善が機械学習の精度改善につながる 23 機械学習 顧客の問題 パンフレットを制作し たいが、独自性のある 画像を用意したり探し たりするのが手間。 イメージをテキストで 入力することで画像素 材を生成する機能。 ビジネスの問題 画像編集に使う有償 機能の使用回数が伸 び悩んでいる。 有償機能のトライアル数増 例 : 画像生成 AI 機能の例 ① ② ③

Slide 24

Slide 24 text

© 2023, Amazon Web Services, Inc. or its affiliates. Canva はロゴやチラシ、バナーなどを デザインできる SaaS 型のサービス。 Stable Diffusion のモデルをベースに 3 週間で機能をリリース。 顧客は、イメージに合う画像がない時 にテキストからの指示で画像を生成で きる。 事例 : Canva が Amazon SageMaker と Amazon Rekognition を使用し 1 億ユーザーにテキストから画像を生成する AI を提供した方法 画像引用: AI イラスト生成 24 実際の事例 : Canva での AI イラスト生成

Slide 25

Slide 25 text

© 2023, Amazon Web Services, Inc. or its affiliates. 25 Biz: 成長サイクルを設計する 3 つの条件の成立は、 ビジネスモデルキャンバスを使うと可視化しやすい。

Slide 26

Slide 26 text

© 2023, Amazon Web Services, Inc. or its affiliates. 26 おさらい : ビジネスモデルキャンバス 2005 年に経営コンサルタントのアレクサンダー氏が発案した フレームワーク。フレームワークを解説した 「ビジネスモデルジェネレーション 」は 45 カ国の実践者により 執筆され、シリーズの累計部数は 14 万部に上る。 画像引用 : 翔泳社の書籍サイトより 本屋で平積みにされているのを 見たことがある方もいるのでは ?

Slide 27

Slide 27 text

© 2023, Amazon Web Services, Inc. or its affiliates. 協力者 Key Partners 主要活動 Key Activities 資源 Key Resources 価値提供 Value Propositions 顧客との関係 Customer Relationships 販路 Channels 顧客セグメント Customer Segment コスト構造 Cost Structure 収益の流れ Revenue Streams ビジネスモデルキャンバスの図 : 9 象限で表現 27

Slide 28

Slide 28 text

© 2023, Amazon Web Services, Inc. or its affiliates. Canva の例 : 成長サイクルを成立させる 3 つの条件の確認 協力者 Key Partners 主要活動 Key Activities 資源 Key Resources 価値提供 Value Propositions 顧客との関係 Customer Relationships 販路 Channels 顧客セグメント Customer Segment コスト構造 Cost Structure 収益の流れ Revenue Streams デザイン機能 Stable Diffusion ソフトウェア と統合 無料 必要な画像が 手に入らない ユーザー Stability AI AI イラスト 生成 28 ホーム ページ 画像作成数 増加 モデル学習 費用 ①顧客の問題解決 ②ビジネスの 問題解決 実際のテキスト と画像ペア ③モデルの 継続的改善 有償ユーザー化

Slide 29

Slide 29 text

© 2023, Amazon Web Services, Inc. or its affiliates. Canva の例 : 成長サイクルを成立させる 3 つの条件の確認 29 https://www.canva.com/ja_jp/ai-image-generator/ 画像生成した後に、有償の編集機能を提案。 「画像がなければ編集されない」というビジネスの問題を生成 AI により解決している

Slide 30

Slide 30 text

© 2023, Amazon Web Services, Inc. or its affiliates. Canva の例 : 成長サイクルを成立させる 3 つの条件の確認 30 https://www.canva.com/ja_jp/ai-image-generator/ 画像生成機能自体から有償プランへのコンバージョンも狙う

Slide 31

Slide 31 text

© 2023, Amazon Web Services, Inc. or its affiliates. 31 Biz: 成長サイクルを設計する 生成系 AI が継続的に顧客とビジネスの問題を解決す ることをビジネスモデルキャンバスで確認しよう。

Slide 32

Slide 32 text

© 2023, Amazon Web Services, Inc. or its affiliates. 32 Biz Dev ML 成長サイクルを設計する 生成系 AI により継続的に顧客体験が改善する ビジネスモデルを設計する。 Prompt Engineering でタスクを設計する すぐに使える生成系 AI によりビジネスモデルが 成立するか検証する。 モデルを選択し Fine Tuning する プロダクトに蓄積したデータでモデルを学習することで 継続的に顧客体験を改善する Fine Tuning (ML) に至る 3 ステップ

Slide 33

Slide 33 text

© 2023, Amazon Web Services, Inc. or its affiliates. 33 今まで機械学習を行うときは「まずデータを用意して」が最初の言葉 だったが、生成系 AI によりすぐに試せるように。 Dev : Prompt Engineering でタスクを設計する

Slide 34

Slide 34 text

© 2023, Amazon Web Services, Inc. or its affiliates. 34 Dev : Prompt Engineering でタスクを設計する 例 : 議事録から Todo を抽出し担当者 にリマインドメールを送る機能。 生成系 AI 前: 1. 名前を抽出するモデルを開発 2. Todo を抽出するモデルを開発 3. メール文面テンプレートに穴埋めな どして文章を作成するプログラムを 開発。 いずれもデータの収集やモデルの開発 が必要。 生成系 AI 後: 1. プロンプトを作成し出力結果が受容 可能か確認 ( 割といい感じになる )

Slide 35

Slide 35 text

© 2023, Amazon Web Services, Inc. or its affiliates. Dev におけるタスク設計の進め方 1. すぐに使えるモデルで「価値提供」できるか検証する。 35 文書作成 チャットボット 分析結果記述 文書要約 動画生成 動画編集 音声変換 話者変換 (VTuber等) コード生成 データ生成 プロトタイプ生成 3D オブジェクト生成 製品デザイン、創薬 素材画像生成 画像編集 音声合成 音楽生成 音声/音楽編集 参考: Exploring opportunities in the generative AI value chain

Slide 36

Slide 36 text

© 2023, Amazon Web Services, Inc. or its affiliates. Dev におけるタスク設計の進め方 2. Biz で想定したビジネスモデルとのギャップを明確にする • ①顧客体験: 知識が足りないのか、振る舞いが適切でないのか • ②ビジネス価値: 「コスト構造」と「収益の流れ」はバランスするか • ③体験改善: 蓄積されるデータはより良い体験に繋がるか 36

Slide 37

Slide 37 text

© 2023, Amazon Web Services, Inc. or its affiliates. Point : コストの見積りに欠かせない非機能要件 (1/2) • 運用要件 顧客体験の継続的改善に必要な更新頻度 • セキュリティ要件 インターネット経由での通信や海外サービスの利用が許容されるか。 • 信頼性の要件 サービスレベルとしてどの程度の耐障害性を求めるか。 • パフォーマンスの要件 どの程度のレスポンスで応答を返すべきか。 37 参考 : Well Architected Framework

Slide 38

Slide 38 text

© 2023, Amazon Web Services, Inc. or its affiliates. Point : コストの見積りに欠かせない非機能要件(2/2) • コストの要件 想定される利用頻度とパフォーマンスの実現にかかるコストが 許容されるか。 • 持続可能性の要件 会社として進めるサステナビリティの施策や報告と 一致するか。 38 利用可能なサービスや価格プラン、 アーキテクチャに影響 参考 : Well Architected Framework

Slide 39

Slide 39 text

© 2023, Amazon Web Services, Inc. or its affiliates. Dev におけるタスク設計の進め方 3. あるべき顧客体験に修正したデータを作成する • 入出力データをあるべき形に修正する。学習には 1000 件程度が目安。 39

Slide 40

Slide 40 text

© 2023, Amazon Web Services, Inc. or its affiliates. Point : 良いデータ、良くないデータ 40 品質が高い 幅広いサンプル 実際の入出力に基づく 多い 品質が低い 似たデータが多い 自動生成された 少ない 品質の高いデータにより効率的な学習ができることが示唆されている。 LIMA: Less Is More for Alignment など

Slide 41

Slide 41 text

© 2023, Amazon Web Services, Inc. or its affiliates. 41 Dev : Prompt Engineering でタスクを設計する すぐに使える生成系 AI の利点を活かし成長サイクル に必要な 3 つの要件が成立するか確認する。

Slide 42

Slide 42 text

© 2023, Amazon Web Services, Inc. or its affiliates. 42 Biz Dev ML 成長サイクルを設計する 生成系 AI により継続的に顧客体験が改善する ビジネスモデルを設計する。 Prompt Engineering でタスクを設計する すぐに使える生成系 AI によりビジネスモデルが 成立するか検証する。 モデルを選択し Fine Tuning する プロダクトに蓄積したデータでモデルを学習することで 継続的に顧客体験を改善する Fine Tuning (ML) に至る 3 ステップ

Slide 43

Slide 43 text

© 2023, Amazon Web Services, Inc. or its affiliates. 43 ML : モデルを選択し Fine Tuning するステップ データの準備 学習 評価 Dev 段階から着手

Slide 44

Slide 44 text

© 2023, Amazon Web Services, Inc. or its affiliates. 44 ML : モデルを選択する時のトレードオフ 精度 コスト ( パラメーター数 ) 精度が高いモデルほどパラメーター数 が多くコストがかかる

Slide 45

Slide 45 text

© 2023, Amazon Web Services, Inc. or its affiliates. 45 自社の成長サイクルを回すための必要十分なモデルを選択 (* DeepLearning.ai Finetuning Large Language Models より)。 ELMo (2018) BERT-Large (2018) GPT-2 (2019) Turing NLG (2020) GPT-3 (2020) Switch-C (2021) … 100B 1B 1T 10T 10B 100 M 400M から 1B 程度の モデルから始める(*)。

Slide 46

Slide 46 text

© 2023, Amazon Web Services, Inc. or its affiliates. 日本語大規模言語モデルのパラメーター数 46 OpenCALM (CyberAgent) gpt-neox (rinna) japanese-stablelm-alpha (Stability AI) japanese-large-lm (LINE) weblab (東大松尾研) 1B 3B 7B small: 160M medium: 400M large: 830M 1B 3B 7B small: 204M 3.6B 3.6B (sft) 3.6B (sft-v2) 3.6B (ppo) bilingual-4B 4B (sft) 4B (8k) 4B (ppo) 4B (minigpt4) 7B 7B (instruct) 7B+ (instructblip) 1.7B 3.6B 3.6B (instruction) 10B 10B (sft) gpt-neox-japanese (Stockmark) 1.4B 1B=>3B=>7B=>10Bと ステップアップできる

Slide 47

Slide 47 text

© 2023, Amazon Web Services, Inc. or its affiliates. 大規模言語モデルを動かすための AWS インスタンス 47 1B 3B 7B g5.2xlarge : A10G x 1 24GB ($1/h) p3.2xlarge : V100 x 1 16GB ($3/h) 20B g5.12xlarge : A10G x 4 96GB ($6/h) p3.8xlarge : V100 x 4 64GB ($12/h) p4de.24xlarge : A100 etc g系のインスタンスがおすすめ

Slide 48

Slide 48 text

© 2023, Amazon Web Services, Inc. or its affiliates. 48 ML : モデルを選択し Fine Tuning するステップ 指示 / 回答のペア 入力テンプレートに 基づき結合・整形 モデルの学習へ Instruction tuning 追加学習用 コーパス モデルの学習へ Continuous pretraining

Slide 49

Slide 49 text

© 2023, Amazon Web Services, Inc. or its affiliates. モデルの評価が上がる = 顧客体験が良くなる、の等式を維持する。 • 顧客体験が下がるエラーの定義 • スペルミス、冗長な回答、誤りなど • エラーに対する改善の確認 • Finetuning 前の挙動と、実施後の挙動を比較する。 • 人間が比較する、正答との距離の計測 (ROUGE/BLEU等) で評価。 49 モデルの評価 評価結果に応じて、データの収集、モデルの選択を再検討する

Slide 50

Slide 50 text

© 2023, Amazon Web Services, Inc. or its affiliates. 50 ML : モデルを選択し Fine Tuning する 顧客体験とコストのバランスを最適化するよう、 学習データ量とモデルを段階的にチューニングする。

Slide 51

Slide 51 text

© 2023, Amazon Web Services, Inc. or its affiliates. 51 1. なぜ Fine Tuning をするのか 2. Fine Tuning でモデルの価値を高めるステップ 3. AWS で Fine Tuning するメリットと方法 Agenda

Slide 52

Slide 52 text

© 2023, Amazon Web Services, Inc. or its affiliates. 52 AWS で Fine Tuning するメリット = Amazon でお買い物をするメリット 1. 品ぞろえが豊富 2. コスト効率が良い

Slide 53

Slide 53 text

© 2023, Amazon Web Services, Inc. or its affiliates. Amazon Bedrock 厳選された基盤モデルから最適な基盤モデルを選択できる Amazon が提供 最先端スタートアップ企業が提供 Titan Text Titan Embeddings Claude Jurassic-2 Stable Diffusion 53 Command/ Embed

Slide 54

Slide 54 text

© 2023, Amazon Web Services, Inc. or its affiliates. Amazon SageMaker JumpStart オープンソースや企業独自のモデルを幅広に選択できる Models Stable Diffusion XL 2.1 base Upscaling Inpainting Tasks Generate photo-realistic images from text input Improve quality of generated images Features Fine-tuning on Stable Diffusion 2.1 base model Models AlexaTM 20B Tasks Machine translation Question answering Summarization Annotation Data generation Models Falcon-7B, 40B Open LlaMA RedPajama MPT-7B, Dolly BloomZ 176B Flan T-5 models (8 variants) DistilGPT2 GPT NeoXT Bloom models (3 variants) Tasks Machine translation Question answering Summarization Annotation Data generation Features Fine-tuning on FLAN T5 models, GPT-6B, Falcon-7B Models Cohere Command XL Tasks Text generation Information extraction Question answering Summarization Models Jurassic-2 Ultra, Mid Contextual answers Summarize Paraphrase Grammatical error correction Tasks Text generation Long-form generation Summarization Paraphrasing Chat Information extraction Question answering Classification Models Lyra-Fr 10B, Mini Tasks Text generation Keyword extraction Information extraction Question answering Summarization Sentiment analysis Classification Models Llama 2 7B, 13B, 70B Tasks Question answering Chat Summarization Paraphrasing Sentiment analysis Text generation

Slide 55

Slide 55 text

© 2023, Amazon Web Services, Inc. or its affiliates. さらにコスト効率良く生成系 AI を利用するための ハードウェアを開発 AWS Trainium AWS Inferentia 2 大規模言語モデルや拡散モデルの 学習に特化したインスタンス 大規模言語モデルや拡散モデルの 推論に特化したインスタンス 同等の Amazon EC2 インスタンス と比較して最大 75% の学習コスト 削減 同等の Amazon EC2 インスタンス と比較して最大 40% の推論コスト 効率の改善を実現 55

Slide 56

Slide 56 text

© 2023, Amazon Web Services, Inc. or its affiliates. AWS で生成系 AI を使う方法 56 Amazon Bedrock Amazon SageMaker JumpStart Amazon SageMaker サーバーレス形式で AWS が 厳選した基盤モデルの推論と 転移学習が可能。 画面操作のみで基盤モデルの ホスティングや追加学習が行 える。 4+ 400+ Many SageMaker の Notebook な どで Hugging Face などから 直接モデルをダウンロードし てきて使用。 利用可能な モデル数 Super Easy Easy Normal 利用 しやすさ

Slide 57

Slide 57 text

© 2023, Amazon Web Services, Inc. or its affiliates. AWS で生成系 AI を使う方法 57 Amazon Bedrock Amazon SageMaker JumpStart Amazon SageMaker サーバーレス形式で AWS が 厳選した基盤モデルの推論と 転移学習が可能。 画面操作のみで基盤モデルの ホスティングや追加学習が行 える。 4+ 400+ Many SageMaker の Notebook な どで Hugging Face などから 直接モデルをダウンロードし てきて使用。 利用可能な モデル数 Super Easy Easy Normal 利用 しやすさ Dev 向き ML 向き

Slide 58

Slide 58 text

© 2023, Amazon Web Services, Inc. or its affiliates. AWS で生成系 AI を Fine Tuning する方法 58 Amazon Bedrock Amazon SageMaker JumpStart Amazon SageMaker サーバーレス形式で AWS が 厳選した基盤モデルの推論と 転移学習が可能。 画面操作のみで基盤モデルの ホスティングや追加学習が行 える。 4+ 400+ Many SageMaker の Notebook な どで Hugging Face などから 直接モデルをダウンロードし てきて使用。 利用可能な モデル数 Super Easy Easy Normal 利用 しやすさ

Slide 59

Slide 59 text

© 2023, Amazon Web Services, Inc. or its affiliates. Amazon SageMaker JumpStart で Fine Tuning する方法 59 学習データセットを Amazon S3 に置いて 「Train」するだけ！ ※ Fine Tuning に対応しているモデルとし ていないモデルがあります。

Slide 60

Slide 60 text

© 2023, Amazon Web Services, Inc. or its affiliates. Amazon SageMaker JumpStart で Fine Tuning する方法 60 Hugging Face Hub から Train / Deploy を押すと SageMaker で実行 するためのコードを参照できる。

Slide 61

Slide 61 text

© 2023, Amazon Web Services, Inc. or its affiliates. AWS で生成系 AI を Fine Tuning する方法 61 Amazon Bedrock Amazon SageMaker JumpStart Amazon SageMaker サーバーレス形式で AWS が 厳選した基盤モデルの推論と 転移学習が可能。 画面操作のみで基盤モデルの ホスティングや追加学習が行 える。 4+ 400+ Many SageMaker の Notebook な どで Hugging Face などから 直接モデルをダウンロードし てきて使用。 利用可能な モデル数 Super Easy Easy Normal 利用 しやすさ

Slide 62

Slide 62 text

© 2023, Amazon Web Services, Inc. or its affiliates. aws-ml-jp 62 Amazon SageMaker で 基盤モデルを学習するための様々 な Notebook を公開中

Slide 63

Slide 63 text

© 2023, Amazon Web Services, Inc. or its affiliates. aws-ml-jp • text-to-image 63

Slide 64

Slide 64 text

© 2023, Amazon Web Services, Inc. or its affiliates. aws-ml-jp • text-to-text 64

Slide 65

Slide 65 text

© 2023, Amazon Web Services, Inc. or its affiliates. Weights & Biases との統合 wandb のパラメーターを設定することで、Weights & Biases で学習 状況をモニタリングすることができる。 65 Notebook: Rinna_Neox_LoRA_ja.ipynb を参考。

Slide 66

Slide 66 text

© 2023, Amazon Web Services, Inc. or its affiliates. 実験 : 日本語大規模言語モデル OpenCALM を Fine Tuning 66 詳細 : 日本語大規模言語モデル OpenCALM の知識でクイズ王に挑戦する

Slide 67

Slide 67 text

© 2023, Amazon Web Services, Inc. or its affiliates. 67 想定するビジネスシナリオ Biz Dev ML 問合せの多さに悩む 顧客サポート窓口に、 よりコスト効率良く 正確な返答を提供。 すぐに使える API で どれだけ正確に回答 ができるか確認。 Dev で使用したAPI と同等の結果を、より 少ないパラメーターの モデルでコスト効率よ く実現できるか確認。 日本語クイズの JAQKET データセット を使用して検証。 ChatGPT で回答精度 を検証。 OpenCALM を Fine- Tuningした場合の精度 とコストを計測。

Slide 68

Slide 68 text

© 2023, Amazon Web Services, Inc. or its affiliates. 68 JAQKET データセットの内容 Q: 大腸の運動や分泌機能の異常で起こる「過敏腸性症候群」のことをアルファ ベット 3 文字の略称で何という？ A: IBS Q: 「Ｔｒｐ」という略号で表される、チーズや牛乳などに多く含まれ、睡眠を 促す効果があるとされる必須アミノ酸の一種は何？ A: トリプトファン Q: オーストラリアの公用語は英語ですが、オーストリアの公用語は何語？ A: ドイツ語 ※回答は必ず Wikipedia の記事名になるように整えられている

Slide 69

Slide 69 text

© 2023, Amazon Web Services, Inc. or its affiliates. 69 検証の方法 JAQKET データセット の質問回答ペア 入力テンプレートに 基づき結合・整形 モデルの学習へ (LoRA で学習) Fine Tuning しない モデル / ChatGPT へ入力

Slide 70

Slide 70 text

© 2023, Amazon Web Services, Inc. or its affiliates. 70 検証結果 OpenCALM 7B のモデルを Fine Tuning することで、 ChatGPT 3.5 に比べ 1.1 倍の精度、1000 件でも 0.94 倍とほぼ同等の精度。

Slide 71

Slide 71 text

© 2023, Amazon Web Services, Inc. or its affiliates. 71 検証結果 1000 件の推論を行うとき、インスタンスとフレームワークを最適 化することで 20~30 倍コスト効率良く推論できる。 ※インスタンスを起動し続ける場合、推論回数が低いと インスタンスの固定費が高くつく点には注意。

Slide 72

Slide 72 text

© 2023, Amazon Web Services, Inc. or its affiliates. 72 カスタマーサポートの回答負荷を LLM でどれだけ軽減できたかを、 Expected Net Cost Savings (ENCS) = 期待節約効果で評価。 類似の検証を行った研究 (ACL2023 Industry Track) The economic trade-offs of large language models: A case study ※年効果は月 10 万件の対応で計算。 ChatGPT でなく GPT-3 のため単価が高めな点に注意 回答の採用率は Prompt Engineering した GPT-3 が最も高いが、 期待節約効果は Fine Tune + 蒸留し たモデルが最も高い

Slide 73

Slide 73 text

© 2023, Amazon Web Services, Inc. or its affiliates. 73 Expected Net Cost Savings (ENCS) の計算例 類似の検証を行った研究 (ACL2023 Industry Track) The economic trade-offs of large language models: A case study 提案を使った場合 の返答時間 オペレーターの単価 +通常の返答時間 削減時間 * 単価 採用/ 編集 / 無視 されるケース ケースの発生確率 提案コスト ENCS

Slide 74

Slide 74 text

© 2023, Amazon Web Services, Inc. or its affiliates. 74 今後の検証 • OpenCALM 以外のモデルでの検証 • 新規にリリースされた ChatGPT 3.5 の Fine Tuning 機能の検証 • JAQKET 以外のデータセットでの検証 Weights & Biases と協力し、誰でも簡単にパラメーターを変えて ベンチマークを計測できるような仕組みを開発中

Slide 75

Slide 75 text

© 2023, Amazon Web Services, Inc. or its affiliates. © 2022, Amazon Web Services, Inc. or its affiliates. おわりに 75

Slide 76

Slide 76 text

© 2023, Amazon Web Services, Inc. or its affiliates. 76 Prompt Engineering と Fine Tuning • Prompt Engineering による迅速な検証で終わらず Fine Tuning に よる継続的な学習に進むことで機械学習の成長サイクルを実現する。 Biz Dev ML の 3 ステップ • 成長サイクルの 3 つの要件を押さえたビジネスモデルを設計する • Prompt Engineering による迅速なビジネス検証を行う • Fine Tuning により継続的な成長サイクルを回す JAQKET/OpenCALM を使用した実験で Fine Tuning の効果を例示 まとめ

Slide 77

Slide 77 text

© 2023, Amazon Web Services, Inc. or its affiliates. 77 • これから生成系 AI のユースケースを検討する時 • Biz のステップから始めてみる • すでに生成系 AI を利用している時 • 今後の使用頻度や成長の度合いを考えたときに、ML のフェーズ へ移るために準備しておくべきことを検討する。 • ENCS を計算し、精度とコストのトレードオフを見積もる。 Next Step

Slide 78

Slide 78 text

© 2023, Amazon Web Services, Inc. or its affiliates. 最初の Biz フェーズの支援 : ML Enablement Workshop 生成系 AI の お試し 生成系 AI に よるプロダクト 差別化 機械学習 / 生成系 AI によるプロダクトの成長を図るお客様に無償で提供する、 実現可能な計画をアウトプットできるワークショップ。 参考 : プロダクトの成長をリードする生成系 AI の活用戦略 理解編 他社事例を参考に、ビジネス モデルキャンバスを作成 応用編 顧客体験の改善を確認する ための検証スコープの特定 開始編 1~3 カ月間の検証 (Dev)、 学習 (ML) の具体的な計画 78

Slide 79

Slide 79 text

© 2023, Amazon Web Services, Inc. or its affiliates. ML Enablement Workshop のコンテンツは すべて GitHub で公開中。 https://github.com/aws-samples/aws-ml-enablement-workshop AWS からの提供には条件がありますが、 開催者向けガイドを参照しお客様自身で実施 頂くこともできます 79

Slide 80

Slide 80 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Thank you! © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Web Services, AWS, the Powered by AWS logo, and all AWS service names used in this slide deck are trademarks of Amazon.com, Inc. or its affiliates.