大規模言語モデルを Fine Tuning すべきタイミングとその方法

Slide 1

Slide 1 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 大規模言語モデルを Fine Tuning すべきタイミングとその方法 Takahiro Kubo Developer Relations Machine Learning

Slide 2

Slide 2 text

Slide 3

Slide 3 text

© 2023, Amazon Web Services, Inc. or its affiliates. 3 自己紹介アマゾンウェブサービスジャパン合同会社 Machine Learning Developer Relations 久保隆宏 (Kubo Takahiro) ミッション「機械学習を実用するなら AWS 」という認知を拡大すること。 10 年以上の業務コンサルタント経験、また研究開発していたテーマをプロダクトとしてリリースした経験をもとにお話しします。

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

© 2023, Amazon Web Services, Inc. or its affiliates. 7 テキスト生成要約情報抽出 Q&A チャットbot 基盤モデル / 大規模言語モデル幅広なタスクの実行追加学習データ Fine Tuning Prompt Engineering 入力調整 (プロンプト) モデルのパラメーターを更新しないおさらい : Fine-tuning と Prompt Engineering

Slide 8

Slide 8 text

Slide 9

Slide 9 text

© 2023, Amazon Web Services, Inc. or its affiliates. 9 おさらい: Prompt Engineering と Fine Tuning の種類 Prompt Engineering Fine Tuning Prompt Tuning: プロンプトの書き方を工夫し望みの出力が得られるよう調整すること。 In Context Learning: プロンプト内 (= コンテキスト ) に少数の学習データを含め望みの出力が得られるよう誘導 (= 学習 ) すること。 Continuous Pretraining: 固有分野 ( ドメイン ) やタスクの知識を追加学習により増強すること。 Instruction Tuning: プロンプトと出力のペアで追加学習することで振る舞いの精度を高めること。

Slide 10

Slide 10 text

© 2023, Amazon Web Services, Inc. or its affiliates. 10 Prompt Engineering と Fine Tuning のメリット・デメリット Prompt Engineering Fine Tuning • テキストが書ければ誰でも行える。 • 学習データが必要ない。 • プロンプト内で例示することは可能。 • 検索と組み合わせて知識拡張可能。 • 挙動のコントロールは限定的。 • ハルシネーションの問題が残る。 • 自由度が高く属人性が生まれやすい。 • 知識を補完し正確な返答ができる。 • 少ない指示で望みの回答が得られる。 • 入出力トークン数課金ではコストに効く • 小さいモデルで代替しコストを改善。 • 追加データが必要。 • 学習するための計算資源が必要。 • 学習のための技術的な知識が必要。

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

© 2023, Amazon Web Services, Inc. or its affiliates. 16 OpenAI が実施した成長サイクル Customer Experience Traffic Data Data Driven Decision Growth ① GPT-3 ④ InstructGPT ② API Access ③ API Requests/ Responses Data 参考: Training language models to follow instructions with human feedback ⑤ ChatGPT

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

© 2023, Amazon Web Services, Inc. or its affiliates. 21 Biz Dev ML 成長サイクルを設計する生成系 AI により継続的に顧客体験が改善するビジネスモデルを設計する。 Prompt Engineering でタスクを設計するすぐに使える生成系 AI によりビジネスモデルが成立するか検証する。モデルを選択し Fine Tuning するプロダクトに蓄積したデータでモデルを学習することで継続的に顧客体験を改善する Fine Tuning でモデルの価値を高める 3 ステップ

Slide 22

Slide 22 text

© 2023, Amazon Web Services, Inc. or its affiliates. 22 Biz Dev ML 成長サイクルを設計する生成系 AI により継続的に顧客体験が改善するビジネスモデルを設計する。 Prompt Engineering でタスクを設計するすぐに使える生成系 AI によりビジネスモデルが成立するか検証する。モデルを選択し Fine Tuning するプロダクトに蓄積したデータでモデルを学習することで継続的に顧客体験を改善する Fine Tuning (ML) に至る 3 ステップ

Slide 23

Slide 23 text

© 2023, Amazon Web Services, Inc. or its affiliates. 成長サイクルを実現させる 3 つの条件を確認する。 1. 機械学習が顧客の問題を解決している 2. 顧客体験の改善がビジネスの問題解決につながる 3. ビジネスの KPI 改善が機械学習の精度改善につながる 23 機械学習顧客の問題パンフレットを制作したいが、独自性のある画像を用意したり探したりするのが手間。イメージをテキストで入力することで画像素材を生成する機能。ビジネスの問題画像編集に使う有償機能の使用回数が伸び悩んでいる。有償機能のトライアル数増例 : 画像生成 AI 機能の例 ① ② ③

Slide 24

Slide 24 text

© 2023, Amazon Web Services, Inc. or its affiliates. Canva はロゴやチラシ、バナーなどをデザインできる SaaS 型のサービス。 Stable Diffusion のモデルをベースに 3 週間で機能をリリース。顧客は、イメージに合う画像がない時にテキストからの指示で画像を生成できる。事例 : Canva が Amazon SageMaker と Amazon Rekognition を使用し 1 億ユーザーにテキストから画像を生成する AI を提供した方法画像引用: AI イラスト生成 24 実際の事例 : Canva での AI イラスト生成

Slide 25

Slide 25 text

Slide 26

Slide 26 text

© 2023, Amazon Web Services, Inc. or its affiliates. 26 おさらい : ビジネスモデルキャンバス 2005 年に経営コンサルタントのアレクサンダー氏が発案したフレームワーク。フレームワークを解説した「ビジネスモデルジェネレーション」は 45 カ国の実践者により執筆され、シリーズの累計部数は 14 万部に上る。画像引用 : 翔泳社の書籍サイトより本屋で平積みにされているのを見たことがある方もいるのでは ?

Slide 27

Slide 27 text

© 2023, Amazon Web Services, Inc. or its affiliates. 協力者 Key Partners 主要活動 Key Activities 資源 Key Resources 価値提供 Value Propositions 顧客との関係 Customer Relationships 販路 Channels 顧客セグメント Customer Segment コスト構造 Cost Structure 収益の流れ Revenue Streams ビジネスモデルキャンバスの図 : 9 象限で表現 27

Slide 28

Slide 28 text

© 2023, Amazon Web Services, Inc. or its affiliates. Canva の例 : 成長サイクルを成立させる 3 つの条件の確認協力者 Key Partners 主要活動 Key Activities 資源 Key Resources 価値提供 Value Propositions 顧客との関係 Customer Relationships 販路 Channels 顧客セグメント Customer Segment コスト構造 Cost Structure 収益の流れ Revenue Streams デザイン機能 Stable Diffusion ソフトウェアと統合無料必要な画像が手に入らないユーザー Stability AI AI イラスト生成 28 ホームページ画像作成数増加モデル学習費用 ①顧客の問題解決 ②ビジネスの問題解決実際のテキストと画像ペア ③モデルの継続的改善有償ユーザー化

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

© 2023, Amazon Web Services, Inc. or its affiliates. 32 Biz Dev ML 成長サイクルを設計する生成系 AI により継続的に顧客体験が改善するビジネスモデルを設計する。 Prompt Engineering でタスクを設計するすぐに使える生成系 AI によりビジネスモデルが成立するか検証する。モデルを選択し Fine Tuning するプロダクトに蓄積したデータでモデルを学習することで継続的に顧客体験を改善する Fine Tuning (ML) に至る 3 ステップ

Slide 33

Slide 33 text

Slide 34

Slide 34 text

© 2023, Amazon Web Services, Inc. or its affiliates. 34 Dev : Prompt Engineering でタスクを設計する例 : 議事録から Todo を抽出し担当者にリマインドメールを送る機能。生成系 AI 前: 1. 名前を抽出するモデルを開発 2. Todo を抽出するモデルを開発 3. メール文面テンプレートに穴埋めなどして文章を作成するプログラムを開発。いずれもデータの収集やモデルの開発が必要。生成系 AI 後: 1. プロンプトを作成し出力結果が受容可能か確認 ( 割といい感じになる )

Slide 35

Slide 35 text

© 2023, Amazon Web Services, Inc. or its affiliates. Dev におけるタスク設計の進め方 1. すぐに使えるモデルで「価値提供」できるか検証する。 35 文書作成チャットボット分析結果記述文書要約動画生成動画編集音声変換話者変換 (VTuber等) コード生成データ生成プロトタイプ生成 3D オブジェクト生成製品デザイン、創薬素材画像生成画像編集音声合成音楽生成音声/音楽編集参考: Exploring opportunities in the generative AI value chain

Slide 36

Slide 36 text

© 2023, Amazon Web Services, Inc. or its affiliates. Dev におけるタスク設計の進め方 2. Biz で想定したビジネスモデルとのギャップを明確にする • ①顧客体験: 知識が足りないのか、振る舞いが適切でないのか • ②ビジネス価値: 「コスト構造」と「収益の流れ」はバランスするか • ③体験改善: 蓄積されるデータはより良い体験に繋がるか 36

Slide 37

Slide 37 text

© 2023, Amazon Web Services, Inc. or its affiliates. Point : コストの見積りに欠かせない非機能要件 (1/2) • 運用要件顧客体験の継続的改善に必要な更新頻度 • セキュリティ要件インターネット経由での通信や海外サービスの利用が許容されるか。 • 信頼性の要件サービスレベルとしてどの程度の耐障害性を求めるか。 • パフォーマンスの要件どの程度のレスポンスで応答を返すべきか。 37 参考 : Well Architected Framework

Slide 38

Slide 38 text

© 2023, Amazon Web Services, Inc. or its affiliates. Point : コストの見積りに欠かせない非機能要件(2/2) • コストの要件想定される利用頻度とパフォーマンスの実現にかかるコストが許容されるか。 • 持続可能性の要件会社として進めるサステナビリティの施策や報告と一致するか。 38 利用可能なサービスや価格プラン、アーキテクチャに影響参考 : Well Architected Framework

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

© 2023, Amazon Web Services, Inc. or its affiliates. 42 Biz Dev ML 成長サイクルを設計する生成系 AI により継続的に顧客体験が改善するビジネスモデルを設計する。 Prompt Engineering でタスクを設計するすぐに使える生成系 AI によりビジネスモデルが成立するか検証する。モデルを選択し Fine Tuning するプロダクトに蓄積したデータでモデルを学習することで継続的に顧客体験を改善する Fine Tuning (ML) に至る 3 ステップ

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

© 2023, Amazon Web Services, Inc. or its affiliates. 45 自社の成長サイクルを回すための必要十分なモデルを選択 (* DeepLearning.ai Finetuning Large Language Models より)。 ELMo (2018) BERT-Large (2018) GPT-2 (2019) Turing NLG (2020) GPT-3 (2020) Switch-C (2021) … 100B 1B 1T 10T 10B 100 M 400M から 1B 程度のモデルから始める(*)。

Slide 46

Slide 46 text

© 2023, Amazon Web Services, Inc. or its affiliates. 日本語大規模言語モデルのパラメーター数 46 OpenCALM (CyberAgent) gpt-neox (rinna) japanese-stablelm-alpha (Stability AI) japanese-large-lm (LINE) weblab (東大松尾研) 1B 3B 7B small: 160M medium: 400M large: 830M 1B 3B 7B small: 204M 3.6B 3.6B (sft) 3.6B (sft-v2) 3.6B (ppo) bilingual-4B 4B (sft) 4B (8k) 4B (ppo) 4B (minigpt4) 7B 7B (instruct) 7B+ (instructblip) 1.7B 3.6B 3.6B (instruction) 10B 10B (sft) gpt-neox-japanese (Stockmark) 1.4B 1B=>3B=>7B=>10Bとステップアップできる

Slide 47

Slide 47 text

© 2023, Amazon Web Services, Inc. or its affiliates. 大規模言語モデルを動かすための AWS インスタンス 47 1B 3B 7B g5.2xlarge : A10G x 1 24GB ($1/h) p3.2xlarge : V100 x 1 16GB ($3/h) 20B g5.12xlarge : A10G x 4 96GB ($6/h) p3.8xlarge : V100 x 4 64GB ($12/h) p4de.24xlarge : A100 etc g系のインスタンスがおすすめ

Slide 48

Slide 48 text

Slide 49

Slide 49 text

© 2023, Amazon Web Services, Inc. or its affiliates. モデルの評価が上がる = 顧客体験が良くなる、の等式を維持する。 • 顧客体験が下がるエラーの定義 • スペルミス、冗長な回答、誤りなど • エラーに対する改善の確認 • Finetuning 前の挙動と、実施後の挙動を比較する。 • 人間が比較する、正答との距離の計測 (ROUGE/BLEU等) で評価。 49 モデルの評価評価結果に応じて、データの収集、モデルの選択を再検討する

Slide 50

Slide 50 text

Slide 51

Slide 51 text

Slide 52

Slide 52 text

Slide 53

Slide 53 text

© 2023, Amazon Web Services, Inc. or its affiliates. Amazon Bedrock 厳選された基盤モデルから最適な基盤モデルを選択できる Amazon が提供最先端スタートアップ企業が提供 Titan Text Titan Embeddings Claude Jurassic-2 Stable Diffusion 53 Command/ Embed

Slide 54

Slide 54 text

© 2023, Amazon Web Services, Inc. or its affiliates. Amazon SageMaker JumpStart オープンソースや企業独自のモデルを幅広に選択できる Models Stable Diffusion XL 2.1 base Upscaling Inpainting Tasks Generate photo-realistic images from text input Improve quality of generated images Features Fine-tuning on Stable Diffusion 2.1 base model Models AlexaTM 20B Tasks Machine translation Question answering Summarization Annotation Data generation Models Falcon-7B, 40B Open LlaMA RedPajama MPT-7B, Dolly BloomZ 176B Flan T-5 models (8 variants) DistilGPT2 GPT NeoXT Bloom models (3 variants) Tasks Machine translation Question answering Summarization Annotation Data generation Features Fine-tuning on FLAN T5 models, GPT-6B, Falcon-7B Models Cohere Command XL Tasks Text generation Information extraction Question answering Summarization Models Jurassic-2 Ultra, Mid Contextual answers Summarize Paraphrase Grammatical error correction Tasks Text generation Long-form generation Summarization Paraphrasing Chat Information extraction Question answering Classification Models Lyra-Fr 10B, Mini Tasks Text generation Keyword extraction Information extraction Question answering Summarization Sentiment analysis Classification Models Llama 2 7B, 13B, 70B Tasks Question answering Chat Summarization Paraphrasing Sentiment analysis Text generation

Slide 55

Slide 55 text

© 2023, Amazon Web Services, Inc. or its affiliates. さらにコスト効率良く生成系 AI を利用するためのハードウェアを開発 AWS Trainium AWS Inferentia 2 大規模言語モデルや拡散モデルの学習に特化したインスタンス大規模言語モデルや拡散モデルの推論に特化したインスタンス同等の Amazon EC2 インスタンスと比較して最大 75% の学習コスト削減同等の Amazon EC2 インスタンスと比較して最大 40% の推論コスト効率の改善を実現 55

Slide 56

Slide 56 text

© 2023, Amazon Web Services, Inc. or its affiliates. AWS で生成系 AI を使う方法 56 Amazon Bedrock Amazon SageMaker JumpStart Amazon SageMaker サーバーレス形式で AWS が厳選した基盤モデルの推論と転移学習が可能。画面操作のみで基盤モデルのホスティングや追加学習が行える。 4+ 400+ Many SageMaker の Notebook などで Hugging Face などから直接モデルをダウンロードしてきて使用。利用可能なモデル数 Super Easy Easy Normal 利用しやすさ

Slide 57

Slide 57 text

© 2023, Amazon Web Services, Inc. or its affiliates. AWS で生成系 AI を使う方法 57 Amazon Bedrock Amazon SageMaker JumpStart Amazon SageMaker サーバーレス形式で AWS が厳選した基盤モデルの推論と転移学習が可能。画面操作のみで基盤モデルのホスティングや追加学習が行える。 4+ 400+ Many SageMaker の Notebook などで Hugging Face などから直接モデルをダウンロードしてきて使用。利用可能なモデル数 Super Easy Easy Normal 利用しやすさ Dev 向き ML 向き

Slide 58

Slide 58 text

© 2023, Amazon Web Services, Inc. or its affiliates. AWS で生成系 AI を Fine Tuning する方法 58 Amazon Bedrock Amazon SageMaker JumpStart Amazon SageMaker サーバーレス形式で AWS が厳選した基盤モデルの推論と転移学習が可能。画面操作のみで基盤モデルのホスティングや追加学習が行える。 4+ 400+ Many SageMaker の Notebook などで Hugging Face などから直接モデルをダウンロードしてきて使用。利用可能なモデル数 Super Easy Easy Normal 利用しやすさ

Slide 59

Slide 59 text

Slide 60

Slide 60 text

Slide 61

Slide 61 text

© 2023, Amazon Web Services, Inc. or its affiliates. AWS で生成系 AI を Fine Tuning する方法 61 Amazon Bedrock Amazon SageMaker JumpStart Amazon SageMaker サーバーレス形式で AWS が厳選した基盤モデルの推論と転移学習が可能。画面操作のみで基盤モデルのホスティングや追加学習が行える。 4+ 400+ Many SageMaker の Notebook などで Hugging Face などから直接モデルをダウンロードしてきて使用。利用可能なモデル数 Super Easy Easy Normal 利用しやすさ

Slide 62

Slide 62 text

Slide 63

Slide 63 text

Slide 64

Slide 64 text

Slide 65

Slide 65 text

Slide 66

Slide 66 text

Slide 67

Slide 67 text

© 2023, Amazon Web Services, Inc. or its affiliates. 67 想定するビジネスシナリオ Biz Dev ML 問合せの多さに悩む顧客サポート窓口に、よりコスト効率良く正確な返答を提供。すぐに使える API でどれだけ正確に回答ができるか確認。 Dev で使用したAPI と同等の結果を、より少ないパラメーターのモデルでコスト効率よく実現できるか確認。日本語クイズの JAQKET データセットを使用して検証。 ChatGPT で回答精度を検証。 OpenCALM を Fine- Tuningした場合の精度とコストを計測。

Slide 68

Slide 68 text

© 2023, Amazon Web Services, Inc. or its affiliates. 68 JAQKET データセットの内容 Q: 大腸の運動や分泌機能の異常で起こる「過敏腸性症候群」のことをアルファベット 3 文字の略称で何という？ A: IBS Q: 「Ｔｒｐ」という略号で表される、チーズや牛乳などに多く含まれ、睡眠を促す効果があるとされる必須アミノ酸の一種は何？ A: トリプトファン Q: オーストラリアの公用語は英語ですが、オーストリアの公用語は何語？ A: ドイツ語 ※回答は必ず Wikipedia の記事名になるように整えられている

Slide 69

Slide 69 text

Slide 70

Slide 70 text

Slide 71

Slide 71 text

Slide 72

Slide 72 text

© 2023, Amazon Web Services, Inc. or its affiliates. 72 カスタマーサポートの回答負荷を LLM でどれだけ軽減できたかを、 Expected Net Cost Savings (ENCS) = 期待節約効果で評価。類似の検証を行った研究 (ACL2023 Industry Track) The economic trade-offs of large language models: A case study ※年効果は月 10 万件の対応で計算。 ChatGPT でなく GPT-3 のため単価が高めな点に注意回答の採用率は Prompt Engineering した GPT-3 が最も高いが、期待節約効果は Fine Tune + 蒸留したモデルが最も高い

Slide 73

Slide 73 text

© 2023, Amazon Web Services, Inc. or its affiliates. 73 Expected Net Cost Savings (ENCS) の計算例類似の検証を行った研究 (ACL2023 Industry Track) The economic trade-offs of large language models: A case study 提案を使った場合の返答時間オペレーターの単価 +通常の返答時間削減時間 * 単価採用/ 編集 / 無視されるケースケースの発生確率提案コスト ENCS

Slide 74

Slide 74 text

© 2023, Amazon Web Services, Inc. or its affiliates. 74 今後の検証 • OpenCALM 以外のモデルでの検証 • 新規にリリースされた ChatGPT 3.5 の Fine Tuning 機能の検証 • JAQKET 以外のデータセットでの検証 Weights & Biases と協力し、誰でも簡単にパラメーターを変えてベンチマークを計測できるような仕組みを開発中

Slide 75

Slide 75 text

Slide 76

Slide 76 text

© 2023, Amazon Web Services, Inc. or its affiliates. 76 Prompt Engineering と Fine Tuning • Prompt Engineering による迅速な検証で終わらず Fine Tuning による継続的な学習に進むことで機械学習の成長サイクルを実現する。 Biz Dev ML の 3 ステップ • 成長サイクルの 3 つの要件を押さえたビジネスモデルを設計する • Prompt Engineering による迅速なビジネス検証を行う • Fine Tuning により継続的な成長サイクルを回す JAQKET/OpenCALM を使用した実験で Fine Tuning の効果を例示まとめ

Slide 77

Slide 77 text

© 2023, Amazon Web Services, Inc. or its affiliates. 77 • これから生成系 AI のユースケースを検討する時 • Biz のステップから始めてみる • すでに生成系 AI を利用している時 • 今後の使用頻度や成長の度合いを考えたときに、ML のフェーズへ移るために準備しておくべきことを検討する。 • ENCS を計算し、精度とコストのトレードオフを見積もる。 Next Step

Slide 78

Slide 78 text

© 2023, Amazon Web Services, Inc. or its affiliates. 最初の Biz フェーズの支援 : ML Enablement Workshop 生成系 AI のお試し生成系 AI によるプロダクト差別化機械学習 / 生成系 AI によるプロダクトの成長を図るお客様に無償で提供する、実現可能な計画をアウトプットできるワークショップ。参考 : プロダクトの成長をリードする生成系 AI の活用戦略理解編他社事例を参考に、ビジネスモデルキャンバスを作成応用編顧客体験の改善を確認するための検証スコープの特定開始編 1~3 カ月間の検証 (Dev)、学習 (ML) の具体的な計画 78

Slide 79

Slide 79 text

© 2023, Amazon Web Services, Inc. or its affiliates. ML Enablement Workshop のコンテンツはすべて GitHub で公開中。 https://github.com/aws-samples/aws-ml-enablement-workshop AWS からの提供には条件がありますが、開催者向けガイドを参照しお客様自身で実施頂くこともできます 79

Slide 80

Slide 80 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Thank you! © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Web Services, AWS, the Powered by AWS logo, and all AWS service names used in this slide deck are trademarks of Amazon.com, Inc. or its affiliates.