Upgrade to Pro — share decks privately, control downloads, hide ads and more …

大規模言語モデルを Fine Tuning すべきタイミングとその方法

大規模言語モデルを Fine Tuning すべきタイミングとその方法

プロダクトを生成系 AI で成長させるのになぜ Fine Tuning が必要なのか、どのような手順で進めればよいのかを解説したスライドです。
ビジネスモデルを決める Biz 、生成系 AI の特性を活かし迅速に検証する Dev 、将来の差別化を目指し生成系 AI をカスタマイズする ML のステップごとに解説し、なぜ AWS が一連のプロセスを行うのに最適なのかご説明します。

Biz フェーズを支援するワークショップ資料はこちらです。
https://github.com/aws-samples/aws-ml-enablement-workshop

W&B 東京ミートアップで発表させて頂きました。
https://wandb.connpass.com/event/291609/

Takahiro Kubo

August 30, 2023
Tweet

More Decks by Takahiro Kubo

Other Decks in Technology

Transcript

  1. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    大規模言語モデルを
    Fine Tuning すべきタイミングとその方法
    Takahiro Kubo
    Developer Relations Machine Learning

    View full-size slide

  2. © 2023, Amazon Web Services, Inc. or its affiliates. 2
    Prompt Engineering から一歩進んで Fine Tuning を行うビジネス
    面でのメリットと、 その時 AWS と Weights & Biases を組み合わ
    せて使うメリットについて知って頂く。
    本セッションのゴール

    View full-size slide

  3. © 2023, Amazon Web Services, Inc. or its affiliates. 3
    自己紹介
    アマゾン ウェブ サービス ジャパン合同会社
    Machine Learning Developer Relations
    久保隆宏 (Kubo Takahiro)
    ミッション
    「機械学習を実用するなら AWS 」という認知を拡大すること。
    10 年以上の業務コンサルタント経験、また研究開発していたテーマをプロダクトと
    してリリースした経験をもとにお話しします。

    View full-size slide

  4. © 2023, Amazon Web Services, Inc. or its affiliates. 4
    1. なぜ Fine Tuning をするのか
    2. Fine Tuning でモデルの価値を高めるステップ
    3. AWS で Fine Tuning するメリットと方法
    Agenda

    View full-size slide

  5. © 2023, Amazon Web Services, Inc. or its affiliates. 5
    1. なぜ Fine Tuning をするのか
    2. Fine Tuning でモデルの価値を高めるステップ
    3. AWS で Fine Tuning するメリットと方法
    Agenda

    View full-size slide

  6. © 2023, Amazon Web Services, Inc. or its affiliates.
    おさらい : 事前学習 (Pre-training)
    6
    テラバイト規模のデータ
    基盤モデル
    / 大規模言語モデル
    事前学習
    (Pre-training)
    数十億~数百億
    パラメーターを持つ

    View full-size slide

  7. © 2023, Amazon Web Services, Inc. or its affiliates. 7
    テキスト生成
    要約
    情報抽出
    Q&A
    チャットbot
    基盤モデル
    / 大規模言語モデル
    幅広なタスクの実行
    追加学習データ
    Fine Tuning
    Prompt
    Engineering
    入力調整
    (プロンプト)
    モデルのパラメーター
    を更新しない
    おさらい : Fine-tuning と Prompt Engineering

    View full-size slide

  8. © 2023, Amazon Web Services, Inc. or its affiliates. 8
    前提 : Prompt Engineering と Fine Tuning は併用できる
    Prompt
    Engineering Fine Tuning
    Both

    View full-size slide

  9. © 2023, Amazon Web Services, Inc. or its affiliates. 9
    おさらい: Prompt Engineering と Fine Tuning の種類
    Prompt Engineering Fine Tuning
    Prompt Tuning:
    プロンプトの書き方を工夫し望みの出
    力が得られるよう調整すること。
    In Context Learning:
    プロンプト内 (= コンテキスト ) に少
    数の学習データを含め望みの出力が得
    られるよう誘導 (= 学習 ) すること。
    Continuous Pretraining:
    固有分野 ( ドメイン ) やタスクの知識
    を追加学習により増強すること。
    Instruction Tuning:
    プロンプトと出力のペアで追加学習す
    ることで振る舞いの精度を高めること。

    View full-size slide

  10. © 2023, Amazon Web Services, Inc. or its affiliates. 10
    Prompt Engineering と Fine Tuning のメリット・デメリット
    Prompt Engineering Fine Tuning
    • テキストが書ければ誰でも行える。
    • 学習データが必要ない。
    • プロンプト内で例示することは可能。
    • 検索と組み合わせて知識拡張可能。
    • 挙動のコントロールは限定的。
    • ハルシネーションの問題が残る。
    • 自由度が高く属人性が生まれやすい。
    • 知識を補完し正確な返答ができる。
    • 少ない指示で望みの回答が得られる。
    • 入出力トークン数課金ではコストに効く
    • 小さいモデルで代替しコストを改善。
    • 追加データが必要。
    • 学習するための計算資源が必要。
    • 学習のための技術的な知識が必要。

    View full-size slide

  11. © 2023, Amazon Web Services, Inc. or its affiliates. 11
    Prompt Engineering のみではプロダクトに蓄積された
    データによりモデルの価値が高まることはない。
    価値
    データ
    データが増えても学習させな
    い限り精度は改善しない。
    学習済みのモデルで高い価値

    View full-size slide

  12. © 2023, Amazon Web Services, Inc. or its affiliates.
    Instruction Tuning の効果の例 : Gorilla
    Llama ベースの、 API 呼び出しに特化したモデル
    12
    自然言語のテキストを、
    適切な API 呼び出しに変換する
    =>どんどん正確にならないと困る

    View full-size slide

  13. © 2023, Amazon Web Services, Inc. or its affiliates. 13
    価値を高めるためには、蓄積されるデータで継続的に学習す
    る必要がある。
    価値
    データ
    通常の機械学習モデル
    Prompt Engineering
    で使う大規模言語モデル
    Fine Tuning
    で使う大規模言語モデル

    View full-size slide

  14. © 2023, Amazon Web Services, Inc. or its affiliates.
    Customer
    Experience
    Traffic
    Data
    Data Driven
    Decision
    Growth
    14
    機械学習によるプロダクトの成長サイクル

    View full-size slide

  15. © 2023, Amazon Web Services, Inc. or its affiliates.
    Customer
    Experience
    Traffic
    Data
    Data Driven
    Decision
    Growth
    15
    機械学習によるプロダクトの成長サイクル
    Prompt Engineering
    のみでは改善のサイク
    ルが回らない
    =データが顧客体験の
    改善につながらない

    View full-size slide

  16. © 2023, Amazon Web Services, Inc. or its affiliates. 16
    OpenAI が実施した成長サイクル
    Customer
    Experience
    Traffic
    Data
    Data Driven
    Decision
    Growth
    ① GPT-3
    ④ InstructGPT
    ② API Access
    ③ API Requests/
    Responses Data
    参考: Training language models to follow instructions with human feedback
    ⑤ ChatGPT

    View full-size slide

  17. © 2023, Amazon Web Services, Inc. or its affiliates. 17
    プロダクトに蓄積されるデータでモデルを学習させることで顧客体験
    を継続的に高める、成長サイクルを実現するため。
    大規模言語モデルを選択し Fine Tuning する理由

    View full-size slide

  18. © 2023, Amazon Web Services, Inc. or its affiliates.
    Fine Tuning により改善できる顧客体験
    18
    より最新かつ
    十分な知識に
    基づく
    よりコスト
    効率が良い
    Continuous Pretraining Instruction Tuning
    より端的な指示
    でも適切に振舞う

    View full-size slide

  19. © 2023, Amazon Web Services, Inc. or its affiliates. 19
    1. なぜ Fine Tuning をするのか
    2. Fine Tuning でモデルの価値を高めるステップ
    3. AWS で Fine Tuning するメリットと方法
    Agenda

    View full-size slide

  20. © 2023, Amazon Web Services, Inc. or its affiliates.
    Biz Dev ML
    20
    Fine Tuning でモデルの価値を高める 3 ステップ

    View full-size slide

  21. © 2023, Amazon Web Services, Inc. or its affiliates. 21
    Biz
    Dev
    ML
    成長サイクルを設計する
    生成系 AI により継続的に顧客体験が改善する
    ビジネスモデルを設計する。
    Prompt Engineering でタスクを設計する
    すぐに使える生成系 AI によりビジネスモデルが
    成立するか検証する。
    モデルを選択し Fine Tuning する
    プロダクトに蓄積したデータでモデルを学習することで
    継続的に顧客体験を改善する
    Fine Tuning でモデルの価値を高める 3 ステップ

    View full-size slide

  22. © 2023, Amazon Web Services, Inc. or its affiliates. 22
    Biz
    Dev
    ML
    成長サイクルを設計する
    生成系 AI により継続的に顧客体験が改善する
    ビジネスモデルを設計する。
    Prompt Engineering でタスクを設計する
    すぐに使える生成系 AI によりビジネスモデルが
    成立するか検証する。
    モデルを選択し Fine Tuning する
    プロダクトに蓄積したデータでモデルを学習することで
    継続的に顧客体験を改善する
    Fine Tuning (ML) に至る 3 ステップ

    View full-size slide

  23. © 2023, Amazon Web Services, Inc. or its affiliates.
    成長サイクルを実現させる 3 つの条件を確認する。
    1. 機械学習が顧客の問題を解決している
    2. 顧客体験の改善がビジネスの問題解決につながる
    3. ビジネスの KPI 改善が機械学習の精度改善につながる
    23
    機械学習
    顧客の問題
    パンフレットを制作し
    たいが、独自性のある
    画像を用意したり探し
    たりするのが手間。
    イメージをテキストで
    入力することで画像素
    材を生成する機能。
    ビジネスの問題
    画像編集に使う有償
    機能の使用回数が伸
    び悩んでいる。
    有償機能のトライアル数増
    例 : 画像生成 AI 機能の例
    ① ② ③

    View full-size slide

  24. © 2023, Amazon Web Services, Inc. or its affiliates.
    Canva はロゴやチラシ、バナーなどを
    デザインできる SaaS 型のサービス。
    Stable Diffusion のモデルをベースに
    3 週間で機能をリリース。
    顧客は、イメージに合う画像がない時
    にテキストからの指示で画像を生成で
    きる。
    事例 : Canva が Amazon SageMaker と Amazon Rekognition を使用し 1 億ユーザーにテキストから画像を生成する AI を提供した方法
    画像引用: AI イラスト生成
    24
    実際の事例 : Canva での AI イラスト生成

    View full-size slide

  25. © 2023, Amazon Web Services, Inc. or its affiliates. 25
    Biz: 成長サイクルを設計する
    3 つの条件の成立は、
    ビジネスモデルキャンバスを使うと可視化しやすい。

    View full-size slide

  26. © 2023, Amazon Web Services, Inc. or its affiliates. 26
    おさらい : ビジネスモデルキャンバス
    2005 年に経営コンサルタントのアレクサンダー氏が発案した
    フレームワーク。フレームワークを解説した
    「ビジネスモデルジェネレーション 」は 45 カ国の実践者により
    執筆され、シリーズの累計部数は 14 万部に上る。
    画像引用 : 翔泳社の書籍サイトより
    本屋で平積みにされているのを
    見たことがある方もいるのでは ?

    View full-size slide

  27. © 2023, Amazon Web Services, Inc. or its affiliates.
    協力者
    Key Partners
    主要活動
    Key Activities
    資源
    Key Resources
    価値提供
    Value
    Propositions
    顧客との関係
    Customer
    Relationships
    販路
    Channels
    顧客セグメント
    Customer
    Segment
    コスト構造
    Cost Structure
    収益の流れ
    Revenue Streams
    ビジネスモデルキャンバスの図 : 9 象限で表現
    27

    View full-size slide

  28. © 2023, Amazon Web Services, Inc. or its affiliates.
    Canva の例 : 成長サイクルを成立させる 3 つの条件の確認
    協力者
    Key Partners
    主要活動
    Key Activities
    資源
    Key Resources
    価値提供
    Value
    Propositions
    顧客との関係
    Customer
    Relationships
    販路
    Channels
    顧客セグメント
    Customer
    Segment
    コスト構造
    Cost Structure
    収益の流れ
    Revenue Streams
    デザイン機能
    Stable
    Diffusion
    ソフトウェア
    と統合 無料 必要な画像が
    手に入らない
    ユーザー
    Stability AI AI イラスト
    生成
    28
    ホーム
    ページ
    画像作成数
    増加
    モデル学習
    費用
    ①顧客の問題解決
    ②ビジネスの
    問題解決
    実際のテキスト
    と画像ペア
    ③モデルの
    継続的改善
    有償ユーザー化

    View full-size slide

  29. © 2023, Amazon Web Services, Inc. or its affiliates.
    Canva の例 : 成長サイクルを成立させる 3 つの条件の確認
    29
    https://www.canva.com/ja_jp/ai-image-generator/
    画像生成した後に、有償の編集機能を提案。
    「画像がなければ編集されない」というビジネスの問題を生成 AI により解決している

    View full-size slide

  30. © 2023, Amazon Web Services, Inc. or its affiliates.
    Canva の例 : 成長サイクルを成立させる 3 つの条件の確認
    30
    https://www.canva.com/ja_jp/ai-image-generator/
    画像生成機能自体から有償プランへのコンバージョンも狙う

    View full-size slide

  31. © 2023, Amazon Web Services, Inc. or its affiliates. 31
    Biz: 成長サイクルを設計する
    生成系 AI が継続的に顧客とビジネスの問題を解決す
    ることをビジネスモデルキャンバスで確認しよう。

    View full-size slide

  32. © 2023, Amazon Web Services, Inc. or its affiliates. 32
    Biz
    Dev
    ML
    成長サイクルを設計する
    生成系 AI により継続的に顧客体験が改善する
    ビジネスモデルを設計する。
    Prompt Engineering でタスクを設計する
    すぐに使える生成系 AI によりビジネスモデルが
    成立するか検証する。
    モデルを選択し Fine Tuning する
    プロダクトに蓄積したデータでモデルを学習することで
    継続的に顧客体験を改善する
    Fine Tuning (ML) に至る 3 ステップ

    View full-size slide

  33. © 2023, Amazon Web Services, Inc. or its affiliates. 33
    今まで機械学習を行うときは「まずデータを用意して」が最初の言葉
    だったが、生成系 AI によりすぐに試せるように。
    Dev : Prompt Engineering でタスクを設計する

    View full-size slide

  34. © 2023, Amazon Web Services, Inc. or its affiliates. 34
    Dev : Prompt Engineering でタスクを設計する
    例 : 議事録から Todo を抽出し担当者
    にリマインドメールを送る機能。
    生成系 AI 前:
    1. 名前を抽出するモデルを開発
    2. Todo を抽出するモデルを開発
    3. メール文面テンプレートに穴埋めな
    どして文章を作成するプログラムを
    開発。
    いずれもデータの収集やモデルの開発
    が必要。
    生成系 AI 後:
    1. プロンプトを作成し出力結果が受容
    可能か確認 ( 割といい感じになる )

    View full-size slide

  35. © 2023, Amazon Web Services, Inc. or its affiliates.
    Dev におけるタスク設計の進め方
    1. すぐに使えるモデルで「価値提供」できるか検証する。
    35
    文書作成
    チャットボット
    分析結果記述
    文書要約
    動画生成
    動画編集
    音声変換
    話者変換 (VTuber等)
    コード生成
    データ生成
    プロトタイプ生成
    3D オブジェクト生成
    製品デザイン、創薬
    素材画像生成
    画像編集
    音声合成
    音楽生成
    音声/音楽編集
    参考: Exploring opportunities in the generative AI value chain

    View full-size slide

  36. © 2023, Amazon Web Services, Inc. or its affiliates.
    Dev におけるタスク設計の進め方
    2. Biz で想定したビジネスモデルとのギャップを明確にする
    • ①顧客体験: 知識が足りないのか、振る舞いが適切でないのか
    • ②ビジネス価値: 「コスト構造」と「収益の流れ」はバランスするか
    • ③体験改善: 蓄積されるデータはより良い体験に繋がるか
    36

    View full-size slide

  37. © 2023, Amazon Web Services, Inc. or its affiliates.
    Point : コストの見積りに欠かせない非機能要件 (1/2)
    • 運用要件
    顧客体験の継続的改善に必要な更新頻度
    • セキュリティ要件
    インターネット経由での通信や海外サービスの利用が許容されるか。
    • 信頼性の要件
    サービスレベルとしてどの程度の耐障害性を求めるか。
    • パフォーマンスの要件
    どの程度のレスポンスで応答を返すべきか。
    37
    参考 : Well Architected Framework

    View full-size slide

  38. © 2023, Amazon Web Services, Inc. or its affiliates.
    Point : コストの見積りに欠かせない非機能要件(2/2)
    • コストの要件
    想定される利用頻度とパフォーマンスの実現にかかるコストが
    許容されるか。
    • 持続可能性の要件
    会社として進めるサステナビリティの施策や報告と
    一致するか。
    38
    利用可能なサービスや価格プラン、
    アーキテクチャに影響
    参考 : Well Architected Framework

    View full-size slide

  39. © 2023, Amazon Web Services, Inc. or its affiliates.
    Dev におけるタスク設計の進め方
    3. あるべき顧客体験に修正したデータを作成する
    • 入出力データをあるべき形に修正する。学習には 1000 件程度が目安。
    39

    View full-size slide

  40. © 2023, Amazon Web Services, Inc. or its affiliates.
    Point : 良いデータ、良くないデータ
    40
    品質が高い
    幅広いサンプル
    実際の入出力に基づく
    多い
    品質が低い
    似たデータが多い
    自動生成された
    少ない
    品質の高いデータにより効率的な学習ができることが示唆されている。
    LIMA: Less Is More for Alignment など

    View full-size slide

  41. © 2023, Amazon Web Services, Inc. or its affiliates. 41
    Dev : Prompt Engineering でタスクを設計する
    すぐに使える生成系 AI の利点を活かし成長サイクル
    に必要な 3 つの要件が成立するか確認する。

    View full-size slide

  42. © 2023, Amazon Web Services, Inc. or its affiliates. 42
    Biz
    Dev
    ML
    成長サイクルを設計する
    生成系 AI により継続的に顧客体験が改善する
    ビジネスモデルを設計する。
    Prompt Engineering でタスクを設計する
    すぐに使える生成系 AI によりビジネスモデルが
    成立するか検証する。
    モデルを選択し Fine Tuning する
    プロダクトに蓄積したデータでモデルを学習することで
    継続的に顧客体験を改善する
    Fine Tuning (ML) に至る 3 ステップ

    View full-size slide

  43. © 2023, Amazon Web Services, Inc. or its affiliates. 43
    ML : モデルを選択し Fine Tuning するステップ
    データの準備
    学習
    評価
    Dev 段階から着手

    View full-size slide

  44. © 2023, Amazon Web Services, Inc. or its affiliates. 44
    ML : モデルを選択する時のトレードオフ
    精度
    コスト ( パラメーター数 )
    精度が高いモデルほどパラメーター数
    が多くコストがかかる

    View full-size slide

  45. © 2023, Amazon Web Services, Inc. or its affiliates. 45
    自社の成長サイクルを回すための必要十分なモデルを選択
    (* DeepLearning.ai Finetuning Large Language Models より)。
    ELMo
    (2018)
    BERT-Large
    (2018)
    GPT-2
    (2019)
    Turing NLG
    (2020)
    GPT-3
    (2020)
    Switch-C
    (2021)

    100B
    1B
    1T
    10T
    10B
    100
    M
    400M から 1B 程度の
    モデルから始める(*)。

    View full-size slide

  46. © 2023, Amazon Web Services, Inc. or its affiliates.
    日本語大規模言語モデルのパラメーター数
    46
    OpenCALM
    (CyberAgent)
    gpt-neox
    (rinna)
    japanese-stablelm-alpha
    (Stability AI)
    japanese-large-lm
    (LINE)
    weblab
    (東大松尾研)
    1B 3B 7B
    small: 160M
    medium: 400M
    large: 830M
    1B 3B 7B
    small: 204M
    3.6B
    3.6B (sft)
    3.6B (sft-v2)
    3.6B (ppo)
    bilingual-4B
    4B (sft)
    4B (8k)
    4B (ppo)
    4B (minigpt4)
    7B
    7B (instruct)
    7B+ (instructblip)
    1.7B
    3.6B
    3.6B (instruction)
    10B
    10B (sft)
    gpt-neox-japanese
    (Stockmark)
    1.4B
    1B=>3B=>7B=>10Bと
    ステップアップできる

    View full-size slide

  47. © 2023, Amazon Web Services, Inc. or its affiliates.
    大規模言語モデルを動かすための AWS インスタンス
    47
    1B 3B 7B
    g5.2xlarge : A10G x 1 24GB ($1/h)
    p3.2xlarge : V100 x 1 16GB ($3/h)
    20B
    g5.12xlarge : A10G x 4 96GB ($6/h)
    p3.8xlarge : V100 x 4 64GB ($12/h)
    p4de.24xlarge :
    A100 etc
    g系のインスタンスがおすすめ

    View full-size slide

  48. © 2023, Amazon Web Services, Inc. or its affiliates. 48
    ML : モデルを選択し Fine Tuning するステップ
    指示 / 回答のペア 入力テンプレートに
    基づき結合・整形
    モデルの学習へ
    Instruction tuning
    追加学習用
    コーパス
    モデルの学習へ
    Continuous pretraining

    View full-size slide

  49. © 2023, Amazon Web Services, Inc. or its affiliates.
    モデルの評価が上がる = 顧客体験が良くなる、の等式を維持する。
    • 顧客体験が下がるエラーの定義
    • スペルミス、冗長な回答、誤りなど
    • エラーに対する改善の確認
    • Finetuning 前の挙動と、実施後の挙動を比較する。
    • 人間が比較する、正答との距離の計測 (ROUGE/BLEU等) で評価。
    49
    モデルの評価
    評価結果に応じて、データの収集、モデルの選択を再検討する

    View full-size slide

  50. © 2023, Amazon Web Services, Inc. or its affiliates. 50
    ML : モデルを選択し Fine Tuning する
    顧客体験とコストのバランスを最適化するよう、
    学習データ量とモデルを段階的にチューニングする。

    View full-size slide

  51. © 2023, Amazon Web Services, Inc. or its affiliates. 51
    1. なぜ Fine Tuning をするのか
    2. Fine Tuning でモデルの価値を高めるステップ
    3. AWS で Fine Tuning するメリットと方法
    Agenda

    View full-size slide

  52. © 2023, Amazon Web Services, Inc. or its affiliates. 52
    AWS で Fine Tuning するメリット
    = Amazon でお買い物をするメリット
    1. 品ぞろえが豊富
    2. コスト効率が良い

    View full-size slide

  53. © 2023, Amazon Web Services, Inc. or its affiliates.
    Amazon Bedrock
    厳選された基盤モデルから最適な基盤モデルを選択できる
    Amazon が提供 最先端スタートアップ企業が提供
    Titan Text Titan
    Embeddings
    Claude
    Jurassic-2 Stable
    Diffusion
    53
    Command/
    Embed

    View full-size slide

  54. © 2023, Amazon Web Services, Inc. or its affiliates.
    Amazon SageMaker JumpStart
    オープンソースや企業独自のモデルを幅広に選択できる
    Models
    Stable Diffusion XL
    2.1 base
    Upscaling
    Inpainting
    Tasks
    Generate photo-realistic
    images from text input
    Improve quality of
    generated images
    Features
    Fine-tuning on Stable
    Diffusion 2.1 base model
    Models
    AlexaTM 20B
    Tasks
    Machine translation
    Question answering
    Summarization
    Annotation
    Data generation
    Models
    Falcon-7B, 40B
    Open LlaMA
    RedPajama
    MPT-7B, Dolly
    BloomZ 176B
    Flan T-5 models (8 variants)
    DistilGPT2
    GPT NeoXT
    Bloom models
    (3 variants)
    Tasks
    Machine translation
    Question answering
    Summarization
    Annotation
    Data generation
    Features
    Fine-tuning on FLAN T5 models,
    GPT-6B, Falcon-7B
    Models
    Cohere
    Command XL
    Tasks
    Text generation
    Information extraction
    Question answering
    Summarization
    Models
    Jurassic-2 Ultra, Mid
    Contextual answers
    Summarize
    Paraphrase
    Grammatical error
    correction
    Tasks
    Text generation
    Long-form generation
    Summarization
    Paraphrasing
    Chat
    Information extraction
    Question answering
    Classification
    Models
    Lyra-Fr
    10B, Mini
    Tasks
    Text generation
    Keyword extraction
    Information extraction
    Question answering
    Summarization
    Sentiment analysis
    Classification
    Models
    Llama 2 7B, 13B, 70B
    Tasks
    Question answering
    Chat
    Summarization
    Paraphrasing
    Sentiment analysis
    Text generation

    View full-size slide

  55. © 2023, Amazon Web Services, Inc. or its affiliates.
    さらにコスト効率良く生成系 AI を利用するための
    ハードウェアを開発
    AWS Trainium AWS Inferentia 2
    大規模言語モデルや拡散モデルの
    学習に特化したインスタンス
    大規模言語モデルや拡散モデルの
    推論に特化したインスタンス
    同等の Amazon EC2 インスタンス
    と比較して最大 75% の学習コスト
    削減
    同等の Amazon EC2 インスタンス
    と比較して最大 40% の推論コスト
    効率の改善を実現
    55

    View full-size slide

  56. © 2023, Amazon Web Services, Inc. or its affiliates.
    AWS で生成系 AI を使う方法
    56
    Amazon Bedrock Amazon SageMaker JumpStart Amazon SageMaker
    サーバーレス形式で AWS が
    厳選した基盤モデルの推論と
    転移学習が可能。
    画面操作のみで基盤モデルの
    ホスティングや追加学習が行
    える。
    4+ 400+ Many
    SageMaker の Notebook な
    どで Hugging Face などから
    直接モデルをダウンロードし
    てきて使用。
    利用可能な
    モデル数
    Super Easy Easy Normal
    利用
    しやすさ

    View full-size slide

  57. © 2023, Amazon Web Services, Inc. or its affiliates.
    AWS で生成系 AI を使う方法
    57
    Amazon Bedrock Amazon SageMaker JumpStart Amazon SageMaker
    サーバーレス形式で AWS が
    厳選した基盤モデルの推論と
    転移学習が可能。
    画面操作のみで基盤モデルの
    ホスティングや追加学習が行
    える。
    4+ 400+ Many
    SageMaker の Notebook な
    どで Hugging Face などから
    直接モデルをダウンロードし
    てきて使用。
    利用可能な
    モデル数
    Super Easy Easy Normal
    利用
    しやすさ
    Dev 向き ML 向き

    View full-size slide

  58. © 2023, Amazon Web Services, Inc. or its affiliates.
    AWS で生成系 AI を Fine Tuning する方法
    58
    Amazon Bedrock Amazon SageMaker JumpStart Amazon SageMaker
    サーバーレス形式で AWS が
    厳選した基盤モデルの推論と
    転移学習が可能。
    画面操作のみで基盤モデルの
    ホスティングや追加学習が行
    える。
    4+ 400+ Many
    SageMaker の Notebook な
    どで Hugging Face などから
    直接モデルをダウンロードし
    てきて使用。
    利用可能な
    モデル数
    Super Easy Easy Normal
    利用
    しやすさ

    View full-size slide

  59. © 2023, Amazon Web Services, Inc. or its affiliates.
    Amazon SageMaker JumpStart で Fine Tuning する方法
    59
    学習データセットを Amazon S3
    に置いて 「Train」するだけ!
    ※ Fine Tuning に対応しているモデルとし
    ていないモデルがあります。

    View full-size slide

  60. © 2023, Amazon Web Services, Inc. or its affiliates.
    Amazon SageMaker JumpStart で Fine Tuning する方法
    60
    Hugging Face Hub から Train / Deploy を押すと SageMaker で実行
    するためのコードを参照できる。

    View full-size slide

  61. © 2023, Amazon Web Services, Inc. or its affiliates.
    AWS で生成系 AI を Fine Tuning する方法
    61
    Amazon Bedrock Amazon SageMaker JumpStart Amazon SageMaker
    サーバーレス形式で AWS が
    厳選した基盤モデルの推論と
    転移学習が可能。
    画面操作のみで基盤モデルの
    ホスティングや追加学習が行
    える。
    4+ 400+ Many
    SageMaker の Notebook な
    どで Hugging Face などから
    直接モデルをダウンロードし
    てきて使用。
    利用可能な
    モデル数
    Super Easy Easy Normal
    利用
    しやすさ

    View full-size slide

  62. © 2023, Amazon Web Services, Inc. or its affiliates.
    aws-ml-jp
    62
    Amazon SageMaker で
    基盤モデルを学習するための様々
    な Notebook を公開中

    View full-size slide

  63. © 2023, Amazon Web Services, Inc. or its affiliates.
    aws-ml-jp
    • text-to-image
    63

    View full-size slide

  64. © 2023, Amazon Web Services, Inc. or its affiliates.
    aws-ml-jp
    • text-to-text
    64

    View full-size slide

  65. © 2023, Amazon Web Services, Inc. or its affiliates.
    Weights & Biases との統合
    wandb のパラメーターを設定することで、Weights & Biases で学習
    状況をモニタリングすることができる。
    65
    Notebook: Rinna_Neox_LoRA_ja.ipynb を参考。

    View full-size slide

  66. © 2023, Amazon Web Services, Inc. or its affiliates.
    実験 : 日本語大規模言語モデル OpenCALM を Fine Tuning
    66
    詳細 : 日本語大規模言語モデル OpenCALM の知識でクイズ王に挑戦する

    View full-size slide

  67. © 2023, Amazon Web Services, Inc. or its affiliates. 67
    想定するビジネスシナリオ
    Biz Dev ML
    問合せの多さに悩む
    顧客サポート窓口に、
    よりコスト効率良く
    正確な返答を提供。
    すぐに使える API で
    どれだけ正確に回答
    ができるか確認。
    Dev で使用したAPI
    と同等の結果を、より
    少ないパラメーターの
    モデルでコスト効率よ
    く実現できるか確認。
    日本語クイズの
    JAQKET データセット
    を使用して検証。
    ChatGPT で回答精度
    を検証。
    OpenCALM を Fine-
    Tuningした場合の精度
    とコストを計測。

    View full-size slide

  68. © 2023, Amazon Web Services, Inc. or its affiliates. 68
    JAQKET データセットの内容
    Q: 大腸の運動や分泌機能の異常で起こる「過敏腸性症候群」のことをアルファ
    ベット 3 文字の略称で何という?
    A: IBS
    Q: 「Trp」という略号で表される、チーズや牛乳などに多く含まれ、睡眠を
    促す効果があるとされる必須アミノ酸の一種は何?
    A: トリプトファン
    Q: オーストラリアの公用語は英語ですが、オーストリアの公用語は何語?
    A: ドイツ語
    ※回答は必ず Wikipedia の記事名になるように整えられている

    View full-size slide

  69. © 2023, Amazon Web Services, Inc. or its affiliates. 69
    検証の方法
    JAQKET データセット
    の質問回答ペア
    入力テンプレートに
    基づき結合・整形
    モデルの学習へ
    (LoRA で学習)
    Fine Tuning しない
    モデル / ChatGPT
    へ入力

    View full-size slide

  70. © 2023, Amazon Web Services, Inc. or its affiliates. 70
    検証結果
    OpenCALM 7B のモデルを Fine Tuning することで、 ChatGPT 3.5
    に比べ 1.1 倍の精度、1000 件でも 0.94 倍とほぼ同等の精度。

    View full-size slide

  71. © 2023, Amazon Web Services, Inc. or its affiliates. 71
    検証結果
    1000 件の推論を行うとき、インスタンスとフレームワークを最適
    化することで 20~30 倍コスト効率良く推論できる。
    ※インスタンスを起動し続ける場合、推論回数が低いと
    インスタンスの固定費が高くつく点には注意。

    View full-size slide

  72. © 2023, Amazon Web Services, Inc. or its affiliates. 72
    カスタマーサポートの回答負荷を LLM でどれだけ軽減できたかを、
    Expected Net Cost Savings (ENCS) = 期待節約効果で評価。
    類似の検証を行った研究 (ACL2023 Industry Track)
    The economic trade-offs of large language models: A case study
    ※年効果は月 10 万件の対応で計算。
    ChatGPT でなく GPT-3 のため単価が高めな点に注意
    回答の採用率は Prompt Engineering
    した GPT-3 が最も高いが、
    期待節約効果は Fine Tune + 蒸留し
    たモデルが最も高い

    View full-size slide

  73. © 2023, Amazon Web Services, Inc. or its affiliates. 73
    Expected Net Cost Savings (ENCS) の計算例
    類似の検証を行った研究 (ACL2023 Industry Track)
    The economic trade-offs of large language models: A case study
    提案を使った場合
    の返答時間
    オペレーターの単価
    +通常の返答時間
    削減時間 * 単価
    採用/ 編集 / 無視
    されるケース
    ケースの発生確率
    提案コスト
    ENCS

    View full-size slide

  74. © 2023, Amazon Web Services, Inc. or its affiliates. 74
    今後の検証
    • OpenCALM 以外のモデルでの検証
    • 新規にリリースされた ChatGPT 3.5 の Fine Tuning 機能の検証
    • JAQKET 以外のデータセットでの検証
    Weights & Biases と協力し、誰でも簡単にパラメーターを変えて
    ベンチマークを計測できるような仕組みを開発中

    View full-size slide

  75. © 2023, Amazon Web Services, Inc. or its affiliates.
    © 2022, Amazon Web Services, Inc. or its affiliates.
    おわりに
    75

    View full-size slide

  76. © 2023, Amazon Web Services, Inc. or its affiliates. 76
    Prompt Engineering と Fine Tuning
    • Prompt Engineering による迅速な検証で終わらず Fine Tuning に
    よる継続的な学習に進むことで機械学習の成長サイクルを実現する。
    Biz Dev ML の 3 ステップ
    • 成長サイクルの 3 つの要件を押さえたビジネスモデルを設計する
    • Prompt Engineering による迅速なビジネス検証を行う
    • Fine Tuning により継続的な成長サイクルを回す
    JAQKET/OpenCALM を使用した実験で Fine Tuning の効果を例示
    まとめ

    View full-size slide

  77. © 2023, Amazon Web Services, Inc. or its affiliates. 77
    • これから生成系 AI のユースケースを検討する時
    • Biz のステップから始めてみる
    • すでに生成系 AI を利用している時
    • 今後の使用頻度や成長の度合いを考えたときに、ML のフェーズ
    へ移るために準備しておくべきことを検討する。
    • ENCS を計算し、精度とコストのトレードオフを見積もる。
    Next Step

    View full-size slide

  78. © 2023, Amazon Web Services, Inc. or its affiliates.
    最初の Biz フェーズの支援 : ML Enablement Workshop
    生成系 AI の
    お試し
    生成系 AI に
    よるプロダクト
    差別化
    機械学習 / 生成系 AI によるプロダクトの成長を図るお客様に無償で提供する、
    実現可能な計画をアウトプットできるワークショップ。
    参考 : プロダクトの成長をリードする生成系 AI の活用戦略
    理解編
    他社事例を参考に、ビジネス
    モデルキャンバスを作成
    応用編
    顧客体験の改善を確認する
    ための検証スコープの特定
    開始編
    1~3 カ月間の検証 (Dev)、
    学習 (ML) の具体的な計画
    78

    View full-size slide

  79. © 2023, Amazon Web Services, Inc. or its affiliates.
    ML Enablement Workshop のコンテンツは
    すべて GitHub で公開中。
    https://github.com/aws-samples/aws-ml-enablement-workshop
    AWS からの提供には条件がありますが、
    開催者向けガイドを参照しお客様自身で実施
    頂くこともできます
    79

    View full-size slide

  80. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    Thank you!
    © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    Amazon Web Services, AWS, the Powered by AWS logo, and all AWS service
    names used in this slide deck are trademarks of Amazon.com, Inc. or its affiliates.

    View full-size slide