Bedrock カスタムモデルvs汎用モデルの比較

Slide 1

Slide 1 text

AWS活用 Amazon Bedrock #3 カスタムモデル vs 汎用モデル実用シナリオでの比較株式会社BLUEISH 代表取締役CEO兼CTO 為藤アキラ @AkiraTameto

Slide 2

Slide 2 text

為藤アキラ (Akira Tameto) 株式会社BLUEISH 代表取締役 CEO兼CTO ・AWS歴12年・直近のAIプロジェクト　・画像を中心とした機械学習とLLM のハイブリッドのアーキテクト自己紹介

Slide 3

Slide 3 text

今回のゴールカスタムモデル (ファインチューニング)でモデルを作る事

Slide 4

Slide 4 text

DEMOとユースケース1 【ユースケース】カスタマーセンターの問い合わせ対応LLM カスタムモデル vs 汎用モデル(Titan)

Slide 5

Slide 5 text

DEMOとユースケース1 問い合わせに困っているスタッフの方々どうにかして解決してあげたい・・・

Slide 6

Slide 6 text

DEMOとユースケース2 しっかりご案内して、最後にお茶を出せば落ち着くのでは？

Slide 7

Slide 7 text

データセットを準備するデータの準備から

Slide 8

Slide 8 text

データセットを準備するフォーマットは決まっているので注意 https://docs.aws.amazon.com/bedrock/latest/userguide/model-customization-prepare.html AWS公式

Slide 9

Slide 9 text

データセットを準備する { " ": " ", " ":   " " }, prompt completion 注文した商品がまだ届いていない！ご不便をおかけして申し訳ありません。  まずは以下の手順でご確認ください。  1. ご注文確認メールに記載されている追跡番号をお手元にご用意ください。  2. 当社の配送追跡ページにアクセスし、追跡番号を入力してください。  3. 配送状況が更新されていない場合は、カスタマーサポートまでお問い合わせください。  そして、忙しい中でもほっと一息つけるよう、例えばジャスミン茶、ダージリンティー、またはウーロン茶などもお楽しみいただければ幸いです。データのイメージ

Slide 10

Slide 10 text

データセットを準備するテストデータを生成。トレーニングデータ(100件)、検証データ(50件)を用意。

Slide 11

Slide 11 text

学習関連のデータを格納するバケットの作成

Slide 12

Slide 12 text

今回の目次とゴール

Slide 13

Slide 13 text

カスタムモデルの作成カスタムモデルの作成へ

Slide 14

Slide 14 text

カスタムモデルの種類

Slide 15

Slide 15 text

それぞれの特徴・Fine-tuning (微調整) すでに学習済みのモデルを、特定のタスクやドメインに合わせて追加学習すること  ・Distillation (蒸留) 大規模な「教師モデル」の知識を、より軽量な「生徒モデル」に転送する技術です。生徒モデルは教師モデルに近い性能を発揮しつつ、計算資源やメモリの消費を抑え、実運用に適したサイズになります。・Continued pre-training (事前トレーニングの継続) 既存の大規模モデルに対して、さらに追加の一般的またはドメイン固有のデータで学習を続けるプロセスです。これにより、モデルの言語理解能力や専門性が向上し、後の微調整（fine-tuning）の効果が高まる場合があります。  ・RAG (検索拡張生成) 外部の知識ソース（ドキュメントやデータベース）から関連情報を検索（リトリーバル）し、その情報を元に生成（ジェネレーション）を行う手法。これによりモデルはより正確で信頼性の高い回答を提供できるようになる。

Slide 16

Slide 16 text

Slide 17

Slide 17 text

o1 proによる比較精度は良いが、最新情報、手間、料金ともに厳しい

Slide 18

Slide 18 text

ファインチューニングのジョブ作成 (モデルの選択)

Slide 19

Slide 19 text

ファインチューニングのジョブ作成 https://docs.aws.amazon.com/bedrock/latest/userguide/model-customization-prepare.html AWS公式

Slide 20

Slide 20 text

ファインチューニングのジョブ作成 (モデルの選択)

Slide 21

Slide 21 text

ファインチューニングのジョブ作成

Slide 22

Slide 22 text

入力データのセット、ハイパーパラメータのセット

Slide 23

Slide 23 text

出力データ、サービスアクセスのセット

Slide 24

Slide 24 text

カスタムモデルの作成準備完了し、トレーニングジョブが実行

Slide 25

Slide 25 text

トレーニングジョブが実行中トレーニング時間はデータやモデルによるが、今回は大体2時間ぐらい

Slide 26

Slide 26 text

トレーニングが完了し、モデルが出来上がる

Slide 27

Slide 27 text

今回のモデルの内容

Slide 28

Slide 28 text

プロビジョンドスループットを購入1

Slide 29

Slide 29 text

プロビジョンドスループットを購入2

Slide 30

Slide 30 text

プロビジョンドスループットを購入が完了大体20分ぐらい

Slide 31

Slide 31 text

DEMO DEMO

Slide 32

Slide 32 text

プレイグラウンド (Text)で検証

Slide 33

Slide 33 text

DEMO Titan Text G1 Express

Slide 34

Slide 34 text

DEMO Titan Text G1 Express

Slide 35

Slide 35 text

DEMO Titan Text G1 Express

Slide 36

Slide 36 text

DEMO Titan Text G1 Express

Slide 37

Slide 37 text

DEMO Claude 3.5 Sonnet

Slide 38

Slide 38 text

DEMO Claude 3.5 Sonnet

Slide 39

Slide 39 text

DEMO Claude 3.5 Sonnet

Slide 40

Slide 40 text

DEMO Claude 3.5 Sonnet

Slide 41

Slide 41 text

DEMO カスタムモデル ※不安定なのでDEMO用で急遽若干パフォーマンスが良いTitanにしました。

Slide 42

Slide 42 text

DEMO カスタムモデル

Slide 43

Slide 43 text

DEMO カスタムモデル (1回目)

Slide 44

Slide 44 text

DEMO カスタムモデル

Slide 45

Slide 45 text

DEMO カスタムモデル (2回目)

Slide 46

Slide 46 text

DEMO カスタムモデル (2回目)

Slide 47

Slide 47 text

まとめ

Slide 48

Slide 48 text

まとめ Amazon Bedrockでファインチューニングは割と簡単にできR 元のモデルと比べて少ないデータでも良い結果を出せR とはいえファインチューニングはコストがかかるので、必要なタイミングで使うと良い