新機能 Bedrock Model Distillation 基礎〜実践まで #regrowth_fuk

https://dev.classmethod.jp/articles/bedrock-model-distillation-re-growth-2024-awsreinvent-regrowth-fukuoka

Transcript

1. 2024/12/12 AWS事業本部コンサルティング部 森⽥⼒ 新機能 Bedrock Model Distillation 基礎〜実践まで
2. ⾃⼰紹介 森⽥ ⼒ • 所属 : AWS事業本部コンサルティング部 • 好きなサービス : AWS Lambda • re:Invent 2024 初参加！ ◦ 現地Keynoteが良かった
3. • Amazon Bedrock Model Distillation の概要 • Bedrock Model Distillation で使われている技術「蒸留」とは • Bedrock Model Distillation を使うには アジェンダ
4. Amazon Bedrock Model Distillation の 概要
5. • CEO Keynoteでパブリックプレビューとして発表 • Amazon Bedrock で蒸留モデルを作成することができる機能 ◦ 特定のユースケースでは ▪ 元の⼤きなモデルよりも最⼤ 5 倍⾼速 ▪ 最⼤ 75% 低コスト • 対応モデル ◦ Anthropic Claude ◦ Meta Llama ◦ Amazon Nova Amazon Bedrock Model Distillation
6. Bedrock Model Distillation で使われている技術 「蒸留」とは
7. ⼀般的に「蒸留」とは 混合物を加熱して、出てくる気体を冷やし純粋な液体を抽出する⽅法 蒸留
8. 機械学習でもイメージは同じ ⼤規模モデルから重要な知識を抽出する 蒸留
9. 機械学習でもイメージは同じ 抽出した知識を使って⼩規模モデルを再学習 蒸留
10. 結果 ⼩規模モデル ≒ ⼤規模モデルとなる 蒸留
11. Bedrock Model Distillation を使うには
12. 学習させるためのデータが必要 • Amazon S3 に JSONL形式で格納する • Amazon CloudWatch Logs のモデル呼び出しログ Bedrock Model Distillation を使うには
13. Amazon CloudWatch Logs のモデル呼び出しログ
14. コンソールから数ステップでモデルの作成が可能！ データが準備できたら... ① モデルを選択する 選択肢 • Amazon Nova • Anthropic Claude • Meta Llama ※ シングルターンのプロンプトのみ対応
15. コンソールから数ステップでモデルの作成が可能！ データが準備できたら... ② 準備したデータを⼊⼒する Direct S3 を選択する場合 • JSONL形式 で⼊⼒ • 100 個以上のプロンプトが 必要
16. まとめ
17. • 蒸留を使うことで、モデルの軽量化が実現できる ◦ 推論速度向上 ◦ コスト削減 • Amazon Bedrock では、数ステップで⼿軽に蒸留を試せる ◦ 「モデル呼び出しログ」を学習データに利⽤できるのが魅⼒的！ まとめ
18. 他にも⽣成AIのアップデート聞きたい！
19. https://www.youtube.com/watch?v=OJR1k2DTz80&list=PLL6J8djFsPBUYtJTBv-3CLTZV6vEtMd5O&index=1 YouTube でも喋ってます！