Amazon Bedrock における モデルカスタマイズについて考えてみた

JAWS-UGAI_ML#34

Transcript

1. 2025/12/23 クラウド事業本部 コンサルティング部 森⽥⼒ Amazon Bedrock における モデルカスタマイズについて考えてみた
2. ⾃⼰紹介 • 所属 ◦ クラウド事業本部 コンサルティング部 • 好きなサービス ◦ Amazon Bedrock ◦ AWS Lambda • re:Invent ◦ 2回⽬の参加
3. AWS re:Invent 2025 - Dr. Swami Sivasubramanian
4. あれ、他にもなかったっけ？
5. Bedrockでのモデルカスタマイズ Supervised Fine-tuning（SFT） • re:Invent2023 で発表 Model Distillation • re:Invent2024 で発表
6. Supervised Fine-tuning（SFT）
7. Supervised fine-tuning（SFT） Supervised fine-tuning（SFT） • 事前学習済みの基盤モデルに対し、 特定のタスクに特化したデータセットを⽤いて追加の学習 • モデルはデータセットに含まれる⾔語パターン、⽂体、フォーマット、および知 識を模倣することを学習 • 「話し⽅」や「出⼒形式」を安定化したいユースケース • 特定のタスクに特化しすぎて、柔軟性を失う（過学習）可能性がある
8. Model Distillation
9. Model Distillation • 教師モデルの推論精度を可能な限り維持したまま 重要な知識を⽣徒モデルへ知識を転送する → 教師モデルの精度を超えることは難しい • 推論速度向上, コスト削減が期待できる • ⼤規模モデルのコストを抑えたいユースケース Model Distillation
10. Model Distillation 詳細は資料を公開しているのでご確認ください。 https://speakerdeck.com/ch6noota/xin-ji-neng-bedrock-model-distillation-ji-chu-shi-jian-made-number-regrowth-fukuoka
11. Reinforcement Fine-tuning
12. Reinforcement Fine-tuning （RFT） • 強化学習の仕組みを LLM の学習（Fine-tuning）に適⽤ ◦ SFTと⽐較すると複雑なワークフローでの学習 → Bedrock を利⽤すれば、マネージドに学習可能 • 「より⾼い評価が得られる回答の作り⽅」を学習させることが可能 → 柔軟性を損ないにくく、新しい知識を得ることができる • 「形式の模倣」には不向き Reinforcement Fine-tuning （RFT）
13. Reinforcement Fine-tuning （RFT） 詳細は資料を公開しているのでご確認ください。 https://speakerdeck.com/ch6noota/reinforcement-fine-tuning-ji-chu-shi-jian-made
14. ⽬的の違い
15. ⽬的の違い ⼩規模モデルを⼤規模モデルに近づける • Model Distillation ⼩規模モデルが新たな知識を獲得する • Supervised fine-tuning（SFT） • Reinforcement Fine-tuning （RFT）
16. SFT vs RFT
17. SFT RFT ユースケース 厳格に知識に従う 例：話し方, 形式 論理的/思考プロセスを必要とする 例：コード生成, 数学・科学計算 ジョブあたりの料金 トークンあたりの料金 $0.00378 per 1K tokens for USE1-Nova2.0Lite 実行時間あたりの料金 $80.00 per hour for Nova2.0Lite-RFT-Training-Hours 利用可能なモデル Text: Nova 2 Lite, Nova Pro, Nova Micro Image: Titan Image Generator, Nova Canvas Embedding: Titan Multimodal Embeddings Text: Nova 2 Lite SFT vs RFT
18. モデルホスティング
19. モデルホスティング オンデマンド推論（2025/07より提供） • 利⽤したトークンあたりの料⾦（基盤モデルと同じ料⾦体系） • 数秒間のコールドスタートが発⽣する可能性がある • 未対応のモデルあり プロビジョンドスループット • コミットメント期間での料⾦ • 事前にコミットメントしたスループットを提供する  
20. 最後に： モデルカスタマイズの必要性
21. モデルカスタマイズの必要性 前提 • 汎⽤モデルのような全ユースケースで対応させる必要がない ◦ 特定のユースケースで回答精度を向上させる コスト‧レイテンシ • ⼊⼒トークンの削減が期待できる ◦ コスト削減 ◦ 応答速度向上 • 汎⽤モデルよりもトークンあたりの料⾦が低単価 モデル 1kあたりの入力トークン料金 Nova 2.0 Lite オンデマンド推論 $0.0003 カスタマイズした場合でも Standard Tierと同じ Claude Sonnet 4.5 $0.003