2024/12/12 AWS事業本部コンサルティング部 森⽥⼒ 新機能 Bedrock Model Distillation 基礎〜実践まで

⾃⼰紹介 森⽥ ⼒ ● 所属 : AWS事業本部コンサルティング部 ● 好きなサービス : AWS Lambda ● re:Invent 2024 初参加！ ○ 現地Keynoteが良かった

● Amazon Bedrock Model Distillation の概要 ● Bedrock Model Distillation で使われている技術「蒸留」とは ● Bedrock Model Distillation を使うには アジェンダ

Amazon Bedrock Model Distillation の 概要

● CEO Keynoteでパブリックプレビューとして発表 ● Amazon Bedrock で蒸留モデルを作成することができる機能 ○ 特定のユースケースでは ■ 元の⼤きなモデルよりも最⼤ 5 倍⾼速 ■ 最⼤ 75% 低コスト ● 対応モデル ○ Anthropic Claude ○ Meta Llama ○ Amazon Nova Amazon Bedrock Model Distillation

Bedrock Model Distillation で使われている技術 「蒸留」とは

⼀般的に「蒸留」とは 混合物を加熱して、出てくる気体を冷やし純粋な液体を抽出する⽅法 蒸留

機械学習でもイメージは同じ ⼤規模モデルから重要な知識を抽出する 蒸留

機械学習でもイメージは同じ 抽出した知識を使って⼩規模モデルを再学習 蒸留

結果 ⼩規模モデル ≒ ⼤規模モデルとなる 蒸留

Bedrock Model Distillation を使うには

学習させるためのデータが必要 ● Amazon S3 に JSONL形式で格納する ● Amazon CloudWatch Logs のモデル呼び出しログ Bedrock Model Distillation を使うには

Amazon CloudWatch Logs のモデル呼び出しログ

コンソールから数ステップでモデルの作成が可能！ データが準備できたら... ① モデルを選択する 選択肢 ● Amazon Nova ● Anthropic Claude ● Meta Llama ※ シングルターンのプロンプトのみ対応

コンソールから数ステップでモデルの作成が可能！ データが準備できたら... ② 準備したデータを⼊⼒する Direct S3 を選択する場合 ● JSONL形式 で⼊⼒ ● 100 個以上のプロンプトが 必要

まとめ

● 蒸留を使うことで、モデルの軽量化が実現できる ○ 推論速度向上 ○ コスト削減 ● Amazon Bedrock では、数ステップで⼿軽に蒸留を試せる ○ 「モデル呼び出しログ」を学習データに利⽤できるのが魅⼒的！ まとめ

他にも⽣成AIのアップデート聞きたい！

https://www.youtube.com/watch?v=OJR1k2DTz80&list=PLL6J8djFsPBUYtJTBv-3CLTZV6vEtMd5O&index=1 YouTube でも喋ってます！

No content