Amazon Novaを使用した蒸留

Transcript

2. 自己紹介 ©Blueish 2024. All rights reserved. 戸塚 翔太｜BLUEISH Shota Totsuka ・LLMアプリ開発者（Go/Python …etc） ・生成AI, 機械学習 ・趣味: スキー/スノボ, 最近はDifyにContribute ・静岡県（浜松）に住んでます 　近くの方がいれば、一緒に勉強会しましょう！ Xアカウント @totsukash
3. 自己紹介 ©Blueish 2024. All rights reserved. AWS認定（1月から開始）
4. 01 蒸留 02 Bedrock x 蒸留 03 Amazon Nova 04 実践: データ準備 目次 ©Blueish 2024. All rights reserved. 05 実践: 蒸留開始
5. 蒸留 ©Blueish 2024. All rights reserved.
6. おそらく、 あまり馴染みが無いと思います ©Blueish 2024. All rights reserved.
7. 私自身、実務で使ったことは 今のところありません... ©Blueish 2024. All rights reserved.
8. ただし、 ©Blueish 2024. All rights reserved.
9. ©Blueish 2024. All rights reserved. 「技術って面白い」
10. Let's go!!! ©Blueish 2024. All rights reserved.
11. 01 蒸留 ©Blueish 2024. All rights reserved.
12. ©Blueish 2024. All rights reserved. 蒸留 - 大きいモデルの出力を小さいモデルの 学習に利用する方法 - 小さいモデルを使用できるため、コス トや応答速度で優れている - Providerを跨いでの学習は禁止されて いることが多いので注意（OpenAIの モデルを使用して、他のモデルを学習 させるなど） 蒸留とは
13. 02 Bedrock x 蒸留 ©Blueish 2024. All rights reserved.
14. Bedrock x 蒸留 - 2024年12月3日(AWS re:Invent 2024)でpreviewの提供開始 - Amazon, Metaモデルなどをサポート Amazon Bedrock Model Distillation
15. ©Blueish 2024. All rights reserved. Bedrock x 蒸留
16. 03 Amazon Nova ©Blueish 2024. All rights reserved.
17. ©Blueish 2024. All rights reserved. Amazon Nova Agentsの仕組み Amazon Nova Micro - テキストのみのモデルで、極めて低いレイテンシーのレスポンスを非常に低コストで実現 Amazon Nova Lite - 画像、動画、テキストの入力を超高速で処理する、非常に低コストのマルチモーダルモデル Amazon Nova Pro - 幅広いタスクに対応する精度,速度,コストの最適な組み合わせを備えた高性能なマルチモーダルモデル Amazon Nova Premier - 近日リリース Amazon Nova Canvas, Amazon Nova Reel - 画像生成 / 動画生成 モデル
18. 04 実践: データ準備 ©Blueish 2024. All rights reserved.
19. ©Blueish 2024. All rights reserved. 実践: データ準備 - S3にJSONLデータを用意（Fine-tuning同様） - 最低サンプル数を確認しておくこと データの準備
20. 05 実践: 蒸留開始 ©Blueish 2024. All rights reserved.
21. ©Blueish 2024. All rights reserved. 実践: 蒸留開始
22. ©Blueish 2024. All rights reserved. 実践: 蒸留開始
23. ©Blueish 2024. All rights reserved. 実践: 蒸留開始
24. ©Blueish 2024. All rights reserved. 実践: 蒸留開始 プロビジョンドスループット...高い!!!
25. ご清聴ありがとうございました。 ©Blueish 2024. All rights reserved.