Slide 1

Slide 1 text

No content

Slide 2

Slide 2 text

自己紹介 ©Blueish 2024. All rights reserved. 戸塚 翔太|BLUEISH Shota Totsuka ・LLMアプリ開発者(Go/Python …etc) ・生成AI, 機械学習 ・趣味: スキー/スノボ, 最近はDifyにContribute ・静岡県(浜松)に住んでます  近くの方がいれば、一緒に勉強会しましょう! Xアカウント @totsukash

Slide 3

Slide 3 text

自己紹介 ©Blueish 2024. All rights reserved. AWS認定(1月から開始)

Slide 4

Slide 4 text

01 蒸留 02 Bedrock x 蒸留 03 Amazon Nova 04 実践: データ準備 目次 ©Blueish 2024. All rights reserved. 05 実践: 蒸留開始

Slide 5

Slide 5 text

蒸留 ©Blueish 2024. All rights reserved.

Slide 6

Slide 6 text

おそらく、 あまり馴染みが無いと思います ©Blueish 2024. All rights reserved.

Slide 7

Slide 7 text

私自身、実務で使ったことは 今のところありません... ©Blueish 2024. All rights reserved.

Slide 8

Slide 8 text

ただし、 ©Blueish 2024. All rights reserved.

Slide 9

Slide 9 text

©Blueish 2024. All rights reserved. 「技術って面白い」

Slide 10

Slide 10 text

Let's go!!! ©Blueish 2024. All rights reserved.

Slide 11

Slide 11 text

01 蒸留 ©Blueish 2024. All rights reserved.

Slide 12

Slide 12 text

©Blueish 2024. All rights reserved. 蒸留 - 大きいモデルの出力を小さいモデルの 学習に利用する方法 - 小さいモデルを使用できるため、コス トや応答速度で優れている - Providerを跨いでの学習は禁止されて いることが多いので注意(OpenAIの モデルを使用して、他のモデルを学習 させるなど) 蒸留とは

Slide 13

Slide 13 text

02 Bedrock x 蒸留 ©Blueish 2024. All rights reserved.

Slide 14

Slide 14 text

Bedrock x 蒸留 - 2024年12月3日(AWS re:Invent 2024)でpreviewの提供開始 - Amazon, Metaモデルなどをサポート Amazon Bedrock Model Distillation

Slide 15

Slide 15 text

©Blueish 2024. All rights reserved. Bedrock x 蒸留

Slide 16

Slide 16 text

03 Amazon Nova ©Blueish 2024. All rights reserved.

Slide 17

Slide 17 text

©Blueish 2024. All rights reserved. Amazon Nova Agentsの仕組み Amazon Nova Micro - テキストのみのモデルで、極めて低いレイテンシーのレスポンスを非常に低コストで実現 Amazon Nova Lite - 画像、動画、テキストの入力を超高速で処理する、非常に低コストのマルチモーダルモデル Amazon Nova Pro - 幅広いタスクに対応する精度,速度,コストの最適な組み合わせを備えた高性能なマルチモーダルモデル Amazon Nova Premier - 近日リリース Amazon Nova Canvas, Amazon Nova Reel - 画像生成 / 動画生成 モデル

Slide 18

Slide 18 text

04 実践: データ準備 ©Blueish 2024. All rights reserved.

Slide 19

Slide 19 text

©Blueish 2024. All rights reserved. 実践: データ準備 - S3にJSONLデータを用意(Fine-tuning同様) - 最低サンプル数を確認しておくこと データの準備

Slide 20

Slide 20 text

05 実践: 蒸留開始 ©Blueish 2024. All rights reserved.

Slide 21

Slide 21 text

©Blueish 2024. All rights reserved. 実践: 蒸留開始

Slide 22

Slide 22 text

©Blueish 2024. All rights reserved. 実践: 蒸留開始

Slide 23

Slide 23 text

©Blueish 2024. All rights reserved. 実践: 蒸留開始

Slide 24

Slide 24 text

©Blueish 2024. All rights reserved. 実践: 蒸留開始 プロビジョンドスループット...高い!!!

Slide 25

Slide 25 text

ご清聴ありがとうございました。 ©Blueish 2024. All rights reserved.