最近話題の1bit量子化とは？実際に調べてみました！

Slide 1

Slide 1 text

最近話題の1bit 量子化とは？実際に調べてみました！樹神宇徳

Slide 2

Slide 2 text

導入最近Twitter(X)でこんなツイート(ポスト)を見かけました。

Slide 3

Slide 3 text

導入実際、1bit量子化にはどのようなポテンシャルを秘めているのか？ 1bit量子化でGPUがいらなくなる！！ GPUがいらなくなるわけないだろwww

Slide 4

Slide 4 text

1bit量子化とは •そもそも1bit量子化とは？ニューラルネットワークの重みを1,0,-1のみにすること

Slide 5

Slide 5 text

ニューラルネットについて

Slide 6

Slide 6 text

ニューラルネットについて

Slide 7

Slide 7 text

ニューラルネットについて

Slide 8

Slide 8 text

1bit量子化とは •そもそも1bit量子化とは？ニューラルネットワークの重みを1,0,-1のみにすること

Slide 9

Slide 9 text

1bit量子化とは全ての重みを-1,0,1に変換する手法

Slide 10

Slide 10 text

1bit量子化が1bitではない？ https://arxiv.org/pdf/2310.11453.pdf 2402.17764.pdf (arxiv.org) 2402.17764.pdf (arxiv.org) 元々の1bit量子化である BitNet(https://arxiv.org/pdf/2310.11453.pdf) の改良版のBitNet-b1.58(2402.17764.pdf (arxiv.org))が量子化しないモデルと同程度の精度を出す事が話題に。今話題になっている1bit量子化は正確には 1.58bit量子化

Slide 11

Slide 11 text

1.58bit量子化の何が画期的？今までのBitNetは重みが-1,1のどちらかしかとれない BitNet-b1.58は0も追加されたことにより、関係ない入力をはじくことが出来る。

Slide 12

Slide 12 text

1.58bit量子化の何が画期的？重みが-1,0,1のみかけ算の処理を行う必要がなく計算を高速化出来る。

Slide 13

Slide 13 text

どうやって1.58bit 量子化するの？各重みを、重みの絶対値の平均より大きければ1。重みの絶対値の平均に-1を掛けたものより小さければ-1。それ以外なら0にする

Slide 14

Slide 14 text

どれくらい高速化するの？

Slide 15

Slide 15 text

精度はどの程度か？

Slide 16

Slide 16 text

本当にGPUはいらなくなるの？ • 現在は1bit量子化に最適化されたハードウェアの作成が構想されている段階 • 1bit量子化に最適化されたハードウェアが完成しても、現状1bit量子化の利用が期待されているのはLLMのみ GPUがいらなくなると結論づけるのは早計

Slide 17

Slide 17 text

ご清聴ありがとうございました