Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
最近話題の1bit量子化とは?実際に調べてみました!
Search
Takanori Kotama
May 20, 2024
Research
0
85
最近話題の1bit量子化とは?実際に調べてみました!
最近話題の1bit量子化について理論的な観点から解説します。
Takanori Kotama
May 20, 2024
Tweet
Share
More Decks by Takanori Kotama
See All by Takanori Kotama
新たなAIアーキテクチャ を作ろう!! ~フーリエ級数展開編~
kotama7
0
100
Other Decks in Research
See All in Research
A Segment Anything Model based weakly supervised learning method for crop mapping using Sentinel-2 time series images
satai
3
140
ベイズ的方法に基づく統計的因果推論の基礎
holyshun
0
830
新規のC言語処理系を実装することによる 組込みシステム研究にもたらす価値 についての考察
zacky1972
1
330
移動ビッグデータに基づく地理情報の埋め込みベクトル化
tam1110
0
240
[輪講] Transformer Layers as Painters
nk35jk
4
690
PostgreSQLにおける分散トレーシングの現在 - 第50回PostgreSQLアンカンファレンス
seinoyu
0
250
文書画像のデータ化における VLM活用 / Use of VLM in document image data conversion
sansan_randd
2
540
Weekly AI Agents News! 1月号 アーカイブ
masatoto
1
190
Weekly AI Agents News!
masatoto
31
54k
20241226_くまもと公共交通新時代シンポジウム
trafficbrain
0
430
Intrinsic Self-Supervision for Data Quality Audits
fabiangroeger
0
350
Gemini と Looker で営業DX をドライブする / Driving Sales DX with Gemini and Looker
sansan_randd
0
130
Featured
See All Featured
GraphQLとの向き合い方2022年版
quramy
44
14k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Navigating Team Friction
lara
183
15k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
226
22k
Stop Working from a Prison Cell
hatefulcrawdad
267
20k
A better future with KSS
kneath
238
17k
Measuring & Analyzing Core Web Vitals
bluesmoon
6
260
Build your cross-platform service in a week with App Engine
jlugia
229
18k
Scaling GitHub
holman
459
140k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
12
1k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
33
2.1k
Why Our Code Smells
bkeepers
PRO
336
57k
Transcript
最近話題の1bit 量子化とは? 実際に調べてみ ました! 樹神宇徳
導入 最近Twitter(X)でこんなツイート(ポスト)を見か けました。
導入 実際、1bit量子化にはどのようなポテンシャルを秘め ているのか? 1bit量子化でGPUが いらなくなる!! GPUがいらなくなる わけないだろwww
1bit量子化とは •そもそも1bit量子化とは? ニューラルネットワークの重みを1,0,-1の みにすること
ニューラルネット について
ニューラルネットについて
ニューラルネットについて
1bit量子化とは •そもそも1bit量子化とは? ニューラルネットワークの重みを1,0,-1の みにすること
1bit量子化とは 全ての重みを-1,0,1に変換する 手法
1bit量子化が1bitではない? https://arxiv.org/pdf/2310.11453.pdf 2402.17764.pdf (arxiv.org) 2402.17764.pdf (arxiv.org) 元々の1bit量子化である BitNet(https://arxiv.org/pdf/2310.11453.pdf) の改良版のBitNet-b1.58(2402.17764.pdf (arxiv.org))が量子化しないモデルと同程度の精
度を出す事が話題に。 今話題になっている1bit量子化は正確には 1.58bit量子化
1.58bit量子化の何が画期的? 今までのBitNetは重み が-1,1のどちらかしかと れない BitNet-b1.58は0も追加 されたことにより、関 係ない入力をはじくこ とが出来る。
1.58bit量子化の何が画期的? 重みが-1,0,1のみ かけ算の処理を行 う必要がなく計算 を高速化出来る。
どうやって1.58bit 量子化するの? 各重みを、重みの絶対値の平均より大きけれ ば1。重みの絶対値の平均に-1を掛けたものよ り小さければ-1。それ以外なら0にする
どれくらい高速化するの?
精度はどの程度か?
本当にGPUはいらなくなるの? • 現在は1bit量子化に最適化されたハードウェアの作成が構 想されている段階 • 1bit量子化に最適化されたハードウェアが完成しても、現 状1bit量子化の利用が期待されているのはLLMのみ GPUがいらなくなると結論づけるのは早計
ご清聴ありがとうございました