Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
最近話題の1bit量子化とは?実際に調べてみました!
Search
Takanori Kotama
May 20, 2024
Research
0
120
最近話題の1bit量子化とは?実際に調べてみました!
最近話題の1bit量子化について理論的な観点から解説します。
Takanori Kotama
May 20, 2024
Tweet
Share
More Decks by Takanori Kotama
See All by Takanori Kotama
論文サーベイ NVIDIA SIMNET™: AN AI-ACCELERATED MULTI-PHYSICS SIMULATION FRAMEWORK
kotama7
0
4
新たなAIアーキテクチャ を作ろう!! ~フーリエ級数展開編~
kotama7
0
150
Other Decks in Research
See All in Research
2025年度人工知能学会全国大会チュートリアル講演「深層基盤モデルの数理」
taiji_suzuki
25
18k
PhD Defense 2025: Visual Understanding of Human Hands in Interactions
tkhkaeio
1
190
MIRU2025 チュートリアル講演「ロボット基盤モデルの最前線」
haraduka
15
7.9k
AIスパコン「さくらONE」のLLM学習ベンチマークによる性能評価 / SAKURAONE LLM Training Benchmarking
yuukit
0
340
2021年度-基盤研究B-研究計画調書
trycycle
PRO
0
300
AIグラフィックデザインの進化:断片から統合(One Piece)へ / From Fragment to One Piece: A Survey on AI-Driven Graphic Design
shunk031
0
440
不確実性下における目的と手段の統合的探索に向けた連続腕バンディットの応用 / iot70_gp_rff_mab
monochromegane
2
160
引力・斥力を制御可能なランダム部分集合の確率分布
wasyro
0
240
ストレス計測方法の確立に向けたマルチモーダルデータの活用
yurikomium
0
1.5k
在庫管理のための機械学習と最適化の融合
mickey_kubo
3
1.1k
Adaptive Experimental Design for Efficient Average Treatment Effect Estimation and Treatment Choice
masakat0
0
160
集合間Bregmanダイバージェンスと置換不変NNによるその学習
wasyro
0
140
Featured
See All Featured
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.4k
Being A Developer After 40
akosma
90
590k
Raft: Consensus for Rubyists
vanstee
140
7.1k
The World Runs on Bad Software
bkeepers
PRO
70
11k
Site-Speed That Sticks
csswizardry
10
810
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
139
34k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
1.1k
How to train your dragon (web standard)
notwaldorf
96
6.2k
Bash Introduction
62gerente
615
210k
Testing 201, or: Great Expectations
jmmastey
45
7.7k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
Transcript
最近話題の1bit 量子化とは? 実際に調べてみ ました! 樹神宇徳
導入 最近Twitter(X)でこんなツイート(ポスト)を見か けました。
導入 実際、1bit量子化にはどのようなポテンシャルを秘め ているのか? 1bit量子化でGPUが いらなくなる!! GPUがいらなくなる わけないだろwww
1bit量子化とは •そもそも1bit量子化とは? ニューラルネットワークの重みを1,0,-1の みにすること
ニューラルネット について
ニューラルネットについて
ニューラルネットについて
1bit量子化とは •そもそも1bit量子化とは? ニューラルネットワークの重みを1,0,-1の みにすること
1bit量子化とは 全ての重みを-1,0,1に変換する 手法
1bit量子化が1bitではない? https://arxiv.org/pdf/2310.11453.pdf 2402.17764.pdf (arxiv.org) 2402.17764.pdf (arxiv.org) 元々の1bit量子化である BitNet(https://arxiv.org/pdf/2310.11453.pdf) の改良版のBitNet-b1.58(2402.17764.pdf (arxiv.org))が量子化しないモデルと同程度の精
度を出す事が話題に。 今話題になっている1bit量子化は正確には 1.58bit量子化
1.58bit量子化の何が画期的? 今までのBitNetは重み が-1,1のどちらかしかと れない BitNet-b1.58は0も追加 されたことにより、関 係ない入力をはじくこ とが出来る。
1.58bit量子化の何が画期的? 重みが-1,0,1のみ かけ算の処理を行 う必要がなく計算 を高速化出来る。
どうやって1.58bit 量子化するの? 各重みを、重みの絶対値の平均より大きけれ ば1。重みの絶対値の平均に-1を掛けたものよ り小さければ-1。それ以外なら0にする
どれくらい高速化するの?
精度はどの程度か?
本当にGPUはいらなくなるの? • 現在は1bit量子化に最適化されたハードウェアの作成が構 想されている段階 • 1bit量子化に最適化されたハードウェアが完成しても、現 状1bit量子化の利用が期待されているのはLLMのみ GPUがいらなくなると結論づけるのは早計
ご清聴ありがとうございました