TurboQuant

ポッドキャストとにかくヨシ　で紹介したもの

Transcript

1. TurboQuant PolarQuant + QJL のハイブリッド量子化
2. KキャッシュとVキャッシュの違い KキャッシュはAttentionスコア計算なので、内積だけ正確ならOK Vキャッシュは加重平均されるので MSE を小さくしたい 2
3. PolarQuant ベクトルの座標分布は不均一なので量子化しにくい 量子化しやすいように均一にすればいいのでは？ 3
4. 変換アルゴリズム 1. ランダム直交回転 直交回転:ノルムと内積が保存される ランダム：どの次元にoutlierがあるか事前に知らなくてもいい 2. デカルト座標から極座標 ノルムだけ保存すればいい 方向は 3. Lloyd-Max量子化 4
5. QJL 量子化済みの (\hat{k}) の内積の誤差: Johnson-Lindenstraussの補題 ランダム射影でベクトルを低次元に潰しても、内積はおおむね保たれる PolarQuantの残差 をランダム射影して符号だけ保存 1-bit の追加コスト 5
6. なぜsignで？ 「ガウス分布（正規分布）の対称性を使うと、片方の符号（+1か-1）だ け残しておけば、内積の期待値が完全に復元できるから」 各成分が標準正規分布に従うランダムな行列で射影したベクトル を 使うとSteinの補題が成り立つ 6