Binary and Scalar Embedding Quantization for Significantly Faster & Cheaper Retrieval

https://huggingface.co/blog/embedding-quantization

Transcript

1. Binary and Scalar Embedding Quantization for Significantly Faster & Cheaper Retrieval Aamir Shakir, Tom Aarsen, and SeanLee https://huggingface.co/blog/embedding-quantization 発表者：Kampersanda
2. Summary 文埋め込みの各値を量子化してコンパクトに持ってみる • Binary Quantization (1 bit) • Scalar Quantization (8 bits) Efficiency & Effectiveness にどれくらい影響がある？
3. 背景 埋め込み（Embeddings）の保存には結構なメモリとお金が必要 ※ $3.8 per GB/mo with x2gd instances on AWS
4. 省メモリ化の方法 1. 次元数削減 • PCA • マトリョーシカ法 • など 2. 要素圧縮 • Quantization (Binary & Scalar) • など 　あとは LSH や Product Quantization などなど 今日のテーマ
5. Binary Quantization 方法 • 値の符号によって各要素を 0 or 1 に変換 • 距離計算はハミング距離（異なるビットの数） 以上です
6. Binary Quantization – Sentence Transformersでは
7. Binary Quantization – Vector Databasesでは
8. Scalar (int8) Quantization 手順 1. Calibration Dataset から各次元 について min, max を算出 2. その範囲で値を 256 等分に　 （バケット化） 注意点 • Calibration Dataset は量子化バ ケットを定義するため、性能に 影響する
9. Scalar (int8) Quantization – Sentence Transformersでは
10. Scalar (int8) Quantization – Vector Databasesでは
11. リランキングによる検索精度改善 [Yamada et al., ACL21] 前提 • データベースには量子化されたベクトルが格納されている 手順 1. 検索ステップ ◦ クエリ埋め込みを量子化し、量子化されたドキュメントのデータベース に対してベクトル検索 ◦ K件より多めに取ってくる 2. リランキング ◦ 量子化する前のクエリ埋め込みと、量子化されたドキュメントとで内積 を再計算しリランキング
12. TopK検索の実験結果 • BinaryはTop400をリランキング • Scalar (int8) はリランキング無し
13. リランキングの実験結果 Binary Quantization • リランキング無しでは 92.53% • リランキングすると 96.45%（検索での件数を100〜1000にしても変化なし）
14. リランキングの実験結果 Scalar (int8) Quantization 400件 1000件 リランキング無し
15. 速度の実験結果（次元数1024） • Binary Quantization: Faiss (Version 1.8.0) • Scalar (int8) Quantization: USearch (Version 2.9.2)
16. まとめ 話さなかったこと • Binary と Scalar (int8) のハイブリットな方法 See Section “Combining Binary and Scalar Quantization”