QLoRA: Efficient Finetuning of Quantized LLMs

■イベント
NeurIPS 2023 論文読み会
https://lycorptech-jp.connpass.com/event/302510/

■発表者
技術本部 研究開発部 Data Analysisグループ
齋藤 慎一朗

■対象論文
QLoRA: Efficient Finetuning of Quantized LLMs
https://arxiv.org/abs/2305.14314

■研究開発職 採用情報
https://media.sansan-engineering.com/randd

■Sansan Tech Blog
https://buildersbox.corp-sansan.com/

Transcript

1. QLoRA: Efficient Finetuning of Quantized LLMs Sansan株式会社 研究開発部 齋藤 慎⼀朗 NeurIPS 2023 論⽂読み会
2. ⾃⼰紹介 齋藤慎⼀朗 研究員 東北⼤学⼤学院⼯学研究科博⼠前期課程修了。⽇系SIerや 外資系IT企業で、電⼒・保険・製薬など多様な業界に対する、 機械学習を⽤いたシステムの提案やPoC・開発・保守運⽤に 従事。現在は、サービス改善のために、請求書データ化技術 の開発を担当。 (旧Twitter) @sinchir0 Virtual Card
3. - QLoRAは、性能を維持しながら、48GBのGPUで65Bのパラメータモデル をfine-tuning可能な効率的な⼿法である。 - ３つの⼿法で実現されている。 - 4-bit NormalFloat: 正規分布の重みに最適な新しいデータ型である。 - Double Quantization: 量⼦化定数を更に量⼦化することでメモリを削減する。 - Paged Optimizers: メモリスパイクを防ぐ。 - Guanaco(QLoRAを⽤いたChatbot)は、Vicunaベンチマークにおいて、 GPU1つを⽤いたfine-tuningを24時間を⾏い、ChatGPTの性能の99.3%に 達する。 1ページでまとめ
4. 前提知識
5. - LoRA(Low-Rank Adaptation) - 量⼦化 前提知識
6. - 課題 - ⼤規模⾔語モデルで保存/最適化するパラメータを減らしたい - ⼿法 - ベースモデルの線形層の隣にΔ𝑊 = 𝐵𝐴（ Adapter層 ）を追加す る。 - ベースモデルの線形層は凍結する。 - Δ𝑊 = 𝐵𝐴のみ Fine Tuningし、結果を⾜す - 結果 - Full Fine Tuningと⽐較して、 > 学習パラメータ数を削減した > 性能は同等である - 推論コストが増加しない LoRA(Low-Rank Adaptation) Figure 1(Edward et al., 2021)
7. - QLoRA論⽂内での数式 - 𝑌 = 𝑋𝑊 + 𝑠𝑋𝐿! 𝐿" > 𝑋𝑊 ∈ 𝑌 𝑤𝑖𝑡ℎ 𝑋 ∈ ℝ!×#, 𝑊 ∈ ℝ#×$ > 𝐿% ∈ ℝ#×&, 𝐿' ∈ ℝ&×$ > 𝑠は定数 - 注: LoRA論⽂(Edward et al., 2021)のFIgure 1とは 変数名が異なる LoRA(Low-Rank Adaptation) 𝒐 Figure 1(Edward et al., 2021) ⼀部改変 𝑾 ∈ ℝ𝒉×𝒐 𝒉 𝑳𝟏 𝑳𝟐 𝑿 𝒀 𝒃
8. - Adapterはメモリをほぼ使⽤しないため、多くのAdapterを使⽤しても メモリ的な問題は発⽣しない。 LoRA(Low-Rank Adaptation) Figure 6
9. - QLoRA論⽂内での説明（32bit → 8bitする例） - Block-wise k-bit Quantization(量⼦化) > X()*+ = round %', -./0-1 2$%&' X345' = round(c345' 6 X345') - 𝑐は定数 - 8bitの範囲は[-127, 127] - Dequantization(量⼦化を元に戻す) > dequant c345', X()*+ = 2()*+ 6$%&' = X345' 量⼦化
10. 課題・⽬的
11. - LLaMAの65Bの16ビットファインチューニングには、780GB以上のGPU メモリが必要である。 - 最近の量⼦化⼿法はLLMのメモリを削減することができる。 - それらの⼿法は推論にのみ有効であり、学習中に破綻する。 課題
12. - 量⼦化された4ビットモデルを性能劣化なしにfine- tuneできることを初めて実証する。 - 注：ここで量⼦化するのは元のモデルである。 - 𝑌 = 𝑋𝑊 + 𝑠𝑋𝐿! 𝐿" でいうと 𝑊 の部分を量⼦化する。 - 𝐿! , 𝐿" の部分はメモリをあまり利⽤していないため、ス コープ外である。 ⽬的 𝒐 Figure 1(Edward et al., 2021) ⼀部改変 𝑾 ∈ ℝ𝒉×𝒐 𝒉 𝑳𝟏 𝑳𝟐 𝑿 𝒀 𝒃
13. ⼿法
14. ⼿法の全体図
15. - 4-bit NormalFloat - Double Quantization - Paged Optimizers ⼿法
16. - 正規分布に基づくデータに対して情報理論的に最適な量⼦化データ型であ る。 - Quantile Quantization(Dettmers et al., 2022)に基づく。 - 各ビンが⼊⼒テンソルから割り当てられる値の数が等しい。 - ブロック単位での量⼦化アプローチを⾏う。 > 外れ値の影響が低減される。 > 正規化を各コアで独⽴して計算可能である。 - pretrained neural networkの重みは⼀般的に標準偏差σを持つ0中⼼の正規 分布を持っているため、4-bit NormalFloat が有効である。 4-bit NormalFloat
17. - ⼿順 1. 標準正規分布N(0, 1) を27 + 1個に量⼦化するための閾値を決め、[-1, 1]に正規化する。 2. ⼊⼒重みテンソルを[−1, 1]の範囲に正規化する。 3. 2で得られた結果を、1で決めた閾値を⽤いて量⼦化する。 - ⼿順1における閾値を決める⽅法 - 隣接する⼆つの量⼦位置の平均を取る。 - 𝑞8 = % ' (𝑄9 8 ',:% + 𝑄9( 8:% ',:% )) > 𝑞# : 𝑖番⽬の量⼦値 > 𝑄$ :標準正規分布の量⼦関数 > 𝑘: 量⼦化に使⽤されるビット数 4-bit NormalFloat
18. - メモリを節約するために、量⼦化定数を更に量⼦化する。 - 例えば、32bitの量⼦化定数をblocksize（パラメータ）が64の 𝑊 に対して 利⽤する場合、32bit分はメモリが必要になる。パラメータあたりの追加 のメモリは32/64 = 0.5bitである。 - Double Quantizationを利⽤すると、パラメータあたりの追加のメモリは 8/64 + 32/(64・256) = 0.127ビットとなり、パラメータあたり0.5 - 0.127 = 0.373ビットの削減となる。 Double Quantization
19. ⁃ ページング ⁃ コンピュータにおけるメモリ管理技術の1つであり、補助記憶装置にデータを 格納し、あるいは取り出す⾏為 ※ ⁃ NVIDIA unified memoryを利⽤する際、optimizerのメモリをGPUとCPUの 間でページングすることで、GPUのメモリ不⾜を回避する。 ⁃ GPUがメモリ不⾜になったときに⾃動的にCPU RAMに退避され、 optimizerの更新ステップでメモリが必要になったときに再びGPUメモリ にページングされる。 Paged Optimizers ※ 引⽤元: https://www.sompocybersecurity.com/column/glossary/paging
20. QLoRA(全体) - LoRA(再掲) - Y = XW + sXL! L" - LoRAにdata typeを追記 - 𝑌&'!( = 𝑋&'!(𝑊&'!( + s𝑋&'!(𝐿! &'!(𝐿" &'!( - QLoRA - Y)*!( = X)*!(doubleDequant(c! *+,", c" -./01, W2*3) + X)*!(L! )*!(L" )*!( > doubleDequant 𝑐% ;<5', 𝑐' 7=!8>, 𝑊7=!8> = dequant dequant 𝑐% ;<5', 𝑐' 7=!8> , 𝑊?!8> = 𝑊@;%A 差分はここだけ
21. 結果
22. QLoRA vs Standard Finetuning - QLoRA(4bit)は、16bitのモデルと同等の性能 Figure 2
23. QLoRA vs Standard Finetuning - Stanford-Alpaca = llama-7b + LoRA - Stanford-Alpacaは、RougeLにおいて ⼗分な性能が でない。 - Alpaca(Ours)は、Stanford-Alpacaに対し、全ての linear transformer blockでLoRAを⾏い、性能が出る ことを確認した。 - このことから、LoRAの最も重要なhyper parameterは、LoRA adaptersを合計何個使うかで あることを発⾒した。 Figure 2
24. 4-bit NormalFloatは4-bit Floating Pointよりも性能が良い Figure 3 Table 2 DQ = Double Quantization
25. k-bit QLoRA は16-bit full finetuning, 16-bit LoRAの 性能を再現可能 Table 3
26. - Table 3のRoBERTaやT5はモデルサイズが125M~3Bなので、 より⼤きなモデルでも性能が落ちないことを確かめた。 より⼤きなモデルでも性能を再現可能 Table 4
27. - Guanaco = OASST1(ChatBotのSoTA)をQLoRAでinstruction tuning - Mean列はVicunaというbenchmarkに対して、ChatGPTの性能を100%と した時の性能である。 - 65BのモデルをMemory41GBで学習でき、その性能は99.3%でChatGPT とほぼ同等である。 QLoRAでSoTAなChatbotを学習する Table 6(抜粋)
28. まとめ・感想
29. - QLoRAは、性能を維持しながら、48GBのGPUで65Bのパラメータモデル をfine-tuning可能な効率的な⼿法である。 - ３つの⼿法で実現されている。 - 4-bit NormalFloat: 正規分布の重みに最適な新しいデータ型である。 - Double Quantization: 量⼦化定数を更に量⼦化することでメモリを削減する。 - Paged Optimizers: メモリスパイクを防ぐ。 - Guanaco(QLoRAを⽤いたChatbot)は、Vicunaベンチマークにおいて、 GPU1つを⽤いたfine-tuningを24時間を⾏い、ChatGPTの性能の99.3%に 達する。 1ページでまとめ（再掲）
30. - 誰でもLLMのFine-Tuningが可能な時代になりました。 - メモリのボトルネックを調査し、その部分に限定して量⼦化を⾏うことで メモリ削減を実現しており、スマートだなと感じた。 - LoRAに対して、性能を維持した状態で、メモリがどれだけ減るのかの 検証が（おそらくないため）欲しかった。 感想
31. 実際に動くの？ ※ 引⽤元:https://note.com/npaka/n/na7c631175111 - Google Colaboratoryで、Llama-2-7Bを、ござるデータセットを⽤いて ファインチューニング可能 - A100: 1000ステップを20分 - T4: 1000ステップを50分