第19回Kernel/VM＠東京 「甘えててェ・・・」

Kimi K3を強引な最適化でV100 1枚で動かす話

Transcript

1. 甘えててェ・・・ Kernel/VM探検隊 nilpe 1
2. 名前 所属 好き 前回 自己紹介 nilpe 筑波大学 情報理工学位プログラム M1 バイク / カーネル / 黒魔術 「さぁV100、メモリをお食べ・・・」 (Kernel/VM@関西 12回目) 今日はその続き。前回メモリを食べさせた V100の甘えを取り上げます アイコンは実家の犬です 2
3. Open Weighted SOTA といえば Kimi K3 Image: moonshotai/Kimi-K3 (Hugging Face) 3
4. Kimi K3 のアーキテクチャ パラメータ エキスパート レイヤー 重みサイズ 2.8T (MoE) 896 個中 16 アクティブ 93 1.56 TB Figure: M. Grootendorst, "A Visual Guide to Mixture of Experts (MoE)" 「Fable級」と言われたら、使いたいよね 4
5. LLMの力に甘えたい タイミング、あるよね 5
6. 研究室にある資源 Image: NVIDIA (V100 datasheet) — 写真はSXM2版、実機はPCIe版32GB GPU VRAM 載せたい重み 載る割合 Tesla V100-PCIE-32GB × 1 32 GiB 1.56 TB < 2% 6
7. VRAMに載らないから 諦める？ それは甘え 7
8. ふつうのNVMeオフロード Figure: Qureshi et al., BaM (arXiv:2203.04910), Fig. 3a NVMeからひたすら読み出して GPUに行列を食わせる 間に CPUとかいう謎の装置 がお手伝いしている 8
9. GPUの甘えですよね → 真にGPUだけで推論をやってみよう 9
10. BaM: Big accelerator Memory Figure: Qureshi et al., BaM (arXiv:2203.04910), Fig. 1 NVMe の SQ/CQ を GPUのVRAM上 に置く GPUカーネルが NVMe コマンドを直発行、完了もGPUがポーリング 論文の主張: 特に細粒度アクセスで性能が出る MoEのエキスパート読みはまさに細粒度 10
11. プログラミングレイヤーからは バカでかメモリ空間に見える 2TBのメモリ空間を 手に入れた (生NVMe 2本、ファイルシステムなし) 11
12. じゃあ、推論をやってみよう 実測 (中間のみ ▶▶8x) 12
13. うーん、遅いね！ 23.7 s/token 13
14. ところで こんな面倒なことをせずにメモリを拡張する手段があって Intel Optane っていうんですけど Image: Lenovo Press — DDR4 DIMM (上) と Optane PMem (下)。DIMMスロットに挿さる 14
15. Optane をキャッシュにする devdax でエキスパートキャッシュ 492 GiB GPUが mapped PMem を gather カーネルでゼ ロコピー読み VRAM 32 GiB dense層 常駐 + staging Optane PMem 492 GiB エキスパートキャッシュ (ヒット率 ~61%) 生NVMe ×2 = 2 TB 全重み 1.56 TB (ファイルシステムなし、BaMで直読み) 15
16. 最適化 Expertストライプ: エキスパートID偶奇で2ドライブに再配置 → 2コントローラ 50.9 / 49.1 で並列 NVMe + PMem 多重化: fetch と gather を別ストリームで重ねる そのままだとポーラーが餓死 → stream priority で fetch を昇格 Speculative Decoding (DSpark): ドラフトモデルが下書き→本体 が1パスでまとめて検証 → 重み読みをブロック全体で償却。confidence head で受理見込み長に切り詰め 16
17. やったら動いた！ 最適化後の本番構成で64トークン生成の実測。TTFT 52 s / 64 tok÷297.5 s = 4.6 s/token 最初 23.7 s/token 最終 4.6 s/token 改善 5.1× 17
18. ヨシ！ 4.6s/Tok！ うーん、渋い！ けど、動くことが大切なのでいっか！ 18
19. 最後に Claude Code に 甘えまくって 作りました 19
20. おしまい (人間が)甘えててェ・・・ 20