さぁV100、メモリをお食べ・・・

Persistent MemoryをGPUから使う方法

Transcript

1. さぁV100、メモリをお食べ・・・ KERNEL/VM探検隊@関西 12回目 NILPE(@NILPE_LV01)
2. 自己紹介 nilpeと申します！ バイクとカーネルと黒魔術が好きな 筑波大学 情報理工学位プログラム M1 初発表です ↑インターネットコミュ障のアカウント アイコンは実家の犬です
3. メモリが足りない！ 最近、メモリが売られなくなりつつありますよね その他のパーツも高騰 of 高騰
4. 「古い」GPUを有効活用したい 研究室に転がってるV100（PCIe）で遊びたい でもVRAMが32GB ””””ぽっち””””しかない VRAM外のメモリに退避したい！ ↑画像はnvidia公式より
5. 私の言う「メモリ」とは Intel Optane Persistent Memoryのこと（生産終了済み）
6. つかいかた ・Openして ・mmap（）して ・cudaHostRegister()するだけ
7. おもむろに こういうコードを書く↓ best = 0 for size in 二分探索(2 MiB ... 探索上限): if cudaHostRegister(base, size) が成功: best = size cudaHostUnregister(base) 次はもっと大きい size を試す else: 次はもっと小さい size を試す Pmemの実装量とbest を表示する
8. 実行すると あれぇ・・・？ ↑DRAM実装量-４GBしか登録できてない
9. どうやら CUDAランタイムでホストDRAMの実装量を見ているらしい →LD_PRELOADでごまかす
10. やりなおす あれぇ・・・？ ② ↑システムメモリ実装量分しか登録できてない（4GB増えた）
11. nVIDIAドライバを書き換える
12. 512GBごとにRegisterする
13. 結果
14. 帯域幅
15. できた！！！ ご清聴ありがとうございました Github→https://github.com/nilpe/pmem-gpu- devdax