隣の芝は茶色いか ~ NUMA システムのメモリのレイテンシ / NUMA memory latency

隣の芝は茶色いか ~ NUMA システムのメモリのレイテンシ / NUMA memory latency

会社の LT 会で発表した、 NUMA システムのメモリのレイテンシを計測した件のプレゼンテーションです。

計測ツールは https://github.com/umezawatakeshi/numa_memory_latency にあります。

Transcript

  1. 8.
  2. 17.

    測定機材 • Dual Xeon E5-2630L v2 – Ivy Bridge EP

    – 6C12T – Base 2.4GHz, TB 2.8GHz – L1D$: 32KiB/core – L2$: 256KiB/core – L3$: 15MiB/socket • たまたま手の届く範囲にこれがあっただけ
  3. 18.

    測定上の注意 • このハードの管理者ではないので、 – サーバとしての製品名は知らない – EIST や TB や

    HT などをオフにすることもできない • このホストを占有できてはいないので、 – 他のプログラム(特にデーモン)が全く走っていな い状態で計測できているわけではない • 非常にザックリした測定であることに注意
  4. 19.

    測定結果 対象 レイテンシ L1キャッシュ (32KiB/core) ~1.6ns L2キャッシュ (256KiB/core) ~7.0ns L3キャッシュ

    (LLC) (15MB/socket) ~18ns ローカルノードの メインメモリ ~90ns リモートノードの メインメモリ ~190ns
  5. 21.

    オマケ:よく分からないこと • L1 のレイテンシは CPU0 より CPU1 の方が小 さかった •

    L2 のレイテンシは計測誤差程度だった • L3 のレイテンシも CPU0 より CPU1 の方が小 さかった • 何回測っても同じ傾向になる • 計測手法に若干の問題がある可能性…?