【ShowNet 2026 展示会場内説明スライド】エナジー

ShowNetで探る、水冷インフラの実装可能性

・ShowNet初、水冷スイッチと水冷サーバが示す新しい冷却のかたち
・高発熱時代のネットワーク/サーバ冷却を考える

Transcript

1. エナジー 1
2. 液冷の必要性 ➢熱密度の劇的な上昇 ✓サーバー用CPU/GPUの消費電力増加に伴い発熱量・消費電力が ともに急増 ✓GPUによる学習等で従来よりも広帯域 (400G/800G/1.6Tbps) な ネットワークが不可欠 ➢空冷の限界 ✓空気は液体に比べて熱を伝える効率（熱容量）が低く高発熱な 熱源（チップなど）を冷やせない or 膨大な電力が必要 液冷導入には、空冷とは異なる構成・運用ノウハウが不可欠 2
3. ShowNetでの取り組み ➢3系統の液冷（水冷）システムを構築 ➢今年のShowNetでは機器の冷却液に純水とPG25（水75% 程度を含む）を利用しているため「水冷」として取り組み ✓今回の冷却対象機器は直接液冷 (DLC: Direct Liquid Cooling) 方式 • D-4ラック：Lenovo Neptune N1380 • D-5ラック：PFN MN-Core 2 DLC • D-6ラック：HPE QFX5250-64OE 3
4. トポロジー図での位置 4 該当機器には のアイコンがついています!
5. 水冷システム構成図 (cont’d) 5 CDU: Coolant Distribution Unit PG25: プロピレングリコール25% 冷水 温水 冷却水循環装置 （チラー） nidec-cdu-u01 (CDU) nidec-cdu-u07 (CDU) qfx5250-64oe-l n1380 冷却液：純水 冷却液：PG25 冷却液：PG25 冷却液：純水 二次側 一次側 mnc2dlc fhs-x440350 (CDU)
6. 水冷システム構成図 6 CDU: Coolant Distribution Unit PG25: プロピレングリコール25% 冷水 温水 冷却水循環装置 （チラー） nidec-cdu-u01 (CDU) nidec-cdu-u07 (CDU) qfx5250-64oe-l n1380 冷却液：純水 冷却液：PG25 冷却液：PG25 冷却液：純水 二次側 一次側 mnc2dlc fhs-x440350 (CDU) CDU 機器から戻ってきた温水と一次側 の冷水との間で熱交換 チラー 一次側の冷却水を冷やす装置 NOCラック裏側に隠れてます
7. D-4ラック 7 CDU: Coolant Distribution Unit PG25: プロピレングリコール25% 冷水 温水 冷却水循環装置 （チラー） nidec-cdu-u01 (CDU) nidec-cdu-u07 (CDU) qfx5250-64oe-l n1380 冷却液：純水 冷却液：PG25 冷却液：PG25 冷却液：純水 二次側 一次側 mnc2dlc fhs-x440350 (CDU) Lenovo Neptune N1380 Nidec CDU
8. D-5ラック 8 CDU: Coolant Distribution Unit PG25: プロピレングリコール25% 冷水 温水 冷却水循環装置 （チラー） nidec-cdu-u01 (CDU) nidec-cdu-u07 (CDU) qfx5250-64oe-l n1380 冷却液：純水 冷却液：PG25 冷却液：PG25 冷却液：純水 二次側 一次側 mnc2dlc fhs-x440350 (CDU) PFN MN-Core2サーバDLC チラー一体型CDU
9. D-6ラック 9 CDU: Coolant Distribution Unit PG25: プロピレングリコール25% 冷水 温水 冷却水循環装置 （チラー） nidec-cdu-u01 (CDU) nidec-cdu-u07 (CDU) qfx5250-64oe-l n1380 冷却液：純水 冷却液：PG25 冷却液：PG25 冷却液：純水 二次側 一次側 mnc2dlc fhs-x440350 (CDU) HPE QFX5250-64OE Nidec CDU (ORV3)
10. ORV3ラック (D-6) ➢OCP ORV3規格のラック（日東工業） を設置 ➢電源供給 ✓ラリタンのパワーシェルフからバスバー を経由したDC 48Vによる給電 ✓ORV3規格の機器 • QFX5250 (HPE) , CDU（ニデック）、Nexus 9348（シスコシステムズ） ➢19インチ規格機材の搭載 ✓Nexus 9348をORV3変換トレーに載せてマ ウント・バスバー給電 10 ORV3: Open Rack Version 3 パワーシェルフ Nexus9348 QFX5250 Nidec CDU ORV3
11. ORV3ラック：マニホールド ➢樹脂製マニホールド（ニフコ）を2本利用 （冷水・温水） ➢機器とマニホールドの接続はUQDB06 ✓機器を押し込むと水が流れ、離れると止まる 11 マニホールド UQDB06 QFX5250 マニホールド
12. 水冷システム可視化 ➢各機器の情報をまとめ、一つの系として可視化 ➢対象情報 ✓一次・二次側流量/水温/圧力、周辺気温・湿度、装置内漏水セン サー情報など ➢取得方法 ✓SNMPに加えてRedfish, Modubs TCPを利用 • Redfish：DMTFにより策定されたサーバ機器等を管理するためのREST API規格 • Modbus TCP：産業用ネットワークで広く利用されるModbusをTCP/IPネ ットワーク上で動作 12
13. 水冷システム可視化画面 13 D-5ラックのATEN KVMドロワーにて リアルタイム表示中
14. 漏水監視 ➢水冷システムでは装置・配管からの冷却液 漏水は死活問題 ➢漏水検知 ✓CDU、水冷サーバ/スイッチ内部に搭載された 漏水センサー ✓ロープ型漏水センサーをマニホールドからラ ック床面に敷設 ➢通知 ✓機器からのSNMP TrapをZabbixで受信 →Pagerduty経由で担当NOCへオンコール 14 漏水センサー
15. ラック裏二次側のサーモグラフィ 15 CDU 機器から 戻ってきた温水 機器へ向かう 冷水 CDU
16. 1.6Tイーサネット相互接続・負荷試験 ➢ORV3ラック搭載の QFX5250-64OE (HPE) と INPT-1600GE（キーサイト） ✓純正トランシーバとSiPhxトラ ンシーバ (OSFP224 RHS) を搭 載 ✓テスターとQFX間で常時双方 向1.6Tbpsトラフィック負荷試 験を実施中 ✓負荷試験中も空冷と比べてト ランシーバの温度が低く上昇 しにくい 16 >show interface diagonostics optics et-0/0/32 Module temperature: 36 degrees C Module temperature: 36 degrees C 負荷なし 負荷あり モジュール温度変化なし！（冷えてる） 液冷スイッチ (QFX5250-64OE) 1.6Tテスター (INPT-1600GE) 参考：空冷の1.6Tモジュールは約64℃で28℃低温！！
17. コントリビューター一覧 17