ITインフラの液体冷却

2026/2/27に、RECRUIT TECH CONFERENCE 2026で発表した関の資料になります。

Transcript

1. RECRUIT TECH CONFERENCE 2026 ITインフラの液体冷却 インフラが熱い！ 高速化を支える水冷の『最前線』 昨年のインフラセッションの内容を受けて、我々はどのような選択をしたか プロダクトディベロップメント室 関 竜輔
2. 関 竜輔 原動機付きの乗り物全般、HPC、などなど 経歴 / Career 2023年にリクルートに新卒入社。 リクルートのプライベートクラウドであるRAFTELの 技術検証・構築、その中でも特にサーバ、ストレージ、 ネットワークを担当 最近は専ら液体冷却環境/オンプレミスAI基盤の 検討に携わっている 趣味 / Hobbies プロダクトディベロップメント室 プロダクトインフラユニット インフラストラクチャエンジニアリング部 インフラストラクチャエンジニアリンググループ
3. Agenda 1. RECRUIT TECH CONFERENCE 2025で話したこと 2. それ以降の検討状況 3. 我々の(現時点においての)選択 4. まとめ
4. Agenda 1. RECRUIT TECH CONFERENCE 2025で話したこと 2. それ以降の検討状況 3. 我々の(現時点においての)選択 4. まとめ
5. 昨年話した内容の振り返り • リクルートのオンプレインフラを液冷化したい。 ◦ サーバの熱量が年々急速に増大 → サーバの集約効率は向上も、サーバラックの集約にはつながっていない現状の打破 ◦ GHG削減を意識してPUEの良化をしたい ◦ GPUサーバなどの発熱量の多いインフラに空冷では耐えられない • 各種液冷方式 ◦ Rear Door Heat Exchanger (RDHX) ◦ Direct Liquid Cooling (DLC) ◦ Immersion Cooling ◦ それぞれの組み合わせ
6. Rear Door Heat Exchanger（RDHX） 冷気 暖気 冷気 冷気 通常の空冷ラックにおいては、 室温の空気を吸気し、 サーバの熱とともに大気排出する。 リアドア冷却の場合、マシンルームへ排気する前に ラックの後部で気体の冷却を行う。(上図破線部分) リアドア冷却は一般的に液体によって行うため、 マシンルームには水冷配管を要するが、 サーバ本体は空冷用のものを利用可能 チラーとの冷却水の交換
7. Direct Liquid Cooling（DLC） 各コンポーネントへ 液体を当てて冷却 Coolant Distribution Unit (CDU) 直接液体冷却 (Direct Liquid Cooling: DLC) はベンダー各社によって対応状況が異な り、CPUのみ液体冷却が可能・100％をDLCにて熱除去可能などさまざまである。 サーバへクーラント を送る管 ラックとチラーの間にCDUを挟んで CDUで熱交換を制御する。
8. Immersion Cooling 液槽 CDU 1. 温められたクーラントは 液槽内で上方に集まり、 液槽から排出されてCDUへ向かう。 2. CDUはチラーから送られてきた 1次冷却水と熱交換を行う。 液槽から送られてきたクーラントは CDUで冷却され、再度液槽へ向かう チラー 下図は単相式の例
9. 昨年時点の検討状況 • 何も決まっていなかった ◦ やりたいモチベだけあった • どうせ液冷をやるならば100％DLC or 液浸冷却が良かった → RECRUIT TECH CONFERENCE 2025から丁度1年が経ち、 　 結果としてどういう選択をしたか、お話しします。
10. Agenda 1. RECRUIT TECH CONFERENCE 2025で話したこと 2. それ以降の検討状況 3. 我々の(現時点においての)選択 4. まとめ
11. 液冷の導入検討 1. 液浸はコロケーションだと難しい a. 消防法の観点 b. 耐荷重とメンテナンスの観点 2. 我々の規模の事業者での液冷検討の肝は可用性 a. CDU障害によって配下のサーバが全部止まるリスク (≒ToRのエッジスイッチ障害とほぼ同様の障害範囲) 3. 現時点でCPUサーバの液冷化にコストメリットはない → 液冷のコロケーション費用が圧倒的に高いから 4. GPUサーバを今からオンプレで持つ場合、液冷を検討しないという選択肢はない → 空冷ラックへの収容が困難な熱量となってしまっているから
12. Agenda 1. RECRUIT TECH CONFERENCE 2025で話したこと 2. それ以降の検討状況 3. 我々の(現時点においての)選択 4. まとめ
13. 導入しました。
14. 導入しました。 Lenovo SD665 V3 x1 (3月に増設予定) Lenovo SD665-N V3 x4 CDU Lenovo DW612S x2
15. • 完全水冷・ファンレス • クーラントはPG25ではなく純水系 • Neptuneの実機を見学した際、表示されているpPUE*が1.018だった 水冷サーバ (Lenovo Neptune) pPUE = 1.018 全コンポーネントが液体冷却可能 * pPUE: 特定の系における電力効率の指標。1に近い程優れる。
16. • 完全水冷・ファンレス • クーラントはPG25ではなく純水系 • Neptuneの実機を見学した際、表示されているpPUE*が1.018だった 水冷サーバ (Lenovo Neptune) pPUE = 1.018 * pPUE: 特定の系における電力効率の指標。1に近い程優れる。 全コンポーネントが液体冷却可能
17. CDU • Lenovoで標準採用しているCDUの耐障害性が我々の要件を満たしていなかった。 ◦ この構成で使わせて欲しいと各方面にお願いし、協業関係を構築した • コントロールユニット、ポンプ、PSUなど、ほぼすべての可動部がホットスワップ対応 • In-Rack CDUでここまでやれている製品を他に知らない → 後は筐体間冗長...
18. CDU • Lenovoで標準採用しているCDUの耐障害性が我々の要件を満たしていなかった。 ◦ この構成で使わせて欲しいと各方面にお願いし、協業関係を構築した • コントロールユニット、ポンプ、PSUなど、ほぼすべての可動部がホットスワップ対応 • In-Rack CDUでここまでやれている製品を他に知らない → 後は筐体間冗長... コントロールユニット (冗長) ポンプ (冗長)
19. 水冷設備の導入についてのあれこれ • DC現地でのDIY感溢れる作業 ◦ 床下配管用耐圧ホースの本数が足りず、長めに用意している部分を切って現地調達 ◦ 継手を買いに業務用ホームセンターへ行く ◦ バケツと雑巾を買いにホームセンターへ行く ◦ モンキーレンチを買いにホームセンターへ行く → DCのそばにホームセンターは必須 • 初物、あるいは初めての組み合わせを使うことによる苦労 ◦ Lenovoのラックのマウントアングルが厚すぎてCDUがラッキングできない ◦ 手持ちのケージナット（取付具）がLenovoのラックに入らない ◦ マニホールドが干渉して背面吸気のNW機器がラックには入らない など
20. 水冷設備の導入についてのあれこれ 現地でホースをカット 接続して無事に注水 ホース本数が足りず...
21. Agenda 1. RECRUIT TECH CONFERENCE 2025で話したこと 2. それ以降の検討状況 3. 我々の(現時点においての)選択 4. まとめ
22. まとめ • リクルートでは100% DLCサーバを導入した。 • 液浸など、他の液体冷却手法の情報収集・検討についても引き続き実施している • 皆で密に情報交換しながら液冷業界・技術を発展させていきましょう！ → 情報交換の希望がある方はアンケートでその旨を是非ご記載ください。 皆で液冷業界を盛り上げていきましょう！