GPU NW BoF / JANOG 55

JANOG 55 の GPU NW BoF (2025/1/24) でのPreferred Networksのスライドです。

Transcript

1. GPU NW BoF JANOG 55 (2025/1/24) Sho Shimizu, Preferred Networks, Inc.
2. 2 はじめに • GPU クラスタのネットワークは最近のホットトピックの1つ • 携わる機会が限られ、議論や情報交換をする場も少ない GPU クラスタに関わる人で議論や情報交換を行いたい
3. 3 • Kernel bypass する GPU 間通信ではマルチテナンシーの課題がある ◦ NIC での何らかの機能サポートが不可欠 ▪ VLAN Switch Tagging, Open vSwitch hardware offload, etc. LINEヤフーさんの NVIDIA AI Summit での発表 • マルチテナンシーを可能にする設計として Open vSwitch を使った構成 • 性能を追求するための Mellanox NIC による hardware offload GPU 間通信とマルチテナンシー
4. 4 • GPUクラスタでのマルチテナンシー ◦ 検討している？していない？ • 技術としての OVS hardware offload ◦ どのくらいの人が実際に使っているか ◦ どのような使い方をしているか ◦ 利用するときの注意点や課題 とっかかりのトピック