GPU NW BoF JANOG 55 (2025/1/24) Sho Shimizu, Preferred Networks, Inc.

2 はじめに ● GPU クラスタのネットワークは最近のホットトピックの1つ ● 携わる機会が限られ、議論や情報交換をする場も少ない GPU クラスタに関わる人で議論や情報交換を行いたい

3 ● Kernel bypass する GPU 間通信ではマルチテナンシーの課題がある ○ NIC での何らかの機能サポートが不可欠 ■ VLAN Switch Tagging, Open vSwitch hardware offload, etc. LINEヤフーさんの NVIDIA AI Summit での発表 ● マルチテナンシーを可能にする設計として Open vSwitch を使った構成 ● 性能を追求するための Mellanox NIC による hardware offload GPU 間通信とマルチテナンシー

4 ● GPUクラスタでのマルチテナンシー ○ 検討している？していない？ ● 技術としての OVS hardware offload ○ どのくらいの人が実際に使っているか ○ どのような使い方をしているか ○ 利用するときの注意点や課題 とっかかりのトピック