Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
GPU NW BoF / JANOG 55
Search
Preferred Networks
PRO
January 23, 2025
Technology
1
120
GPU NW BoF / JANOG 55
JANOG 55 の GPU NW BoF (2025/1/24) でのPreferred Networksのスライドです。
Preferred Networks
PRO
January 23, 2025
Tweet
Share
More Decks by Preferred Networks
See All by Preferred Networks
Deploying PLaMo 2 with vLLM: A Practical Guide / vLLM roundup Community Meetup Tokyo
pfn
PRO
1
370
New Cache Hierarchy for Container Images and OCI Artifacts in Kubernetes Clusters using Containerd / KubeCon + CloudNativeCon Japan
pfn
PRO
0
250
Preferred Networks金融チームのご紹介
pfn
PRO
3
1.8k
KubeCon + CloudNativeCon Europe 2025 Recap: The GPUs on the Bus Go 'Round and 'Round / Kubernetes Meetup Tokyo #70
pfn
PRO
0
280
LLMの開発と社会実装の今と未来 / AI Builders' Community (ABC) vol.2
pfn
PRO
3
650
PFN Company Deck
pfn
PRO
1
5.6k
EDRからERM: PFN-SIRTが関わるセキュリティとリスクへの取り組み
pfn
PRO
2
450
深層学習と3Dキャプチャ・3Dモデル生成(土木学会応用力学委員会 応用数理・AIセミナー)
pfn
PRO
3
780
KubeCon NA 2024 Recap: Distributed Cache Empowers AI/ML Workloads on Kubernetes Cluster / Kubernetes Meetup Tokyo #68
pfn
PRO
1
170
Other Decks in Technology
See All in Technology
QAを早期に巻き込む”って どうやるの? モヤモヤから抜け出す実践知
moritamasami
2
170
AWS Well-Architected から考えるオブザーバビリティの勘所 / Considering the Essentials of Observability from AWS Well-Architected
sms_tech
1
810
室長の逆襲 :データ活用の陣地を増やすためのヒント
masatoshi0205
0
170
All About Sansan – for New Global Engineers
sansan33
PRO
1
1.2k
「現場で活躍するAIエージェント」を実現するチームと開発プロセス
tkikuchi1002
6
940
Railsの限界を超えろ!「家族アルバム みてね」の画像・動画の大規模アップロードを支えるアーキテクチャの変遷
ojima_h
2
210
データ駆動経営の道しるべ:プロダクト開発指標の戦略的活用法
ham0215
2
220
スプリントゴール未達症候群に送る処方箋
kakehashi
PRO
1
170
エンジニアリングマネージャー“お悩み相談”パネルセッション
ar_tama
1
550
Data Engineering Study#30 LT資料
tetsuroito
1
520
分散トレーシングによる コネクティッドカーのデータ処理見える化の試み
thatsdone
0
140
(HackFes)米国国防総省のDevSecOpsライフサイクルをAWSのセキュリティサービスとOSSで実現
syoshie
5
640
Featured
See All Featured
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
126
53k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
Git: the NoSQL Database
bkeepers
PRO
431
65k
The Language of Interfaces
destraynor
158
25k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
Side Projects
sachag
455
43k
Measuring & Analyzing Core Web Vitals
bluesmoon
7
520
The Invisible Side of Design
smashingmag
301
51k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Adopting Sorbet at Scale
ufuk
77
9.5k
The Straight Up "How To Draw Better" Workshop
denniskardys
235
140k
Visualization
eitanlees
146
16k
Transcript
GPU NW BoF JANOG 55 (2025/1/24) Sho Shimizu, Preferred Networks,
Inc.
2 はじめに • GPU クラスタのネットワークは最近のホットトピックの1つ • 携わる機会が限られ、議論や情報交換をする場も少ない GPU クラスタに関わる人で議論や情報交換を行いたい
3 • Kernel bypass する GPU 間通信ではマルチテナンシーの課題がある ◦ NIC での何らかの機能サポートが不可欠
▪ VLAN Switch Tagging, Open vSwitch hardware offload, etc. LINEヤフーさんの NVIDIA AI Summit での発表 • マルチテナンシーを可能にする設計として Open vSwitch を使った構成 • 性能を追求するための Mellanox NIC による hardware offload GPU 間通信とマルチテナンシー
4 • GPUクラスタでのマルチテナンシー ◦ 検討している?していない? • 技術としての OVS hardware offload
◦ どのくらいの人が実際に使っているか ◦ どのような使い方をしているか ◦ 利用するときの注意点や課題 とっかかりのトピック