Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
GPU NW BoF / JANOG 55
Search
Preferred Networks
PRO
January 23, 2025
Technology
1
120
GPU NW BoF / JANOG 55
JANOG 55 の GPU NW BoF (2025/1/24) でのPreferred Networksのスライドです。
Preferred Networks
PRO
January 23, 2025
Tweet
Share
More Decks by Preferred Networks
See All by Preferred Networks
Deploying PLaMo 2 with vLLM: A Practical Guide / vLLM roundup Community Meetup Tokyo
pfn
PRO
1
350
New Cache Hierarchy for Container Images and OCI Artifacts in Kubernetes Clusters using Containerd / KubeCon + CloudNativeCon Japan
pfn
PRO
0
230
Preferred Networks金融チームのご紹介
pfn
PRO
3
1.7k
KubeCon + CloudNativeCon Europe 2025 Recap: The GPUs on the Bus Go 'Round and 'Round / Kubernetes Meetup Tokyo #70
pfn
PRO
0
260
LLMの開発と社会実装の今と未来 / AI Builders' Community (ABC) vol.2
pfn
PRO
3
630
PFN Company Deck
pfn
PRO
1
5.2k
EDRからERM: PFN-SIRTが関わるセキュリティとリスクへの取り組み
pfn
PRO
2
420
深層学習と3Dキャプチャ・3Dモデル生成(土木学会応用力学委員会 応用数理・AIセミナー)
pfn
PRO
3
770
KubeCon NA 2024 Recap: Distributed Cache Empowers AI/ML Workloads on Kubernetes Cluster / Kubernetes Meetup Tokyo #68
pfn
PRO
1
160
Other Decks in Technology
See All in Technology
スタートアップに選択肢を 〜生成AIを活用したセカンダリー事業への挑戦〜
nstock
0
280
【LT会登壇資料】TROCCO新コネクタ「スマレジ」を活用した直営店データの分析
kazari0425
1
170
VS CodeとGitHub Copilotで爆速開発!アップデートの波に乗るおさらい会 / Rapid Development with VS Code and GitHub Copilot: Catch the Latest Wave
yamachu
2
340
QuickSight SPICE の効果的な運用戦略~S3 + Athena 構成での実践ノウハウ~/quicksight-spice-s3-athena-best-practices
emiki
0
260
ClaudeCodeにキレない技術
gtnao
0
520
ソフトウェアテストのAI活用_ver1.25
fumisuke
1
550
ゼロからはじめる採用広報
yutadayo
3
1k
ロールが細分化された組織でSREは何をするか?
tgidgd
1
200
LLM時代の検索
shibuiwilliam
2
640
「クラウドコスト絶対削減」を支える技術—FinOpsを超えた徹底的なクラウドコスト削減の実践論
delta_tech
4
190
モニタリング統一への道のり - 分散モニタリングツール統合のためのオブザーバビリティプロジェクト
niftycorp
PRO
1
340
クラウド開発の舞台裏とSRE文化の醸成 / SRE NEXT 2025 Lunch Session
kazeburo
1
450
Featured
See All Featured
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.8k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
126
53k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
Typedesign – Prime Four
hannesfritz
42
2.7k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.4k
Faster Mobile Websites
deanohume
307
31k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
BBQ
matthewcrist
89
9.7k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
5.9k
Rebuilding a faster, lazier Slack
samanthasiow
83
9.1k
Into the Great Unknown - MozCon
thekraken
40
1.9k
Measuring & Analyzing Core Web Vitals
bluesmoon
7
510
Transcript
GPU NW BoF JANOG 55 (2025/1/24) Sho Shimizu, Preferred Networks,
Inc.
2 はじめに • GPU クラスタのネットワークは最近のホットトピックの1つ • 携わる機会が限られ、議論や情報交換をする場も少ない GPU クラスタに関わる人で議論や情報交換を行いたい
3 • Kernel bypass する GPU 間通信ではマルチテナンシーの課題がある ◦ NIC での何らかの機能サポートが不可欠
▪ VLAN Switch Tagging, Open vSwitch hardware offload, etc. LINEヤフーさんの NVIDIA AI Summit での発表 • マルチテナンシーを可能にする設計として Open vSwitch を使った構成 • 性能を追求するための Mellanox NIC による hardware offload GPU 間通信とマルチテナンシー
4 • GPUクラスタでのマルチテナンシー ◦ 検討している?していない? • 技術としての OVS hardware offload
◦ どのくらいの人が実際に使っているか ◦ どのような使い方をしているか ◦ 利用するときの注意点や課題 とっかかりのトピック