Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
GPU NW BoF / JANOG 55
Search
Preferred Networks
PRO
January 23, 2025
Technology
1
140
GPU NW BoF / JANOG 55
JANOG 55 の GPU NW BoF (2025/1/24) でのPreferred Networksのスライドです。
Preferred Networks
PRO
January 23, 2025
Tweet
Share
More Decks by Preferred Networks
See All by Preferred Networks
Kubernetes における cgroup v2 でのOut-Of-Memory 問題の解決
pfn
PRO
0
470
Preferred Networks (PFN) とLLM Post-Training チームの紹介 / 第4回 関東Kaggler会 スポンサーセッション
pfn
PRO
1
340
AIベンダーにおけるAIセキュリティ・ガバナンスへの取組
pfn
PRO
1
98
オフィス環境及び機械学習向けKubernetesクラスタでのAkamai SIA(DNS ファイアウォール)活用事例
pfn
PRO
0
100
Deploying PLaMo 2 with vLLM: A Practical Guide / vLLM roundup Community Meetup Tokyo
pfn
PRO
1
470
New Cache Hierarchy for Container Images and OCI Artifacts in Kubernetes Clusters using Containerd / KubeCon + CloudNativeCon Japan
pfn
PRO
0
290
Preferred Networks金融チームのご紹介
pfn
PRO
4
2k
KubeCon + CloudNativeCon Europe 2025 Recap: The GPUs on the Bus Go 'Round and 'Round / Kubernetes Meetup Tokyo #70
pfn
PRO
0
310
LLMの開発と社会実装の今と未来 / AI Builders' Community (ABC) vol.2
pfn
PRO
3
740
Other Decks in Technology
See All in Technology
Kubernetes における cgroup driver のしくみ: runwasi の bugfix より
z63d
2
250
react-callを使ってダイヤログをいろんなとこで再利用しよう!
shinaps
1
210
共有と分離 - Compose Multiplatform "本番導入" の設計指針
error96num
1
220
5年目から始める Vue3 サイト改善 #frontendo
tacck
PRO
3
200
複数サービスを支えるマルチテナント型Batch MLプラットフォーム
lycorptech_jp
PRO
0
230
AI開発ツールCreateがAnythingになったよ
tendasato
0
110
Obsidian応用活用術
onikun94
1
430
開発者を支える Internal Developer Portal のイマとコレカラ / To-day and To-morrow of Internal Developer Portals: Supporting Developers
aoto
PRO
1
410
2025年にHCP Vaultを学び直して見えた景色 / Lessons and New Perspectives from Relearning HCP Vault in 2025
aeonpeople
0
220
Automating Web Accessibility Testing with AI Agents
maminami373
0
1.1k
「全員プロダクトマネージャー」を実現する、Cursorによる仕様検討の自動運転
applism118
0
150
AWSを利用する上で知っておきたい名前解決のはなし(10分版)
nagisa53
9
2.7k
Featured
See All Featured
Intergalactic Javascript Robots from Outer Space
tanoku
272
27k
The Art of Programming - Codeland 2020
erikaheidi
55
13k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
12
1.1k
Navigating Team Friction
lara
189
15k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3k
We Have a Design System, Now What?
morganepeng
53
7.8k
Typedesign – Prime Four
hannesfritz
42
2.8k
Building a Modern Day E-commerce SEO Strategy
aleyda
43
7.5k
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
Done Done
chrislema
185
16k
Context Engineering - Making Every Token Count
addyosmani
1
17
Building an army of robots
kneath
306
46k
Transcript
GPU NW BoF JANOG 55 (2025/1/24) Sho Shimizu, Preferred Networks,
Inc.
2 はじめに • GPU クラスタのネットワークは最近のホットトピックの1つ • 携わる機会が限られ、議論や情報交換をする場も少ない GPU クラスタに関わる人で議論や情報交換を行いたい
3 • Kernel bypass する GPU 間通信ではマルチテナンシーの課題がある ◦ NIC での何らかの機能サポートが不可欠
▪ VLAN Switch Tagging, Open vSwitch hardware offload, etc. LINEヤフーさんの NVIDIA AI Summit での発表 • マルチテナンシーを可能にする設計として Open vSwitch を使った構成 • 性能を追求するための Mellanox NIC による hardware offload GPU 間通信とマルチテナンシー
4 • GPUクラスタでのマルチテナンシー ◦ 検討している?していない? • 技術としての OVS hardware offload
◦ どのくらいの人が実際に使っているか ◦ どのような使い方をしているか ◦ 利用するときの注意点や課題 とっかかりのトピック