Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
GPU NW BoF / JANOG 55
Search
Preferred Networks
PRO
January 23, 2025
Technology
1
150
GPU NW BoF / JANOG 55
JANOG 55 の GPU NW BoF (2025/1/24) でのPreferred Networksのスライドです。
Preferred Networks
PRO
January 23, 2025
Tweet
Share
More Decks by Preferred Networks
See All by Preferred Networks
PLaMoの事後学習を支える技術 / PFN LLMセミナー
pfn
PRO
9
3.8k
Optuna DashboardにおけるPLaMo2連携機能の紹介 / PFN LLM セミナー
pfn
PRO
1
870
PLaMo2シリーズのvLLM実装 / PFN LLM セミナー
pfn
PRO
2
970
Function calling機能をPLaMo2に実装するには / PFN LLMセミナー
pfn
PRO
0
910
Optuna MCPサーバ開発 - AI Engineering Decoded #10
pfn
PRO
4
280
Kubernetes における cgroup v2 でのOut-Of-Memory 問題の解決
pfn
PRO
0
540
Preferred Networks (PFN) とLLM Post-Training チームの紹介 / 第4回 関東Kaggler会 スポンサーセッション
pfn
PRO
1
420
AIベンダーにおけるAIセキュリティ・ガバナンスへの取組
pfn
PRO
1
130
オフィス環境及び機械学習向けKubernetesクラスタでのAkamai SIA(DNS ファイアウォール)活用事例
pfn
PRO
0
120
Other Decks in Technology
See All in Technology
AIが書いたコードをAIが検証する!自律的なモバイルアプリ開発の実現
henteko
1
340
Why Governance Matters: The Key to Reducing Risk Without Slowing Down
sarahjwells
0
100
OCI Network Firewall 概要
oracle4engineer
PRO
1
7.8k
extension 現場で使えるXcodeショートカット一覧
ktombow
0
210
KAGのLT会 #8 - 東京リージョンでGAしたAmazon Q in QuickSightを使って、報告用の資料を作ってみた
0air
0
200
Why React!?? Next.jsそしてReactを改めてイチから選ぶ
ypresto
10
4.4k
AIAgentの限界を超え、 現場を動かすWorkflowAgentの設計と実践
miyatakoji
0
130
英語は話せません!それでも海外チームと信頼関係を作るため、対話を重ねた2ヶ月間のまなび
niioka_97
0
110
リーダーになったら未来を語れるようになろう/Speak the Future
sanogemaru
0
280
SoccerNet GSRの紹介と技術応用:選手視点映像を提供するサッカー作戦盤ツール
mixi_engineers
PRO
1
170
組織観点からIAM Identity CenterとIAMの設計を考える
nrinetcom
PRO
1
170
M5製品で作るポン置きセルラー対応カメラ
sayacom
0
140
Featured
See All Featured
Side Projects
sachag
455
43k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
33
2.5k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
35
3.2k
Imperfection Machines: The Place of Print at Facebook
scottboms
269
13k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
188
55k
Balancing Empowerment & Direction
lara
4
680
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
How to Ace a Technical Interview
jacobian
280
23k
A designer walks into a library…
pauljervisheath
209
24k
How GitHub (no longer) Works
holman
315
140k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
132
19k
Testing 201, or: Great Expectations
jmmastey
45
7.7k
Transcript
GPU NW BoF JANOG 55 (2025/1/24) Sho Shimizu, Preferred Networks,
Inc.
2 はじめに • GPU クラスタのネットワークは最近のホットトピックの1つ • 携わる機会が限られ、議論や情報交換をする場も少ない GPU クラスタに関わる人で議論や情報交換を行いたい
3 • Kernel bypass する GPU 間通信ではマルチテナンシーの課題がある ◦ NIC での何らかの機能サポートが不可欠
▪ VLAN Switch Tagging, Open vSwitch hardware offload, etc. LINEヤフーさんの NVIDIA AI Summit での発表 • マルチテナンシーを可能にする設計として Open vSwitch を使った構成 • 性能を追求するための Mellanox NIC による hardware offload GPU 間通信とマルチテナンシー
4 • GPUクラスタでのマルチテナンシー ◦ 検討している?していない? • 技術としての OVS hardware offload
◦ どのくらいの人が実際に使っているか ◦ どのような使い方をしているか ◦ 利用するときの注意点や課題 とっかかりのトピック