Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
tofuconf_15_tomokazu
Search
yayoimizuha
March 18, 2023
Programming
0
54
tofuconf_15_tomokazu
yayoimizuha
March 18, 2023
Tweet
Share
Other Decks in Programming
See All in Programming
Swift Concurrency - 状態監視の罠
objectiveaudio
2
520
バッチ処理を「状態の記録」から「事実の記録」へ
panda728
PRO
0
150
Railsだからできる 例外業務に禍根を残さない 設定設計パターン
ei_ei_eiichi
0
720
いま中途半端なSwift 6対応をするより、Default ActorやApproachable Concurrencyを有効にしてからでいいんじゃない?
yimajo
2
410
株式会社 Sun terras カンパニーデック
sunterras
0
290
dynamic!
moro
10
7.7k
kiroとCodexで最高のSpec駆動開発を!!数時間で web3ネイティブなミニゲームを作ってみたよ!
mashharuki
0
170
Go Conference 2025: Goで体感するMultipath TCP ― Go 1.24 時代の MPTCP Listener を理解する
takehaya
9
1.7k
Catch Up: Go Style Guide Update
andpad
0
220
Writing Better Go: Lessons from 10 Code Reviews
konradreiche
0
1.2k
All About Angular's New Signal Forms
manfredsteyer
PRO
0
140
Django Ninja による API 開発効率化とリプレースの実践
kashewnuts
0
1.3k
Featured
See All Featured
Optimising Largest Contentful Paint
csswizardry
37
3.4k
The Illustrated Children's Guide to Kubernetes
chrisshort
49
51k
Designing for Performance
lara
610
69k
Building Applications with DynamoDB
mza
96
6.7k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
46
7.7k
Java REST API Framework Comparison - PWX 2021
mraible
33
8.9k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
55
3k
Context Engineering - Making Every Token Count
addyosmani
6
240
Imperfection Machines: The Place of Print at Facebook
scottboms
269
13k
Why You Should Never Use an ORM
jnunemaker
PRO
59
9.6k
The Power of CSS Pseudo Elements
geoffreycrofte
79
6k
Transcript
GPUの使えるGitHub Actions的 なやつが欲しい! 自分の説明できることはすべて自明に感じられるし、 説明できないことは当然LTの内容にも含められない から何発表すればいいかめっちゃ迷うな
そもそものモチベーションは? 10年物のMellanox ConnectX-3 VPI (InfiniBand FDRと40GbEに対応していて、 もともと家でMPIの勉強目的に購入したもの) ファイルサーバーが欲しい。 ↓ 買うと高いので作る。
↓ Ryzenマシンを改造して作る。 ↓ PCIeスロットが空いてる!けしからん! ↓ GPUを刺す。 ファンレス製品ですが、ファン必須です。
↑SSD(WD Red)のリード理論値 1.6GB/s(12.8Gbps) 理論値の大体80%くらい 出ている。 ファイルサーバーとしての運用はこんな感じ ETHモードでRoCE v1で接続で きるはず... ↑iperf3
実効83%
普通のSambaサーバーとの違い • 標準のsmbdではなくksmbdを利用 • ksmbdはLinux kernelに拡張として組み込んで使うSmabaサーバー • SMB DirectというRDMAを使ったファイルコピーが可能。 •
CPUを介さずにデータをコピーできるので、リソースを食わずにストレージの理 論値の速度を出せる利点がある。レイテンシーも低い。 https://blogs.nvidia.co.jp/2020/06/04/what-is-rdma/ Windows 10 HomeのSambaクライアントではRDMAを使う ことはできないため、大学でWindows 10 Proライセンスを 借りて検証してみるつもり。 https://github.com/cifsd-team/ksmbd ファイルサーバーの紹介はここまで...
アイドルオタクが一度は考える、 顔分類モデルを作りたい!! • ブログのスクレイピング • 顔だけ切り抜いて水平になるように回転 • 手作業で分類 • 学習!!
機械学習はRAM,CPU,GPU,ストレージの 総合格闘技なので、金がかかってしょう がない。 パソコンでやるとストレージがす ぐ埋まるし、学習回してる間何も できない!! そうだ!GPU刺した ファイルサーバーに やらせればええやん!!
でも、ファイルサーバーにそのまま色々インストールすると 環境破壊が激しくてサーバー初期化する羽目になりそう... だけど仮想マシンを毎回ちまちまセットアップするのは面倒... 普段使ってるGitHub Actions みたいに使えれば 便利そう!!!!!!!!!!
TailScaleはいいぞ • 以下の3つを使ってGitリポジトリ、CIサーバーを建てる。 • とても簡単。 TailScaleはほんとにすごい。今までありがとうSoftEther VPN.
こんな感じに、pushしたら自動でCDしてくれる。 これ自体はGitHub Actionsと大して変わらんね。
GPUが使える!!! 使用制限無し!!! 最高!!!!!!!
余談、最近のnginxはhttp(s)だけじゃなくて tcp通信であれば何でもリーバスプロキシ刺せるらしい。 これはTailScaleで持ってきたSSHポートをnginxで公開してる図。 (Gitのアクセスに必要なので。)