Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
tofuconf_15_tomokazu
Search
yayoimizuha
March 18, 2023
Programming
0
47
tofuconf_15_tomokazu
yayoimizuha
March 18, 2023
Tweet
Share
Other Decks in Programming
See All in Programming
オブジェクトしこう
okuramasafumi
2
130
Understanding Ast By Looking
inouehi
0
120
Deno に Web 標準 API を実装する / Implementing Web Standard API to Deno
petamoriken
0
350
DocC Tutorial と TCA におけるテスト機能の紹介
kalupas226
1
330
DDDはなぜ難しいのか / 良いコードの定義と設計能力の壁
pospome
24
6.7k
マイクロサービスがほしいと思ったときに本当に必要だったもの〜なぜ人は共通基盤の夢を見るのか〜 / why microservice
77web
5
980
Crafting a Own PHP - ウキウキ手作りミニマリストPHP
uzulla
4
1.1k
【KMC春合宿2024】実装視点で見るNeural Radiance Fields
runningoutrate
0
150
せっかくモデル図描くのなら、嬉しいことが多い方がいいよね!
kuboaki
1
1.2k
Honoとhtmx
yusukebe
6
1.2k
15分間でふんわり理解するDocker @ Matsuriba MAX
ukwhatn
PRO
1
330
IntelliJ IDEA を知らなかった 自分に教えたい小ネタ集 / IntelliJ IDEA Hints for My Past Self
mackey0225
3
150
Featured
See All Featured
Happy Clients
brianwarren
91
6.3k
Six Lessons from altMBA
skipperchong
19
2.9k
Building Better People: How to give real-time feedback that sticks.
wjessup
350
18k
What's in a price? How to price your products and services
michaelherold
236
11k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
657
120k
Producing Creativity
orderedlist
PRO
335
39k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
11
1.4k
We Have a Design System, Now What?
morganepeng
42
6.7k
The Invisible Side of Design
smashingmag
293
49k
Thoughts on Productivity
jonyablonski
57
3.8k
Writing Fast Ruby
sferik
619
59k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
1
1.2k
Transcript
GPUの使えるGitHub Actions的 なやつが欲しい! 自分の説明できることはすべて自明に感じられるし、 説明できないことは当然LTの内容にも含められない から何発表すればいいかめっちゃ迷うな
そもそものモチベーションは? 10年物のMellanox ConnectX-3 VPI (InfiniBand FDRと40GbEに対応していて、 もともと家でMPIの勉強目的に購入したもの) ファイルサーバーが欲しい。 ↓ 買うと高いので作る。
↓ Ryzenマシンを改造して作る。 ↓ PCIeスロットが空いてる!けしからん! ↓ GPUを刺す。 ファンレス製品ですが、ファン必須です。
↑SSD(WD Red)のリード理論値 1.6GB/s(12.8Gbps) 理論値の大体80%くらい 出ている。 ファイルサーバーとしての運用はこんな感じ ETHモードでRoCE v1で接続で きるはず... ↑iperf3
実効83%
普通のSambaサーバーとの違い • 標準のsmbdではなくksmbdを利用 • ksmbdはLinux kernelに拡張として組み込んで使うSmabaサーバー • SMB DirectというRDMAを使ったファイルコピーが可能。 •
CPUを介さずにデータをコピーできるので、リソースを食わずにストレージの理 論値の速度を出せる利点がある。レイテンシーも低い。 https://blogs.nvidia.co.jp/2020/06/04/what-is-rdma/ Windows 10 HomeのSambaクライアントではRDMAを使う ことはできないため、大学でWindows 10 Proライセンスを 借りて検証してみるつもり。 https://github.com/cifsd-team/ksmbd ファイルサーバーの紹介はここまで...
アイドルオタクが一度は考える、 顔分類モデルを作りたい!! • ブログのスクレイピング • 顔だけ切り抜いて水平になるように回転 • 手作業で分類 • 学習!!
機械学習はRAM,CPU,GPU,ストレージの 総合格闘技なので、金がかかってしょう がない。 パソコンでやるとストレージがす ぐ埋まるし、学習回してる間何も できない!! そうだ!GPU刺した ファイルサーバーに やらせればええやん!!
でも、ファイルサーバーにそのまま色々インストールすると 環境破壊が激しくてサーバー初期化する羽目になりそう... だけど仮想マシンを毎回ちまちまセットアップするのは面倒... 普段使ってるGitHub Actions みたいに使えれば 便利そう!!!!!!!!!!
TailScaleはいいぞ • 以下の3つを使ってGitリポジトリ、CIサーバーを建てる。 • とても簡単。 TailScaleはほんとにすごい。今までありがとうSoftEther VPN.
こんな感じに、pushしたら自動でCDしてくれる。 これ自体はGitHub Actionsと大して変わらんね。
GPUが使える!!! 使用制限無し!!! 最高!!!!!!!
余談、最近のnginxはhttp(s)だけじゃなくて tcp通信であれば何でもリーバスプロキシ刺せるらしい。 これはTailScaleで持ってきたSSHポートをnginxで公開してる図。 (Gitのアクセスに必要なので。)