Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
tofuconf_15_tomokazu
Search
yayoimizuha
March 18, 2023
Programming
0
51
tofuconf_15_tomokazu
yayoimizuha
March 18, 2023
Tweet
Share
Other Decks in Programming
See All in Programming
TiDB Serverless ~理想のServerless DBを考える~
soso_15315
1
160
初心者がおさえておきたいAWS CDKのベストプラクティス 2024
konokenj
15
7.3k
CSC307 Lecture 08
javiergs
PRO
0
330
Prompt FlowによるLLMアプリケーション開発
yuto2000
1
1k
12年前の『型システム入門』翻訳の思い出話
mame
11
1.2k
Findy - エンジニア向け会社紹介 / Findy Letter for Engineers
findyinc
2
81k
Harnessing Large Language Models for Training-free Video Anomaly Detection
tereka114
1
1.3k
Namespace on read
tagomoris
2
370
CSC307 Lecture 05
javiergs
PRO
0
210
「2024年版 Kotlin サーバーサイドプログラミング実践開発」の補講 〜O/Rマッパー編〜
n_takehata
2
260
CSC307 Lecture 09
javiergs
PRO
1
500
Async Await: Mastering Python's Time-Bending Tricks - EuroPython2024
yanbo
1
290
Featured
See All Featured
Making the Leap to Tech Lead
cromwellryan
127
8.7k
Rebuilding a faster, lazier Slack
samanthasiow
78
8.5k
Embracing the Ebb and Flow
colly
81
4.3k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
34
1.9k
RailsConf 2023
tenderlove
16
720
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
353
29k
WebSockets: Embracing the real-time Web
robhawkes
59
7.2k
The Cost Of JavaScript in 2023
addyosmani
31
4.7k
Build your cross-platform service in a week with App Engine
jlugia
227
17k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
226
52k
Testing 201, or: Great Expectations
jmmastey
33
6.9k
Fireside Chat
paigeccino
25
2.8k
Transcript
GPUの使えるGitHub Actions的 なやつが欲しい! 自分の説明できることはすべて自明に感じられるし、 説明できないことは当然LTの内容にも含められない から何発表すればいいかめっちゃ迷うな
そもそものモチベーションは? 10年物のMellanox ConnectX-3 VPI (InfiniBand FDRと40GbEに対応していて、 もともと家でMPIの勉強目的に購入したもの) ファイルサーバーが欲しい。 ↓ 買うと高いので作る。
↓ Ryzenマシンを改造して作る。 ↓ PCIeスロットが空いてる!けしからん! ↓ GPUを刺す。 ファンレス製品ですが、ファン必須です。
↑SSD(WD Red)のリード理論値 1.6GB/s(12.8Gbps) 理論値の大体80%くらい 出ている。 ファイルサーバーとしての運用はこんな感じ ETHモードでRoCE v1で接続で きるはず... ↑iperf3
実効83%
普通のSambaサーバーとの違い • 標準のsmbdではなくksmbdを利用 • ksmbdはLinux kernelに拡張として組み込んで使うSmabaサーバー • SMB DirectというRDMAを使ったファイルコピーが可能。 •
CPUを介さずにデータをコピーできるので、リソースを食わずにストレージの理 論値の速度を出せる利点がある。レイテンシーも低い。 https://blogs.nvidia.co.jp/2020/06/04/what-is-rdma/ Windows 10 HomeのSambaクライアントではRDMAを使う ことはできないため、大学でWindows 10 Proライセンスを 借りて検証してみるつもり。 https://github.com/cifsd-team/ksmbd ファイルサーバーの紹介はここまで...
アイドルオタクが一度は考える、 顔分類モデルを作りたい!! • ブログのスクレイピング • 顔だけ切り抜いて水平になるように回転 • 手作業で分類 • 学習!!
機械学習はRAM,CPU,GPU,ストレージの 総合格闘技なので、金がかかってしょう がない。 パソコンでやるとストレージがす ぐ埋まるし、学習回してる間何も できない!! そうだ!GPU刺した ファイルサーバーに やらせればええやん!!
でも、ファイルサーバーにそのまま色々インストールすると 環境破壊が激しくてサーバー初期化する羽目になりそう... だけど仮想マシンを毎回ちまちまセットアップするのは面倒... 普段使ってるGitHub Actions みたいに使えれば 便利そう!!!!!!!!!!
TailScaleはいいぞ • 以下の3つを使ってGitリポジトリ、CIサーバーを建てる。 • とても簡単。 TailScaleはほんとにすごい。今までありがとうSoftEther VPN.
こんな感じに、pushしたら自動でCDしてくれる。 これ自体はGitHub Actionsと大して変わらんね。
GPUが使える!!! 使用制限無し!!! 最高!!!!!!!
余談、最近のnginxはhttp(s)だけじゃなくて tcp通信であれば何でもリーバスプロキシ刺せるらしい。 これはTailScaleで持ってきたSSHポートをnginxで公開してる図。 (Gitのアクセスに必要なので。)