tofuconf_15_tomokazu

Transcript

1. GPUの使えるGitHub Actions的
   なやつが欲しい！
   自分の説明できることはすべて自明に感じられるし、
   説明できないことは当然LTの内容にも含められない
   から何発表すればいいかめっちゃ迷うな
   

   View Slide

2. そもそものモチベーションは？
   10年物のMellanox ConnectX-3 VPI
   (InfiniBand FDRと40GbEに対応していて、
   もともと家でMPIの勉強目的に購入したもの)
   ファイルサーバーが欲しい。
   ↓
   買うと高いので作る。
   ↓
   Ryzenマシンを改造して作る。
   ↓
   PCIeスロットが空いてる！けしからん！
   ↓
   GPUを刺す。
   ファンレス製品ですが、ファン必須です。
   

   View Slide

3. ↑SSD(WD Red)のリード理論値
   1.6GB/s(12.8Gbps)
   理論値の大体80%くらい
   出ている。
   ファイルサーバーとしての運用はこんな感じ
   ETHモードでRoCE v1で接続で
   きるはず...
   ↑iperf3 実効83%
   

   View Slide

4. 普通のSambaサーバーとの違い
   • 標準のsmbdではなくksmbdを利用
   • ksmbdはLinux kernelに拡張として組み込んで使うSmabaサーバー
   • SMB DirectというRDMAを使ったファイルコピーが可能。
   • CPUを介さずにデータをコピーできるので、リソースを食わずにストレージの理
   論値の速度を出せる利点がある。レイテンシーも低い。
   https://blogs.nvidia.co.jp/2020/06/04/what-is-rdma/
   Windows 10 HomeのSambaクライアントではRDMAを使う
   ことはできないため、大学でWindows 10 Proライセンスを
   借りて検証してみるつもり。
   https://github.com/cifsd-team/ksmbd
   ファイルサーバーの紹介はここまで．．．
   

   View Slide

5. アイドルオタクが一度は考える、
   顔分類モデルを作りたい！！
   • ブログのスクレイピング
   • 顔だけ切り抜いて水平になるように回転
   • 手作業で分類
   • 学習！！ 機械学習はRAM,CPU,GPU,ストレージの
   総合格闘技なので、金がかかってしょう
   がない。
   パソコンでやるとストレージがす
   ぐ埋まるし、学習回してる間何も
   できない！！
   そうだ！GPU刺した
   ファイルサーバーに
   やらせればええやん！！
   

   View Slide

6. でも、ファイルサーバーにそのまま色々インストールすると
   環境破壊が激しくてサーバー初期化する羽目になりそう...
   だけど仮想マシンを毎回ちまちまセットアップするのは面倒...
   普段使ってるGitHub Actions
   みたいに使えれば
   便利そう!!!!!!!!!!
   

   View Slide

7. TailScaleはいいぞ
   • 以下の3つを使ってGitリポジトリ、CIサーバーを建てる。
   • とても簡単。
   TailScaleはほんとにすごい。今までありがとうSoftEther VPN.
   

   View Slide

8. こんな感じに、pushしたら自動でCDしてくれる。
   これ自体はGitHub Actionsと大して変わらんね。
   

   View Slide

9. GPUが使える！！！
   使用制限無し！！！
   最高！！！！！！！
   

   View Slide

10. 余談、最近のnginxはhttp(s)だけじゃなくて
    tcp通信であれば何でもリーバスプロキシ刺せるらしい。
    これはTailScaleで持ってきたSSHポートをnginxで公開してる図。
    (Gitのアクセスに必要なので。)
    

    View Slide