Upgrade to Pro — share decks privately, control downloads, hide ads and more …

tofuconf_15_tomokazu

 tofuconf_15_tomokazu

yayoimizuha

March 18, 2023
Tweet

Other Decks in Programming

Transcript

  1. GPUの使えるGitHub Actions的
    なやつが欲しい!
    自分の説明できることはすべて自明に感じられるし、
    説明できないことは当然LTの内容にも含められない
    から何発表すればいいかめっちゃ迷うな

    View Slide

  2. そもそものモチベーションは?
    10年物のMellanox ConnectX-3 VPI
    (InfiniBand FDRと40GbEに対応していて、
    もともと家でMPIの勉強目的に購入したもの)
    ファイルサーバーが欲しい。

    買うと高いので作る。

    Ryzenマシンを改造して作る。

    PCIeスロットが空いてる!けしからん!

    GPUを刺す。
    ファンレス製品ですが、ファン必須です。

    View Slide

  3. ↑SSD(WD Red)のリード理論値
    1.6GB/s(12.8Gbps)
    理論値の大体80%くらい
    出ている。
    ファイルサーバーとしての運用はこんな感じ
    ETHモードでRoCE v1で接続で
    きるはず...
    ↑iperf3 実効83%

    View Slide

  4. 普通のSambaサーバーとの違い
    • 標準のsmbdではなくksmbdを利用
    • ksmbdはLinux kernelに拡張として組み込んで使うSmabaサーバー
    • SMB DirectというRDMAを使ったファイルコピーが可能。
    • CPUを介さずにデータをコピーできるので、リソースを食わずにストレージの理
    論値の速度を出せる利点がある。レイテンシーも低い。
    https://blogs.nvidia.co.jp/2020/06/04/what-is-rdma/
    Windows 10 HomeのSambaクライアントではRDMAを使う
    ことはできないため、大学でWindows 10 Proライセンスを
    借りて検証してみるつもり。
    https://github.com/cifsd-team/ksmbd
    ファイルサーバーの紹介はここまで...

    View Slide

  5. アイドルオタクが一度は考える、
    顔分類モデルを作りたい!!
    • ブログのスクレイピング
    • 顔だけ切り抜いて水平になるように回転
    • 手作業で分類
    • 学習!! 機械学習はRAM,CPU,GPU,ストレージの
    総合格闘技なので、金がかかってしょう
    がない。
    パソコンでやるとストレージがす
    ぐ埋まるし、学習回してる間何も
    できない!!
    そうだ!GPU刺した
    ファイルサーバーに
    やらせればええやん!!

    View Slide

  6. でも、ファイルサーバーにそのまま色々インストールすると
    環境破壊が激しくてサーバー初期化する羽目になりそう...
    だけど仮想マシンを毎回ちまちまセットアップするのは面倒...
    普段使ってるGitHub Actions
    みたいに使えれば
    便利そう!!!!!!!!!!

    View Slide

  7. TailScaleはいいぞ
    • 以下の3つを使ってGitリポジトリ、CIサーバーを建てる。
    • とても簡単。
    TailScaleはほんとにすごい。今までありがとうSoftEther VPN.

    View Slide

  8. こんな感じに、pushしたら自動でCDしてくれる。
    これ自体はGitHub Actionsと大して変わらんね。

    View Slide

  9. GPUが使える!!!
    使用制限無し!!!
    最高!!!!!!!

    View Slide

  10. 余談、最近のnginxはhttp(s)だけじゃなくて
    tcp通信であれば何でもリーバスプロキシ刺せるらしい。
    これはTailScaleで持ってきたSSHポートをnginxで公開してる図。
    (Gitのアクセスに必要なので。)

    View Slide