Upgrade to Pro — share decks privately, control downloads, hide ads and more …

tofuconf_15_tomokazu

 tofuconf_15_tomokazu

yayoimizuha

March 18, 2023
Tweet

Other Decks in Programming

Transcript

  1. そもそものモチベーションは? 10年物のMellanox ConnectX-3 VPI (InfiniBand FDRと40GbEに対応していて、 もともと家でMPIの勉強目的に購入したもの) ファイルサーバーが欲しい。 ↓ 買うと高いので作る。

    ↓ Ryzenマシンを改造して作る。 ↓ PCIeスロットが空いてる!けしからん! ↓ GPUを刺す。 ファンレス製品ですが、ファン必須です。
  2. 普通のSambaサーバーとの違い • 標準のsmbdではなくksmbdを利用 • ksmbdはLinux kernelに拡張として組み込んで使うSmabaサーバー • SMB DirectというRDMAを使ったファイルコピーが可能。 •

    CPUを介さずにデータをコピーできるので、リソースを食わずにストレージの理 論値の速度を出せる利点がある。レイテンシーも低い。 https://blogs.nvidia.co.jp/2020/06/04/what-is-rdma/ Windows 10 HomeのSambaクライアントではRDMAを使う ことはできないため、大学でWindows 10 Proライセンスを 借りて検証してみるつもり。 https://github.com/cifsd-team/ksmbd ファイルサーバーの紹介はここまで...
  3. アイドルオタクが一度は考える、 顔分類モデルを作りたい!! • ブログのスクレイピング • 顔だけ切り抜いて水平になるように回転 • 手作業で分類 • 学習!!

    機械学習はRAM,CPU,GPU,ストレージの 総合格闘技なので、金がかかってしょう がない。 パソコンでやるとストレージがす ぐ埋まるし、学習回してる間何も できない!! そうだ!GPU刺した ファイルサーバーに やらせればええやん!!