UNTIL._LT_0x07

UNTIL. LT #0x07で発表したスライド

Transcript

1. やどかり祭で使う売上予測モデルを構築する 情報科学類1年 須田楽大
2. やどかり祭 で使う売上予測モデル を構築する FP8 training はいいぞ 情報科学類1年 須田楽大
3. 自己紹介 すでぃー @sudy_super さくらる @sakurarru
4. 人間の三大欲求 • 食欲 • 睡眠欲 • 言語モデル学習欲
5. fp8ってなんですか？
6. Transformer Engine • fp8学習時 ◦ モデルのパラメータは高精度で保持 ◦ 計算時にfp8にAutocast ▪ 計算時に全体でスケーリングすると精度が死ぬ ▪ Tensorごとに個別の Scaling係数を保持して個別に変換 ↑嬉しくない！面倒！
7. Transformer Engine • fp8学習時 ◦ モデルのパラメータは高精度で保持 ◦ 計算時にfp8にAutocast ▪ 計算時に全体でスケーリングすると精度が死ぬ ▪ Tensorごとに個別の Scaling係数を保持して個別に変換 ↑嬉しくない！面倒！ こいつらを自動でやってくれる！！！
8. インストールしてみる
9. うごかない
10. インストールできた！が ... • 書くのが死ぬほどめんどくさい • 書くのが死ぬほどめんどくさい • 書くのが死ぬほどめんどくさい etc.
11. 都合がいいもの発見 NVIDIA/NeMo
12. スゴイ (H100/200 限定)
13. スゴイ (H100/200 限定)
14. スゴイ (H100/200 限定)
15. 宣伝