Trn3 UltraServer

Transcript

1. AWS Neuron chiaoi
2. Trainium / Inferentia - Inf1 - Inf2 - Trn1 - Trn2 - Trn3 GA NEW!! AWS Event YouTube
3. Trn2 と Trn3：何が変わった ?（トポロジー編）
4. モデルの構造の変化：dense から MoE https://arxiv.org/pdf/2101.03961 dense MoE
5. dense https://arxiv.org/pdf/2101.03961 FFNが重い（大きすぎて1チップに乗らない） → 複数のチップに分割して配置をする 各チップが担当部分を計算する 計算結果をまとめて全チップで共有 → AllReduce（隣接通信）の繰り返し
6. MoE https://arxiv.org/pdf/2101.03961 FFNを複数用意する → チップごとにFFNを用意 （2チップで一つとかもあり） 各TokenがRouterによってどのExpert の元にいくか決定される （重要なFFNだけ計算） → 任意のチップ間通信が行われる → 計算する部分が一部になるので高速 結果を元のチップに送る → 任意のチップ間通信が行われる
7. trn2u.48xlarge 縦 4つの Ring構造 横 4つの Ring構造 　で合わせて16チップ 2D Torus 公式ドキュメント
8. Trn2 UltraServer trn2u.48xlarge ×4 　　　　の Ring構造（z軸） 　　　で64個のチップ 3D Torus 公式ドキュメント
9. Trn2 UltraServer 隣接しているチップ同士の通信は 高速。 （z方向は他より2倍遅い） AllReduceは速い （隣に順々に巡っていけばよい） 任意のチップ間通信は遅い （最悪ケースは早くとも6ホップ） 公式ドキュメント
10. Trn3 UltraServer Trn3チップ4つで1つのサーバー サーバー内はNeuronSwitch-v1で　　　　　 接続されている 36個のサーバー同士は 　NeuronSwitch-v1で接続されている All-to-All 公式ドキュメント
11. Trn3 UltraServer チップ → L1スイッチ → L2スイッチ → L1スイッチ → 他のサーバーのチップ この通信が高速になるように → 任意のチップ間が均して速い 公式ドキュメント
12. Trn3 UltraServer のメリット MoEのアルゴリズム - RouterがどのExpertを使用するか計算する - 任意のチップ間通信がたくさん行われる チップ間の通信が速いと嬉しい。 　　→ 常に高速で通信できる All to all の接続が生きる。 　　→ denseにも対応できる 注意) 最悪ケースがボトルネックになるので均一に速いことが重要