SageMaker Hyperpod 101 #regrowth_sapporo

Transcript

1. 2024/12/12 re:Growth 2024 札幌 たかくに SageMaker HyperPod 101
2. ⾃⼰紹介 • 部署 ◦ AWS 事業本部コンサルティング部 • 名前（ニックネーム） ◦ たかくに • ロール ◦ ソリューションアーキテクト • re:Invent どうだった？ ◦ 楽しかった！が釣りタイトル踏んでしまう
3. オーバーしたらごめんなさい❤
4. re:Invent 2024 どうでしたか？
5. re:Invent 2024 どうでしたか？？
6. re:Invent 2024 どうでしたか？？？
7. SageMaker HyperPod すごかったですね！！！！！！！！
8. Dr. Swami’s Key Note
9. Dr. Swami’s Key Note
10. Dr. Swami’s Key Note
11. Dr. Swami’s Key Note
12. Dr. Swami’s Key Note
13. Dr. Swami’s Key Note
14. SageMaker HyperPod すごかったですね！！！！！！！！
15. 問題です
16. re:Invent 2023 の Dr.Swami は 何枚⽬でしたでしょう？
17. 正解：2枚⽬
18. そうです。 2023年に出てきたサービスです。
19. • ⼤規模な⾔語モデルの推論や分散並列学習を ⾏うプラットフォーム • Slurm と EKS オーケストレーターをサポート • 回復⼒のあるプラットフォームを提供 SageMaker HyperPod
20. モデルにわたす データセット、トークン、パラメータ
21. でかい！！！！！！！！！！！
22. SageMaker HyperPod
23. 安定した機械学習ワークロードを 提供するように設計されている AWS ParallelCluster と⽐べて
24. SageMaker HyperPod のここがすごい • クラスターヘルスチェック ◦ 起動中やワーカーノード追加前にヘルスチェック ▪ GPU, Trainium, EFA ▪ EKS の場合はハードウェアまで確認 • ⾃動ノード復旧/再開 ◦ 障害を検知しノードを交換 ◦ 新規ノードはチェックポイントから⾃動で再開
25. やっと、アップデート紹介です。
26. • EKS のみサポート • 起動しているインスタンス/タスクの可視化 ◦ GPU の使⽤率、使⽤時間等 • クラスターポリシーを使い統制可能に Amazon SageMaker HyperPod task governance
27. Amazon SageMaker HyperPod task governance
28. • 利⽤可能なコンピュートサイズ、期間を予約 する機能 • 予約期間は1⽇から182⽇まで1⽇単位で設定 • 安くなるわけではない Amazon SageMaker HyperPod flexible training plans
29. Amazon SageMaker HyperPod flexible training plans