“Cost-efficient and scalable ML-experiments in AWS with spot-instances, Kubernetes and Horovod” の紹介と感想

Transcript

1. “Cost-efficient and scalable ML-experiments in AWS with spot-instances, Kubernetes and

   Horovod” の紹介と感想 MLOps enthusiast, @keigohtr #MLCT

2. Today’s topic “Cost-efficient and scalable ML-experiments in AWS with spot-instances,

   Kubernetes and Horovod” について、ABEJA Platformの経験を踏まえて、ど こが良いと思ったかを紹介します 2

3. Who am I Keigo Hattori Software Engineer 3 2009.3 Tohoku

   Univ / M.S. (Information Science) 2009.4~2017.10 Fuji Xerox / ML Engineer (NLP), etc 2017.11~2019.5LINE / Senior Software Engineer / Clova 2019.6~2020.5 ABEJA / Software Engineer / Platform 2020.5~ ??? MLOps 大好きです！ @keigohtr

4. 機械学習に関わる仕事とは？ 4 学習 / Training 運用 / Operation

5. • データをどう持つか？ ◦ データセットはEBS、成果物はEFSを使うと良い • リソースとコストをどう最適化するか？ ◦ Spot Instancesを使うと良い •

   機械学習ジョブをどう実行するか？ ◦ Kubernetes Jobを使うと良い • 分散学習はどうするか？ ◦ Horovodを使うと良い Takeaways 5

6. データをどう持つか？ 6

7. AWSのストレージと特徴 7 S3 • 安い • 容量無限 • 堅牢性と可用性 が高い

   • ファイル単位でア クセス EFS • 高い • 容量無限 • Multi-AZ • 複数インスタンス からマウント可能 EBS • 安い (S3よりは高い) • 容量は事前申告 • 単一 AZ • 単一インスタンス からマウント可能

8. “学習” 作業ではデータをどう使うか？ 8 蓄積 DataLakeや DataWarehous S3 書き出し 学習結果を成果物と して保存する

   EFS 読み込み 学習に使うデータセッ トを読み込む EBS

9. “読み込み” にEBSを使う理由 9 学習における総実行時間が短縮できる • 機械学習（特に深層学習）では大量のデータを扱う = ファイル読み込みが多数発生する 他に選択肢がない •

   goofys等でS3をマウントするのは安定しないので論外 • EFSと比べて早い O ur Experience

10. “読み込み” にEBSを使うと辛い点 10 本当はこうしたい AZ AZ 学習ジョブ 学習データ O ur

    Experience しかし • EBSはSingle-AZなので Multi-AZなクラスタでマウ ントできない • EBSはk8s PVCで ReadWriteOnce

11. 文献 (Rosebud AI) ではどうしたか？ 11 • ジョブ毎にEBSを作成し、データセットをS3からコピーする • ジョブにマウントしたEBSはReadOnlyとして扱う •

    ジョブが完了したらEBSは廃棄するか、次のジョブで再利用する ◦ EBSを再利用するとデータセットのコピーが省略できる = 次のジョブをすぐに走らせられる

12. ABEJA Platformではどうしているか？ 12 • EBSを使わず、EFSを使っている ◦ EFSはMulti-AZかつMulti-attach ◦ ジョブがデータセットをS3からEFSにダウンロード ◦

    EFSのダウンロード先はデータセット毎に固定し、並列するジョブが協 力してデータセットをダウンロード ※ 学習時にデータセット読み込みが非常に遅いので、見直し中 O ur Experience

13. “書き込み” にEFSを使う理由 13 成果物のサイズが予想できない • モデルのサイズはパラメータ次第 • 何を成果物に含めるかはユーザー次第 （e.g. ログファイル、ログの内容、中間モデル）

    Disk fullでジョブが死ぬことを避けたい • 成果物のサイズが見積もれない（上記） • インスタンスで複数のジョブが同時に走ることもある = 他のユーザーのジョブでDisk fullになりうる O ur Experience

14. “書き込み” にEFSを使うと辛い点 14 • 気をつけないとクラウド破産する ◦ ユーザーはランニングコストを気にしない （容量は使えるだけ使う） ◦ 例えば、自然言語処理の場合、成果物が数十GBになることも。

    試行錯誤やバージョニングで積み重なると・・・ O ur Experience

15. 文献 (Rosebud AI) ではどうしたか？ 15 • 成果物はEFSに置く • チェックポイントを設けて中間出力をEFSに置く •

    ファイルはEFSの決められた場所に置く • 実験が中断したときに、中断したところから再開する • TensorBoardで各ジョブの結果を俯瞰できる

16. ABEJA Platformではどうしているか？ 16 （文献に加え） • EFSを定期的に掃除して、ランニングコストを下げる • EFS掃除で成果物をロストしないように、ジョブ完了後に成果物を圧縮して S3にアップロードする •

    （TensorBoardだけじゃなく、Jupyterも起動できる） O ur Experience

17. リソースとコストをどう最適化するか？ 機械学習ジョブをどう実行するか？ 17

18. やりたいこと • 可能な限りコストを抑え、しかし安定した計算クラスタを作る • スケーリングを自動化する ◦ 必要に応じてインスタンスが追加され、必要なければインスタンスが削 除されてほしい（スケールアウト、スケールイン） ◦ ↑をGPUサーバーでもやりたい

    • 可能な限り効率的に機械学習ジョブを実行する ◦ 計算クラスタに詰め込めるだけ詰め込みたい = ジョブのキューイングとスケジューリング 18

19. 文献 (Rosebud AI) ではどうしたか？(1/2) 19 • Spot Instancesを使った ◦ Spot

    Instancesで安価な計算資源を確保 ◦ EKSで計算クラスタを構築 • Kubernetes Jobを使った ◦ ジョブのキューイングとスケジューリングはk8s

20. 文献 (Rosebud AI) ではどうしたか？(2/2) 20 • Kubernetes Jobの突然死に対応した ◦ Spot

    Instancesのインスタンスは取り上げられることがある = KubernetesのJobが突然死する ◦ そこで、少なくとも10分に1度、チェックポイントとして学習の途中経過 をEFSに保存した ◦ Jobが失敗/突然死した場合、KubernetesはJobを再実行する ◦ JobはEFSを参照し、チェックポイントから学習を再開する

21. ABEJA Platformではどうしているか？(1/3) 21 • Spot Instancesを管理するSpotInstを利用した ◦ Ref: スポットインスタンスを効率的に管理するSpotinstを使おう O

    ur Experience

22. ABEJA Platformではどうしているか？(2/3) 22 • インスタンスに使うイメージを固定した ◦ ユーザーがどのCUDAを使うか分からないので、All-in-Oneな機械学 習用のAMIを使う • インスタンスの種類を固定した

    ◦ CPU/メモリをユーザーに選ばせると、インスタンスの利用効率（e.g. Podがうまくハマらない）が悪くなる = ランニングコストが悪くなる ◦ “インスタンスのスペック” ≒ ”Podのスペック” にした O ur Experience

23. ABEJA Platformではどうしているか？(3/3) 23 • ユーザーのコードはEFS上で動かした ◦ ユーザーのコードサイズが見積もれない = Disk fullで死ぬ可能性がある

    ◦ そこで、PodにEFSをマウントする ◦ EFS上にユーザーのコードをダウンロードし、実行する O ur Experience

24. 分散学習はどうするか？ 24

25. やりたいこと • 複数のGPUを使った分散学習をやりたい • ただし既存のコードはなるべく変更したくない 25

26. 文献 (Rosebud AI) ではどうしたか？(1/2) 26 • Horovodを採用した ◦ 複雑性を回避するため、複数のインスタンスは使わない ◦

    Multi-GPUを搭載したインスタンスで分散学習をする ◦ Horovodが提供するDocker Imageとサンプルコードが大変便利

27. 文献 (Rosebud AI) ではどうしたか？(2/2) 27 (Spot InstancesによるJobの突然死への対応として) • master-workerに以下を担当させた ◦

    masterが他のworkerの変数を初期化する ◦ チェックポイントの書き出しをする ◦ チェックポイントからの復元をする • 乱数を固定する ◦ シャッフリングやdata splitを再現させるため

28. ABEJA Platformではどうしているか？ 28 • To Be Continued ◦ 現在、分散学習を公式にはサポートしていない (ただし、自分でやれば使える)

    O ur Experience

29. • データをどう持つか？ ◦ データセットはEBS、成果物はEFSを使うと良い • リソースとコストをどう最適化するか？ ◦ Spot Instancesを使うと良い •

    機械学習ジョブをどう実行するか？ ◦ Kubernetes Jobを使うと良い • 分散学習はどうするか？ ◦ Horovodを使うと良い Retrospective 29

30. Thank you! 30

31. • Cost-efficient and scalable ML-experiments in AWS with spot-instances, Kubernetes

    and Horovod • スポットインスタンスを効率的に管理するSpotinstを使おう • 顧客のアプリケーションコードが動くマルチテナント環境における課題と EKSにたどり着くまで Reference 31

32. 32 Q & A