JobSet超入門

kubernetes meetup tokyo 60の登壇資料です。

Transcript

1. JobSet超入門 Hiroyuki Moriya
2. Self introduction
 ▶ GitHub: @Gekko0114
 ▶ Software Engineer
 ▶ 趣味でk8s関連のOSSの調査
 ▶ 技術系のイベント初登壇です

3. 今日話すこと
 ▶ kubernetes-sigs/JobSetがどんなものかを簡単に紹介します
 ▶ 開発途上のOSS(version 0.2.0)で日本語資料がほとんどありません
 ▶ 今回の内容は未実装の機能も含みます
 ▶ 今後の方針によって機能が変更される可能性もあります
 
 

4. JobSet開発の背景
 ▶ k8sは、AI/ML関連のJob向けの機能開発に力を入れてこなかった
 ▶ PodとDeployment/StatefulSetのような存在がJobには無い
 ▶ AI/MLをk8s上で管理するOSSが開発されてきた (kubeflowなど)
 ▶ kubeflowでは、フレームワークで共通の機能が、重複実装されている
 

5. JobSetで何をしたい？
 ▶ 複数のJobを管理できるCRD
 ▶ フレームワーク間で共通の機能を、重複せずに実装したい
 ▶ 個別のフレームワークに必要な機能も備えたい
 
 
 
 

6. JobSetで何をしたい？（詳しく）
 ▶ 複数templateの同時実行：ML分散学習はDriverとworkerが必要
 ▶ network設定：Job間のnetworkを良い感じにしたい
 ▶ Scaling：HPAが動作してほしい
 ▶ Startup sequence：ジョブの実行順序も定義したい
 ▶ フレームワーク(PyTorch, tensorflow etc)毎に必要な設定を管理

7. ジョブの実行順序の制御とは？
 ▶ フレームワークによって、起動したいPodの順番が決まっている
 ▶ 例1: RayやSparkだと、Driverを最初に起動しないといけない
 ▶ 例2: MPIだと、Workerを最初に起動しないといけない

8. フレームワーク毎に必要な設定とは？
 ▶ kubeflowではtraining-operator等がうまくやってくれている
 ▶ 例：tensorflowのTF_CONFIG, PyTorchのinit_process_group

9. JobSetでこれらの問題を解決しよう！
 ▶ kubeflowがうまくやってる点(フレームワーク毎の対応)もなんとかする

10. JobSetでカバーする機能
 ▶ 複数templateの同時実行が可能
 ▶ network設定：headless serviceが良い感じにしてくれる
 ▶ Scaling：HPAがちゃんと動く
 ▶ Startup sequence：ジョブの実行順を定義可能予定
 ▶ JobSetConfig：フレームワーク毎に設定ファイルを用意する予定
 など

11. Yaml
 ▶ replicatedJobsにJob を書く

12. まとめ
 ▶ JobSetの開発が進めば、ML/AI workflowが簡易化されるかも
 ▶ 開発途上なのでcontribution chance
 ▶ コメントあればお願いします！
 
 

13. ご清聴ありがとうございました！
 ▶ 参考資料
 ▶ JobSetAPI https://docs.google.com/document/d/1WqjSeFOrMneGS1wlC5cmhtHrpF2rErh-EIfkVN7rBrA/edit 
 ▶ Repo
 https://github.com/kubernetes-sigs/jobset 
 
 

14. 参考：TFJob
 ▶ tf.distributeによる分散学習をサポート(参考)
 ▶ TF_CONFIG (chief, worker, ps, evaluator)の設定など

15. 参考：PyTorchJob
 ▶ DataParallel, DistributedDataParallel, DistributedElastic
 ▶ 各分散処理向けの実装が必要
 ▶ 例1: DistributedDataParallel実行のためのinit_process_group
 ▶ 例2: DistributedElasticのためのrendezvous