JobSet超入門

JobSet超入門 Hiroyuki Moriya

Self introduction  ▶ GitHub: @Gekko0114  ▶ Software Engineer  ▶ 趣味でk8s関連のOSSの調査 
▶ 技術系のイベント初登壇です 

今日話すこと  ▶ kubernetes-sigs/JobSetがどんなものかを簡単に紹介します  ▶ 開発途上のOSS(version 0.2.0)で日本語資料がほとんどありません  ▶ 今回の内容は未実装の機能も含みます  ▶ 今後の方針によって機能が変更される可能性もあります 
   

JobSet開発の背景  ▶ k8sは、AI/ML関連のJob向けの機能開発に力を入れてこなかった  ▶ PodとDeployment/StatefulSetのような存在がJobには無い  ▶ AI/MLをk8s上で管理するOSSが開発されてきた (kubeflowなど)  ▶ kubeflowでは、フレームワークで共通の機能が、重複実装されている 
 

JobSetで何をしたい？  ▶ 複数のJobを管理できるCRD  ▶ フレームワーク間で共通の機能を、重複せずに実装したい  ▶ 個別のフレームワークに必要な機能も備えたい       
 

JobSetで何をしたい？（詳しく）  ▶ 複数templateの同時実行：ML分散学習はDriverとworkerが必要  ▶ network設定：Job間のnetworkを良い感じにしたい  ▶ Scaling：HPAが動作してほしい  ▶ Startup sequence：ジョブの実行順序も定義したい 
▶ フレームワーク(PyTorch, tensorflow etc)毎に必要な設定を管理 

ジョブの実行順序の制御とは？  ▶ フレームワークによって、起動したいPodの順番が決まっている  ▶ 例1: RayやSparkだと、Driverを最初に起動しないといけない  ▶ 例2: MPIだと、Workerを最初に起動しないといけない 

フレームワーク毎に必要な設定とは？  ▶ kubeflowではtraining-operator等がうまくやってくれている  ▶ 例：tensorflowのTF_CONFIG, PyTorchのinit_process_group 

JobSetでこれらの問題を解決しよう！  ▶ kubeflowがうまくやってる点(フレームワーク毎の対応)もなんとかする 

JobSetでカバーする機能  ▶ 複数templateの同時実行が可能  ▶ network設定：headless serviceが良い感じにしてくれる  ▶ Scaling：HPAがちゃんと動く  ▶ Startup
sequence：ジョブの実行順を定義可能予定  ▶ JobSetConfig：フレームワーク毎に設定ファイルを用意する予定  など 

Yaml  ▶ replicatedJobsにJob を書く 

まとめ  ▶ JobSetの開発が進めば、ML/AI workflowが簡易化されるかも  ▶ 開発途上なのでcontribution chance  ▶ コメントあればお願いします！   
 

ご清聴ありがとうございました！  ▶ 参考資料  ▶ JobSetAPI https://docs.google.com/document/d/1WqjSeFOrMneGS1wlC5cmhtHrpF2rErh-EIfkVN7rBrA/edit   ▶ Repo  https://github.com/kubernetes-sigs/jobset
     

参考：TFJob  ▶ tf.distributeによる分散学習をサポート(参考)  ▶ TF_CONFIG (chief, worker, ps, evaluator)の設定など 

参考：PyTorchJob  ▶ DataParallel, DistributedDataParallel, DistributedElastic  ▶ 各分散処理向けの実装が必要  ▶ 例1: DistributedDataParallel実行のためのinit_process_group 
▶ 例2: DistributedElasticのためのrendezvous 

JobSet超入門

JobSet超入門

Hiroyuki Moriya

More Decks by Hiroyuki Moriya

Other Decks in Programming

Featured

Transcript