NGC × Singularity での機械学習環境/MachineLearning environment with NGC and Singularity

1.

クラウドを活用した NGC✖Singularity での機械学習環境 GPU Deep Learning Community #8 May 24,
2018 Ryo NAKAMARU, SUPINF Inc., Rescale, Inc.

2.

中丸良 @pottava • CTO at SUPINF Inc. / Solutions
Architect at Rescale, Inc. • AWS Certified SA, DevOps Engineer - Pro • Google Certified Professional - Cloud Architect Profile !2

3.

SUPINF Inc. !3 • クラウド / コンテナ中心のコンサルティング /
環境構築 / 受託開発 / 運用 • 直近ではオンプレ × DGX-1 × Kubernetes な機械学習環境の納品など • スピンフ、と読みます

4.

Rescale, Inc. !4 • クラウド HPC プラットフォームを SaaS で提供 •
スケーラブルなシミュレーションや機械学習をとても手軽に • Singularity でのジョブ実行もサポート

5.

!5 Rescale 1. 入力ファイル選んで 2. Singularity 選んで 3. ハードウェア選んで 4.
Submit ボタン押すだけ

6.

機械学習環境 !6

7.

インフラ管理者のための 7 つのヒント !7 1. なぜ Docker か 2. なぜ
NVIDIA GPU Cloud（NGC）か 3. ジョブスケジューラとは何か 4. なぜ Kubernetes か 5. なぜ Singularity か 6. なぜ HPC のジョブスケジューラか 7. なぜクラウドとのハイブリッド環境か

8.

Point of view !8 今日はインフラ管理者視点、かつ学習フェーズのお話です。 ✖ アルゴリズムの話はありません ✖ 推論フェーズの話もありません

9.

1. なぜ Docker か !9

10.

Docker のよさ !10 必要最低限隔離された実行環境がすぐ手に入る・・・・・

11.

Docker のよさ !11 必要最低限隔離された実行環境がすぐ手に入る・・・・・気軽にかんたんに共有できる、再現する・・・・・
repository push pull

12.

Docker のよさ !12 必要最低限隔離された実行環境がすぐ手に入る・・・・・気軽にかんたんに共有できる、再現する利用事例
が豊富で知見が得やすい・・・・・ repository push pull

13.

2. なぜ NVIDIA GPU Cloud（NGC）か !13

14.

NGC とは？ !14 ・NVIDIA 公式の Docker レジストリ・Docker イメージは毎月更新される・CUDA
やライブラリはもちろん同梱・NVIDIA GPU に最適化された設定・なんと無料

15.

NGC のない世界 !15 Dockerﬁle 職人養成所？肥大化するリポジトリ管理者たる重責！！ GPU
最適化 CUDA、ライブラリ、etc ..

16.

NGC のある世界 !16 メンテナンスフリー、利用料もフリー NVIDIA お墨付きの安心感

17.

3. ジョブスケジューラとは何か !17

18.

資源の占有 !18 お一人様機械学習

19.

資源の共有 !19 お一人様機械学習チームで資源を共有使います！

20.

全体資源の把握・ジョブの配置 !20 data center cloud お一人様機械学習チームで資源を共有会社で全資源を共有使います！ scheduler
ジョブを渡すと空いている資源に自動配置・計算開始

21.

スケジューラといえば巷で話題のクーバネーティス !21

22.

4. なぜ Kubernetes か !22

23.

　 Kubernetes !23 Control plane（管理ノード）　　計算ノード社内 DC
社内 DC • Docker との相性抜群 Kubernetes クラスタ

24.

　 Kubernetes !24 Control plane（管理ノード）　　計算ノード Tesla V100
社内 DC TITAN V 社内 DC • Docker との相性抜群 • NVIDIA さんもサポートを宣言 • 複数 GPU アーキテクチャでも OK ( New )

25.

　 Kubernetes !25 Control plane（管理ノード）ジョブを定義した YAML を Apply 　
　計算ノード Tesla V100 社内 DC TITAN V 社内 DC • 例えば高性能な Tesla で計算したい！　YAML に書いた定義を渡すと・・

26.

　計算ノード Tesla V100 社内 DC TITAN V 社内 DC • 空きがあり、条件に合うノードに配置 • nvidia-docker v1 / v2 すでに対応済 → コンテナへ適切に GPU 割り当て

27.

　 Kubernetes !27 Control plane（管理ノード）　　　計算ノード Tesla
V100 社内 DC TITAN V 社内 DC Tesla P100 AWS … • 専用線で繋げばクラウドもクラスタに • Federated という方法もあったり

28.

　　計算ノード Tesla V100 社内 DC TITAN V 社内 DC Tesla P100 AWS … • “クラウドで動かしたい” or / and • “Tesla P100 で動かしたい”

29.

k8s で十分じゃない？ !29 • そうですね！私自身、本番稼働を経験したのはここまで。 • 大切なのは、要件にあった技術が選べること ‣ この先の話も知っていると選択肢が広がる ‣
ツールの利用想定にない要件で使うのはお互い不幸 • HPC を支える技術の深さは貴重 ‣ DL フレームワークの追従, etc ..

30.

そんな中、では !30

31.

5. なぜ Singularity か !31

32.

Better Docker !32 もっと計算を速くしたい勢運用を改善したい勢 IB 使いたいノードまたぎたいもっと
MPI かんたんに root 渡すの無理です既存の　スケジューラ使いたい

33.

Singularity • http://singularity.lbl.gov • Singularity = Docker のいいところ（特に再現性）+ HPC サポート
‣ 基本思想は同じ: Build, Ship, and Run any app, Anywhere ‣ 高性能ハードウェアそのまま、ジョブスケジューラもそのまま • DockerHub のように公式レジストリもあるよ ‣ https://singularity-hub.org !33

34.

国内採用事例 !34 And more ..

35.

でも Singularity、Kubernetes で動かないよね？じゃあ何を使えばいいの・・ !35

36.

6. なぜ HPC のジョブスケジューラか !36

37.

Web 界隈のジョブスケジューラ !37 Web (Docker) 界隈・Singularity 対応なし・基本ホストリソースの切り売り
scheduler 　 GPU GPU GPU … 　 GPU GPU GPU … 確保！

38.

HPC 系ジョブスケジューラとの違い !38 Web (Docker) 界隈・Singularity 対応なし・基本ホストリソースの切り売り
scheduler 　 GPU GPU GPU … 　 GPU GPU GPU … 確保！ scheduler 　 GPU GPU GPU … 　 GPU GPU GPU … 確保！ HPC 業界・ノードをまたいでリソースを確保できる・ノード間通信するための設定もしてくれる

39.

深層学習フレームワークの直近の傾向 !39

40.

7. なぜクラウドとのハイブリッド環境か !40

41.

クラウド？オンプレ？いいとこ取り？ !41 ・セキュリティポリシーデータ転送制限 etc.. （仕方ないやつ・・）・クラウドほんとに安い？例 1）GeForce +
AWS 例 2）大企業の調達コスト・データ転送速度・どちらが最新 GPU？・鬼のチューニング

42.

Rescale で検証中の例 !42 WebUI からぽちっと

43.

Rescale で検証中の例 !43 Jupyter notebook を入れローカルで試行錯誤

44.

Rescale で検証中の例 !44 Jupyter notebook を入れローカルで試行錯誤 Singularity に変換して

45.

Rescale で検証中の例 !45 Jupyter notebook を入れローカルで試行錯誤 Singularity に変換してクラウドで高速に並列計算

46.

DEMO !46

47.

NGC Registry API Library for Go !47 レジストリから情報を抜きたい

48.

ご静聴ありがとうございました参考文献： • ディープラーニングコンテナー - NVIDIA GPU Cloud
(NGC) 　　　　　　　　　 https://www.nvidia.com/ja-jp/gpu-cloud/deep-learning-containers/ • Containers for Science, Reproducibility and Mobility SINGULARITY P2　　　　　 https://www.intel.com/content/dam/www/public/us/en/documents/presentation/hpc- containers-singularity-advanced.pdf • Singularityで分散深層学習（産総研佐藤さん）　　　　　　　　　　　　　　　　 https://www.slideshare.net/htsst/singularity-85959573

NGC × Singularity での機械学習環境/MachineLearning environment with NGC and Singularity

NGC × Singularity での機械学習環境/MachineLearning environment with NGC and Singularity

Want more?

Transcript