実例から学ぶAWS Batch x スポットインスタンスによる大規模バッチ処理

Slide 1

Slide 1 text

© 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Specialist SA, HPC Daisuke Miyamoto 2020/11/11 実例から学ぶ AWS Batch × スポットインスタンスによる大規模バッチ処理秋のスポットインスタンス祭り

Slide 2

Slide 2 text

© 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 自己紹介 ❏ 名前宮本大輔（みやもとだいすけ） ❏ 所属アマゾンウェブサービスジャパン株式会社技術統括本部 Specialist Solutions Architect, HPC ❏ 好きな AWS サービス ❖ AWS ParallelCluster ❖ Amazon FSx for Lustre ❖ AWS Snowball シリーズ

Slide 3

Slide 3 text

© 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 今日お伝えしたいこと • 大規模バッチ処理とはどのようなワークロードか • AWS Batch はどのようなサービスか • AWS Batch でのスポットインスタンスの活用方法 • 実例から学ぶ AWS Batch × Spot • AWS Batch Updates 大規模バッチ処理でのスポットインスタンスの活用例

Slide 4

Slide 4 text

© 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 似て非なる『バッチ処理』 JobA JobB JobF JobC JobD JobE 毎日23:00起動土曜00:00起動 5:00までに完了俗に言う『バッチ処理』は 2 種類ある A) 定型業務における『バッチ処理』夜間バッチのように、予めジョブの起動や順序を定義しておいてジョブの実行・管理をするシステム（ジョブネット等）ミドルウェア例：Hinemos、SOS JobScheduler etc. B) 大規模計算における『バッチ処理』スーパーコンピュータ等で行う大規模科学計算、メディア処理、 CGレンダリング、機械学習における学習プロセス等アドホックな計算ミドルウェア例：SGE、Torque、OpenLAVA etc. 本日お話するのはこちら JobB JobA JobA JobB キューイングセントラルマネージャ submit submit dispatch dispatch コンピューティングノード群 A) B)

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

© 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Western Digital: HDD 磁気ヘッド設計 • 磁気の強度や熱条件など250万強におよぶパラメータスタディを最大100万vCPU 以上利用して処理 • 従来であれば20日掛かる処理を約8時間で全てのタスクを終えることに成功 • スポットインスタンスを活用することでコストを最適化、100万vCPUを1時間あたり$17,164 (1vCPUあたり $0.017)で利用次世代ハードディスクのドライブヘッドシミュレーションをクラウド上で実行 https://www.slideshare.net/AmazonWebServices/set-up-a-millioncore-cluster-to-accelerate-hpc-workloads-cmp404- aws-reinvent-2018 https://aws.amazon.com/jp/blogs/news/western-digital-hdd-simulation-at-cloud-scale-2-5-million-hpc-tasks-40k-ec2- spot-instances/

Slide 10

Slide 10 text

Slide 11

Slide 11 text

© 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 11 Amazon EC2 + EC2 Auto Scaling Webワークロード • ステートレス自動スケールの効く典型的なユースケース大規模計算処理ワークロード • Amazon EC2 + EC2 Auto Scaling AWS Batch Amazon EMR ビッグデータ分析ハイパフォーマンスコンピューティング機械学習

Slide 12

Slide 12 text

Slide 13

Slide 13 text

© 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS Batch とは • AWS Batch がインスタンスの起動や停止を行うため、スケジューラや計算ノードなどの管理が不要 • ジョブは Docker コンテナイメージを元に作成し、自動でスケールするコンピューティング環境で実行する • コンピューティング環境ではインスタンスタイプや vCPU 数、スポットインスタンス利用有無などを任意に指定可能大規模バッチ処理のため環境をフルマネージドで提供コンテナイメージを用意するだけでスケーラブルな大規模バッチ処理環境が得られる

Slide 14

Slide 14 text

© 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS Batch のアーキテクチャユーザ Elastic Container Registry Elastic Container Service Cluster EC2 インスタンスジョブジョブ定義ジョブキューコンテナイメージ Docker Hub コンテナレジストリコンピューティング環境 S3 Elastic File System コンテナ Scale-Out Scale-In

Slide 15

Slide 15 text

© 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 配列ジョブとジョブ依存関係配列ジョブ • 一回のジョブ投入で複数の子ジョブを作成 • 子ジョブでは、環境変数 $AWS_BATCH_JOB_ARRAY_INDEX により自分の配列ID を取得可能 • 配列ID の値により処理を分けるジョブ依存関係 • 依存関係に指定したジョブが完了したら実行可能となる “Job-A” “Job-B” https://docs.aws.amazon.com/ja_jp/batch/latest/userguide/array_jobs.html https://docs.aws.amazon.com/ja_jp/batch/latest/userguide/job_dependencies.html “Job-A” Job-A:0 … Job-A:1 Job-A:2 Job-A:3 Job-A:4 Job-A:5 Job-A:97 Job-A:98 Job-A:99

Slide 16

Slide 16 text

© 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 参考：ジョブパターン配列ジョブとジョブ依存関係を利用することで様々なジョブパターンを作成可能 “Job-A” Job-A:0 … Job-A:1 Job-A:99 Job-A:2 集約パターン前処理パターンシーケンシャルパターン “Job-A” Job-A:0 … Job-A:1 Job-A:2 Job-A:3 Job-A:4 Job-A:5 Job-A:97 Job-A:98 Job-A:99 “Job-B” “Job-B” Job-B:0 … Job-B:1 Job-B:2 Job-B:3 Job-B:4 Job-B:5 Job-B:97 Job-B:98 Job-B:99 “Job-A”

Slide 17

Slide 17 text

© 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 6 分で 1,000 コンテナを立ち上げて処理するデモコンテナイメージだけ用意すればすぐに数千～数万 vCPU 規模での実行が可能 1. コンピューティング環境の作成 2. キューの作成 3. ジョブ定義の作成 4. ジョブの投入 5. ジョブ処理待ち 6. CloudWatch Logs で結果確認

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

© 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. ころんでも泣かないアーキテクチャとは？キャパシティの確保と中断に強い構成 • 個別のジョブの処理速度はそこまで気にしない → 多様なインスタンスタイプの選択 → キャパシティの確保が容易に • べき等なジョブ設計 → 同じジョブが複数回実行されても問題ない → 中断が発生したらリトライするだけでよい

Slide 22

Slide 22 text

© 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 「ころんでも泣かない」を阻む要因と対策 • 1 つのジョブ処理時間が長い • 短時間で終わるように処理を分割する • 再実行された際に途中から処理を再開できるよう、定期的に結果をS3/EFSに出力する、チェックポイント方式とする • 一定時間内に処理を終わらせる必要がある • スケールアウトにより短時間で処理を行い、リトライのための余裕を持つ

Slide 23

Slide 23 text

Slide 24

Slide 24 text

© 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. キャパシティの確保 • 幅広いインスタンスタイプを選択する • デフォルトのOptimal は、C4/M4/R4 のすべてのインスタンスサイズを含む • より多くのキャパシティを必要とする場合は、C5などの最新タイプに加え C5d / C5n / C5a なども検討（必要メモリ量に応じてC/M/Rを選択） • Allocation Strategy に、Spot Capacity Optimized を選択 • 次のスライドでご紹介 • 多くの Availability Zone を指定する • 東京リージョンにこだわらず、スポット価格の安いリージョンを使用する

Slide 25

Slide 25 text

© 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Allocation Strategy AWS Batch で、複数のインスタンスタイプを選択した際に実際にどのインスタンスが起動されるかを決定する戦略 • Best Fit: 要求 vCPU/Memory に応じて最も価格の安いインスタンスタイプを選択（デフォルト設定だが、今後は推奨されない） • Best Fit Progressive: Best Fitと同様に最も価格の安いインスタンスタイプを選択するが、何らかの理由で起動できない場合は別のインスタンスタイプを選択する • Spot Capacity Optimized: 中断される可能性の低いインスタンスタイプを選択する https://docs.aws.amazon.com/ja_jp/batch/latest/userguide/allocation-strategies.html

Slide 26

Slide 26 text

© 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. スポット中断対策 • AWS Batch ではジョブに再試行回数を設定することが可能これにより、インスタンスが中断しジョブが失敗した場合には自動で再実行される • Launch Template の UserDataで、ECS のドレイン機能を有効化する https://aws.amazon.com/jp/about-aws/whats-new/2019/09/amazon-ecs-supports-automated-draining-for-spot-instances-running- ecs-services/ スポット活用時の一般的なベストプラクティスである「中断通知への対応」は必須ではないむしろ、冪等なジョブになっていないなど、再試行設定だけでは対応できない理由があれば、アーキテクチャを見直した方が良い場合も https://docs.aws.amazon.com/AmazonECS/latest/developerguide/container-instance-spot.html https://docs.aws.amazon.com/ja_jp/batch/latest/userguide/job_retries.html

Slide 27

Slide 27 text

© 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. スポットとオンデマンドの連携ジョブのフローを工夫することで、オンデマンドインスタンスとスポットインスタンスを組み合わせて利用することも可能 Spot 用ジョブキュー Spot コンピューティング環境 On-Demand 用ジョブキュー On-Demand コンピューティング環境ユーザ通常のジョブを投入優先度の高いジョブを投入 Spot 用キュー、On-Demand用キューを使い分ける Simple Notification Service Spot 用ジョブキュー Spot 用コンピューティング環境 On-Demand 用ジョブキュー On-Demand 用コンピューティング環境ユーザジョブを投入 Lambda ジョブの失敗を通知ジョブを投入 Spot インスタンスでの実行に失敗した際に On-Demand用キューに再投入

Slide 28

Slide 28 text

© 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. スケーラビリティの注意点 • 実際に同時実行数を増やしていくと、データソースがボトルネックになることが多い • S3 からのコピーが 1st choice • FSx for Lustre は高いスループットを得ることができるが、1 AZ のため、別AZからのアクセスにはAZ間転送料金がかかる • データベースの場合は同時接続数に注意 • 各種 Quota にも注意 • EC2 vCPU数、EBS volume数、ECS クラスタインスタンス数等

Slide 29

Slide 29 text

Slide 30

Slide 30 text

© 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 【APN Ambassadors ブログシリーズ第二弾】 AWS Batch にてスポットインスタンスを適用してコストを最適化するプロジェクトごとにリソースの取得や更新を行う https://aws.amazon.com/jp/blogs/psa/apn-ambassadors-blog-002/ アイレット株式会社廣山豊様よりご寄稿スポット活用するための前提： • 自動実行全体は 1 時間弱で完了する。翌朝までにすべての更新が完了していれば十分なので、時間制限に余裕がある • 1 ジョブ（= 1 プロジェクト）あたりの処理時間は 5 分以下がほとんどで、長くても 30 分未満 • ジョブに冪等性がある（何度実行しても問題ない、中断してもリトライするだけでよい）

Slide 31

Slide 31 text

© 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 【APN Ambassadors ブログシリーズ第二弾】 AWS Batch にてスポットインスタンスを適用してコストを最適化するプロジェクトごとにリソースの取得や更新を行う https://aws.amazon.com/jp/blogs/psa/apn-ambassadors-blog-002/ アイレット株式会社廣山豊様よりご寄稿インスタンスが中断した場合冪等性があるため、AWS Batch の再試行設定をするのみ（Slack への通知は行う）インスタンスを起動できない場合一定期間ごとにLambdaを起動し、 RUNNABLEステータスで滞留しているジョブを検知・オンデマンド用ジョブキューに再投入、滞留しているジョブは削除

Slide 32

Slide 32 text

© 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. re:Invent 2019 AUT307 Navigating the winding road toward driverless mobility Mobileye での自動運転シミュレーションのためのAWS Batch 活用事例（最大同時 500,000 cores、 Spot インスタンス 99% ） https://d1.awsstatic.com/events/reinvent/2019/Navigating_the_winding_road_toward_driverless_mobility_AUT307.pdf

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

© 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS Batch: Updates2 標準出力などのログ出力機能の拡張 • これまでのCloudWatch Logsに加え、fluentd / splunk / syslog などへの出力に対応 https://aws.amazon.com/jp/blogs/compute/custom-logging-with-aws-batch/ https://docs.aws.amazon.com/batch/latest/userguide/job_definition_parameters.html#parameters • CloudWatch Logsについても、prefixの指定など柔軟な設定が可能に https://docs.aws.amazon.com/batch/latest/userguide/using_awslogs.html Swap Space / Shared Memoryの指定が可能に • コンテナ基盤上のSwapメモリサイズや共有メモリサイズの指定が可能に Tagベースのアクセスコントロールに対応 • コンピューティング環境・ジョブ・ジョブ定義・ジョブキューがタグ付けに対応し、IAMでのタグベースのアクセスコントロールが可能に https://aws.amazon.com/about-aws/whats-new/2020/10/aws-batch-now-supports-custom-logging-configurations- swap-space-and-shared-memory/ https://aws.amazon.com/about-aws/whats-new/2020/10/aws-batch-introduces-tag-based-access-control/

Slide 36

Slide 36 text

© 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS Batch: Updates3 再試行戦略の機能拡張繰り返しの回数だけではなく、終了コードによって再試行を行うかどうかの条件分岐が設定可能に「一般的なエラーについては再試行を行うが、明示的に入力データの不整合が検出された場合は再試行を行わない」といった設定が可能に https://aws.amazon.com/about-aws/whats-new/2020/10/aws-batch-supports-configurable-job-retries/

Slide 37

Slide 37 text

© 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 参考：ServerMore! on AWS Batch AWS Batch では多種多様な EC2 インスタイプを活用可能 • コンテナに必要な vCPU 数だけでなく、GPU 数も指定可能 • P3/G4/G3 などを混ぜることでより確保しやすく • 動画処理や GPGPU 等も可能 https://aws.amazon.com/jp/blogs/compute/deploy-an-8k-hevc-pipeline-using-amazon-ec2-p3-instances-with-aws-batch/ • F1（FPGA）の利用事例も • Illumina DRAGEN on AWS https://aws.amazon.com/quickstart/architecture/illumina-dragen/ • AMD タイプインスタンスも選択してコスト低減・バラエティ増加 • Arm タイプインスタンスも利用可能 • 既存のC5と比較して同サイズで最大40%のコスト効率向上 • Arm 用コンテナイメージを作成する必要があるので注意 • 高速化のために、CPUによって実行バイナリを呼び分けるカスタマーもインスタンスタイプを選びつつ、管理は AWS Batch におまかせ

Slide 38

Slide 38 text

© 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. まとめ • 大規模バッチ処理は、動画処理やパラメータ探索など多くの分野に存在し、大量のジョブ全体の処理時間を短縮することが課題 • AWS Batch により、コンテナイメージを用意するだけで、必要な数のコンテナを立ち上げて処理を行うことが可能 • ころんでも泣かないアーキテクチャ + AWS Batch によりスポットインスタンス活用が容易に AWS Batch × スポットインスタンスでコスト効率よく大規模バッチ処理を実現！ AWS Batch の詳細については Black Belt もご参照ください https://www.slideshare.net/AmazonWebServicesJapan/20190911-aws-black-belt-online-seminar-aws-batch

Slide 39

Slide 39 text

Slide 40

Slide 40 text

© 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 利用例 • AWS re:Invent 2018 “Set Up a Million-Core Cluster to Accelerate HPC Workloads (CMP404) ” • https://www.slideshare.net/AmazonWebServices/set-up-a-millioncore-cluster-to-accelerate-hpc- workloads-cmp404-aws-reinvent-2018 • AWS re:Invent 2018 “Intro to AWS Batch & How AQR Capital leverages AWS to Identify New Investment Signals (CMP372)” • https://www.slideshare.net/AmazonWebServices/intro-to-aws-batch-how-aqr-capital-leverages-aws-to- identify-new-investment-signals-cmp372-aws-reinvent-2018 • AWS Blog “Building a tightly coupled molecular dynamics workflow with multi-node parallel jobs in AWS Batch” • https://aws.amazon.com/jp/blogs/compute/building-a-tightly-coupled-molecular-dynamics-workflow- with-multi-node-parallel-jobs-in-aws-batch/ • AWS Blog “Building Simpler Genomics Workflows on AWS Step Functions” • https://aws.amazon.com/jp/blogs/compute/building-simpler-genomics-workflows-on-aws-step-functions/ • https://github.com/aws-samples/aws-batch-genomics • Quick Start: Illumina DRAGEN on AWS • https://aws.amazon.com/jp/quickstart/architecture/illumina-dragen/ • AWS Blog “Accelerating Precision Medicine at Scale” • https://aws.amazon.com/jp/blogs/compute/accelerating-precision-medicine-at-scale/

Slide 41

Slide 41 text

© 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 利用例 • AWS Blog “Deep Learning on AWS Batch” • https://aws.amazon.com/pt/blogs/compute/deep-learning-on-aws-batch/ • AWS Blog “Scalable deep learning training using multi-node parallel jobs with AWS Batch and Amazon FSx for Lustre” • https://aws.amazon.com/jp/blogs/compute/scalable-deep-learning-training-using-multi-node-parallel- jobs-with-aws-batch-and-amazon-fsx-for-lustre/ • AWS Blog “Deploy an 8K HEVC pipeline using Amazon EC2 P3 instances with AWS Batch” • https://aws.amazon.com/jp/blogs/compute/deploy-an-8k-hevc-pipeline-using-amazon-ec2-p3- instances-with-aws-batch/

Slide 42

Slide 42 text

© 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 関連 Black Belt Online Seminar • AWS Black Belt Online Seminar “Amazon EC2スポットインスタンス” • https://www.slideshare.net/AmazonWebServicesJapan/20190306-aws-black-belt-online-seminar-amazon- ec2 • AWS Black Belt Online Seminar “Amazon Container Services” • https://www.slideshare.net/AmazonWebServicesJapan/20180214-aws-black-belt-online-seminar-amazon- container-services • AWS Black Belt Online Seminar “Amazon ECS Deep Dive” • https://www.slideshare.net/AmazonWebServicesJapan/20190731-black-belt-online-seminar-amazon-ecs- deep-dive-162160987 • AWS Black Belt Online Seminar “AWS Step Functions” • https://www.slideshare.net/AmazonWebServicesJapan/20190522-aws-black-belt-online-seminar-aws- step-functions • AWS Black Belt Online Seminar “ヘルスケア・ライフサイエンス業界における AWS 活用” • https://www.slideshare.net/AmazonWebServicesJapan/20190423-aws-black-belt-online-seminar-aws • AWS Black Belt Online Seminar “Amazon FSx for Lustre” • https://www.slideshare.net/AmazonWebServicesJapan/20190319-aws-black-belt-online-seminar-amazon- fsx-for-lustre