Container Diversity on AWS

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© 2020, Amazon Web Services, Inc. or its Aﬃliates. Kazuki Matsuda (@mats16k) Startup Solutions Architect Amazon Web Services Japan --- インターネット広告代理店（のアドサーバ作っている部⾨）でインフラエンジニアに ➡ アドテク系スタートアップ⼆⼈⽬のエンジニア（SRE、アプリ開発、情シス、データエンジニア、採⽤） ➡ AWS でスタートアップ⽀援 & コンテナのスペシャリスト AWS Fargate / AWS Lambda あたりが好きです最近、 AWS Step Functions も好きです

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

© 2020, Amazon Web Services, Inc. or its Aﬃliates. コンテナオーケストレーションツールの役割 • （ざっくり⾔うと）やりたいことを実現するために必要なことを、コンテナの特性をうまく活かしつつ実現してくれる • 例：可⽤性の⾼い Web アプリケーションを提供するために、、、 • Healthy なコンテナをロードバランサー配下に⼊れてくれる • コンテナが異常終了している場合に、必要な台数起動してくれる • 「やりたいこと」と「オーケストレーション」のマッチングが⼤事 • ECS や Kubernetes は基本機能で、⼤部分のユースケースをサポート • ECS や Kubernetes が万能 • ⼤部分のユースケースが本質的には同質ということを意味する

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

© 2020, Amazon Web Services, Inc. or its Aﬃliates. Amazon SageMaker Jupyter Notebook/Lab Amazon S3 The Jupyter Trademark is registered with the U.S. Patent & Trademark Oﬃce. 開発用インスタンスデータは予め Amazon S3 にアップロード: • SageMaker Python SDK で簡単に • sagemaker_session.upload_data( path='data', key_prefix='data/DEMO') • AWS CLI や AWS SDK (Python だと boto3) などでも • aws s3 sync • GUI (マネージメントコンソール) からでも

Slide 16

Slide 16 text

Slide 17

Slide 17 text

© 2020, Amazon Web Services, Inc. or its Aﬃliates. Amazon SageMaker Jupyter Notebook/Lab Amazon S3 学習用コンテナ Amazon EC2 P3 Instances Amazon ECR The Jupyter Trademark is registered with the U.S. Patent & Trademark Office. ビルド済みのコンテナイメージが予め用意されている学習開発用インスタンス

Slide 18

Slide 18 text

© 2020, Amazon Web Services, Inc. or its Aﬃliates. Amazon SageMaker 学習用コンテナ Amazon EC2 P3 Instances Jupyter Notebook/Lab Amazon S3 The Jupyter Trademark is registered with the U.S. Patent & Trademark Oﬃce. トレーニングでのメリット: • API 経由で学習用インスタンスを起動、学習が完了すると自動停止 • 高性能なインスタンスを秒課金で、簡単にコスト削減 • 指定した数のインスタンスを同時起動、分散学習も容易学習開発用インスタンス

Slide 19

Slide 19 text

Slide 20

Slide 20 text

© 2020, Amazon Web Services, Inc. or its Aﬃliates. Amazon SageMaker 推論用コンテナ Jupyter Notebook/Lab Endpoint Amazon S3 Amazon ECR The Jupyter Trademark is registered with the U.S. Patent & Trademark Oﬃce. 推論開発用インスタンス

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

© 2020, Amazon Web Services, Inc. or its Aﬃliates. import sagemaker from sagemaker.mxnet import MXNet # 各フレームワークに対応した Estimator クラス estimator = MXNet("train.py", # トレーニングスクリプトなどを指定して初期化 role=sagemaker.get_execution_role(), train_instance_count=1, train_instance_type="ml.p3.2xlarge", framework_version="1.4.1") estimator.fit("s3://mybucket/data/train") # fit でトレーニング predictor = estimator.deploy(initial_instance_count=2, # 2以上にすると Multi-AZ instance_type="ml.m5.xlarge") # deploy でエンドポイント作成 SageMaker Python SDK 環境をコードで表現して、それに合わせて実環境を動作させてくれる

Slide 25

Slide 25 text

© 2020, Amazon Web Services, Inc. or its Aﬃliates. Amazon SageMaker まとめ • Amazon SageMaker は機械学習ワークロードに特化したコンテナオーケストレーションツール • （ちなみに裏側では Amazon ECS が使われています） • もちろん、同様のことを Amazon ECS / Kubernetes で実装することは技術的には可能 • やりたいことがよくあるユースケースなのであれば、既存の実装やベストプラクティスに乗っかるべき • 例）Web サービスの場合に、healthy なコンテナのみをロードバランサー配下に⼊れるなど

Slide 26

Slide 26 text

Slide 27

Slide 27 text

© 2020, Amazon Web Services, Inc. or its Aﬃliates. AWS Batch - バッチコンピューティングとは本セッションにおけるバッチコンピューティングとは、シミュレーションなど負荷の⾼い計算をスーパーコンピュータやクラスタ等で順次実⾏していくような処理例: • 設計製造での最適化を⾏うためのパラメータ探索 • モンテカルロシミュレーションによる⾦融商品のプライシング・リスク計算 • ゲノム分析などの⼤規模解析 • 3DCG レンダリングや動画エンコードなどのメディア処理

Slide 28

Slide 28 text

© 2020, Amazon Web Services, Inc. or its Aﬃliates. AWS Batch - バッチコンピューティングとは JobA JobB JobF JobC JobD JobE 毎⽇23:00起動⼟曜00:00起動俗に⾔う『バッチ処理』は 2 種類ある A) 定型業務における『バッチ処理』夜間バッチのように、予めジョブの起動や順序を定義しておいてジョブの実⾏・管理をするシステム（ジョブネット等）ミドルウェア例：Hinemos、SOS JobScheduler etc. B) ⼤規模計算における『バッチ処理』スーパーコンピュータ等で⾏う⼤規模科学計算、 CGレンダリング、機械学習における学習プロセス、ゲノム分析などのアドホックな計算ミドルウェア例：SGE、Torque、OpenLAVA etc. 5:00までに完了 AWS Batch はこちら JobB JobA JobA JobB キューイングセントラルマネージャ submit submit dispatch dispatch コンピューティングノード群 A) B) AWS Batch は負荷の⾼いコンピューティングを効率的に⾏うためのサービス

Slide 29

Slide 29 text

Slide 30

Slide 30 text

© 2020, Amazon Web Services, Inc. or its Aﬃliates. AWS Batch のアーキテクチャユーザジョブジョブ定義ジョブキュージョブ定義ジョブを作成する際のテンプレートパラメータ例: • コンテナイメージ • コンテナ内での実⾏コマンド • 実⾏コマンドに渡されるパラメータ • 再試⾏戦略・タイムアウト • ジョブの使⽤する IAM Role • 要求 vCPU、メモリ、GPU • マルチノードを利⽤するか • mount point • ulimit ※ 多くのパラメータはジョブ作成時に上書き可能

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

© 2020, Amazon Web Services, Inc. or its Affiliates. AWS Batch のアーキテクチャユーザ Elastic Container Registry Elastic Container Service Cluster EC2 インスタンスジョブジョブ定義ジョブキューコンテナイメージ Docker Hub コンテナレジストリコンピューティング環境 S3 Elastic File System コンテナコンピューティング環境実際に計算を⾏う ECS クラスターパラメータ例: • マネージド or アンマネージド • （オプション）ユーザ独⾃の AMI • （オプション）EC2 起動テンプレート • オンデマンド or スポット • 最⼩ vCPU 数、最⼤ vCPU 数 • 最⼩ vCPU 数を 0 に設定することで、ジョブの無い時はインスタンスを起動しないことが可能 • 許可されたインスタンスタイプ • M4、C4、R3 の中から合うものが選択される Optimal や、インスタンスファミリー単位での指定も可能 • VPC、Subnet、セキュリティグループ • Placement Group

Slide 34

Slide 34 text

© 2020, Amazon Web Services, Inc. or its Affiliates. AWS Batch まとめ • AWS Batch はバッチコンピューティングに特化したコンテナオーケストレーションツール • （これも裏側では Amazon ECS が使われています） • 同様のことを Amazon ECS / Kubernetes で実装することは可能（再掲） • スポットインスタンスを利⽤したコスト最適化を⾏いつつ、中断時のハンドリングもちゃんとやりたいなど、バッチの作り込みはなかなか⼤変

Slide 35

Slide 35 text

Slide 36

Slide 36 text

© 2020, Amazon Web Services, Inc. or its Affiliates. AWS Step Functions q 分散アプリケーション・マイクロサービスの全体を「ステートマシン」(後述) と呼ばれる仕組みでオーケストレートできる q 定義したステートマシンは AWS コンソールから「ワークフロー」(右図) という形式で⾒やすく可視化できる q ステートマシンの各ステップの実⾏履歴をログから追跡できる

Slide 37

Slide 37 text

© 2020, Amazon Web Services, Inc. or its Affiliates. AWS Step Functions ⽇常のステートマシンの例 : ⾃動販売機⼊⾦待ちジュースの選択ジュースの払い出し⾃動販売機⾦額釣銭・ジュース利⽤者が⼊⾦するまで待機する。ジュースの購⼊に⼗分な⾦額が⼊⾦されたら、⾦額を次のプロセスに伝える。例えば 3 つのプロセスに分離できる。利⽤者がジュースを選択するまで待機する。ジュースが選択されたら、⼊⾦額からジュースの⾦額を差し引き、釣銭の⾦額を計算する。釣銭の⾦額と、選択されたジュースを次のプロセスに伝える。釣銭と選択されたジュースを実際に受け取り⼝に払い出す。この 2 つのプロセスは並列に実⾏できる。釣銭の払い出し

Slide 38

Slide 38 text

Slide 39

Slide 39 text

© 2020, Amazon Web Services, Inc. or its Aﬃliates. AWS Step Functions • AWS Lambda : Lambda 関数の実⾏ • Amazon DynamoDB : 既存のアイテムの取得、新規アイテムの登録 • AWS Batch : ジョブの起動、ジョブ完了の待機 • Amazon Elastic Container Service : ECS/Fargate タスクの実⾏ • Amazon Simple Notiﬁcation Service : SNS トピックへのメッセージ送信 • Amazon Simple Queue Service : SQS キューへのメッセージ送信 • AWS Glue : Glue ジョブの実⾏ • Amazon SageMaker : トレーニングジョブ、トランスフォームジョブの起動呼び出し可能な AWS のサービス

Slide 40

Slide 40 text

Slide 41

Slide 41 text

© 2020, Amazon Web Services, Inc. or its Aﬃliates. AWS Step Functions の例 API Gateway Broadcast Containers Step Functions workﬂow コンテナ実行 Amazon ECS on Fargate 並列化コンテナ実行 Amazon Chime https://chime.aws/12345 S3 文字起こし録画ファイル src_url: https://chime.aws/12345 dst_url: - rtmp://a.youtube.com - s3://mybucket/meeting.mp4 s3://mybucket/meeting.mp4 rtmp://a.youtube.com

Slide 42

Slide 42 text

© 2020, Amazon Web Services, Inc. or its Aﬃliates. AWS Step Functions の例 API Gateway Broadcast Containers Step Functions workﬂow コンテナ実行 Amazon ECS on Fargate 並列化コンテナ実行 Amazon Chime https://chime.aws/12345 S3 文字起こし Transcribe 録画ファイル • コンテナが異常終了等した際のリトライ • コンテナの処理終了の検知 • コンテナ以外を含むジョブ内でのコンテナのハンドリング Lambda src_url: https://chime.aws/12345 dst_url: - rtmp://a.youtube.com - s3://mybucket/meeting.mp4 s3://mybucket/meeting.mp4 rtmp://a.youtube.com

Slide 43

Slide 43 text

© 2020, Amazon Web Services, Inc. or its Affiliates. AWS Step Functions まとめ • AWS Step Functions はコンテナタスクをラップする⾃由度の⾼いコンテナオーケストレーションツール • （AWS の他のサービスとも連携可能） • AWS Faregare 上で実⾏することで、フルサーバレス化することが出来る • Amazon ECS はコントロールプレーンの管理が不要 • AWS Fargate は仮想マシンの管理が不要 • コンテナが全体の⼀部でしか無いようなジョブも管理することが出来る

Slide 44

Slide 44 text

Slide 45

Slide 45 text

© 2020, Amazon Web Services, Inc. or its Affiliates. まとめ • コンテナオーケストレーションツールでやりたいことを実装する • やりたいことを起点にオーケストレーションツール（実装⽅法）を選定する • AWS は多種多様なワークロードをサポートできるサービスを提供している • その裏側ではコンテナ技術が使われているものも多い • コンテナの基礎的なところを理解していると強みになる • コンテナ/オーケストレーションツールに使われない。使う側に。 • コンテナを本質的に理解していることが重要（再） • 判断が難しい場合は SA までご相談を

Slide 46

Slide 46 text