$30 off During Our Annual Pro Sale. View Details »

2022/6/27(月) AWS好きエンジニア LT会 vol.2 #2

Thirosue
June 27, 2022
98

2022/6/27(月) AWS好きエンジニア LT会 vol.2 #2

2022/6/27(月) AWS好きエンジニア LT会 vol.2 #2 の資料です。

Thirosue

June 27, 2022
Tweet

Transcript

  1. コンテナを使ったバッチ実⾏ 環境を考える 〜FARGATE SPOTの使いどころ〜 ビッグツリーテクノロジー&コンサルティング 廣末丈⼠

  2. 廣末 丈⼠ • ⾃称フロントエンジニア • Serverless / コンテナ好き

  3. AWSでコンテナを利⽤したバッチ環境 にどのサービスを使うか 悩んだことある⼈いますか?

  4. EKS? ECS? Batch? Lambda? FARGATE? EC2?

  5. どれでも良くない?

  6. 正解! ( 適材適所 ) プロジェクトコンテキスト ⾮機能要件(バッチレスポンス、コスト他)、運 ⽤要件、チーム構成を考慮の上であれば

  7. バッチ処理とは 逐次⽣み出されるデータを⼀定期間集めたもの をバッチといい、このバッチ単位で⾏う処理の こと 今回対象とするバッチ処理 単位時間の処理量が決まっていないバッチ について検討

  8. Lambda

  9. props cons • 初期構築が容易 • バッチレスポンス(反映時間)が短い(イベント駆動、スト リーム処理) • 15分でタイムアウトする •

    コスト施策の打ち⼿が少ない(SPOTなし) イベント駆動アーキテクチャのコンポーネントであり、「単位時間の 処理量が決まっていないバッチ」には不適切なため、除外
  10. EKS

  11. props cons • 可搬性(ポータビリティ) • 運⽤コストが⾼い • コスト施策の打ち⼿が限られる(FARGATE_SPOTなし) ⾃ら本番で構築・運⽤したことないため、除外 2年以上前

  12. ようやく本題

  13. EKS? ECS? Batch? Lambda? SPOTは本番で使えるのか?

  14. ü 業務継続性(稼働率) ü バッチレスポンス(起動 のオーバーヘッド) 確認ポイント

  15. ü 業務継続性(稼働率) ü バッチレスポンス(起動 のオーバーヘッド)

  16. 業務継続性 ü 稼働率 ü バッチリトライ

  17. SPOTの強制終了怖い?

  18. ほぼ落ちません! 本番運⽤で困った記憶なし

  19. スポットインスタンスアドバイザー https://aws.amazon.com/jp/ec2/spot/instance-advisor/

  20. スポット価格履歴 EC2マネジメントコンソール「スポットリクエスト」→「料⾦設定履歴」

  21. バッチリトライ ECS Batch キューを経由するためAPIレベルでサポート →業務継続性を平易に向上可能 未サポート サポート

  22. AWS Batch 優勢か?

  23. ü 業務継続性(稼働率) ü バッチレスポンス(起動 のオーバーヘッド)

  24. 起動のオーバーヘッド ‒ Batch FARGATE_SPOT 概ね20-30秒程度で起動する、定期実⾏に問題ない範囲

  25. 起動のオーバーヘッド ‒ Batch EC2(SPOT) EC2の初回起動コストが⾼い 反⾯、リソースがある場合の起動コストは、 FARGATEと同等かそれ以上 稼働しているリソース(EC2)がない場合は遅い

  26. 起動のオーバーヘッド ‒ ECS Task FARGATE_SPOT 概ね20秒程度で起動する、定期実⾏に問題ない範囲 10秒の差でリトライオプションが選択可能なら、私はそちらを選択したい

  27. AWS Batchって⼤量データ向けでしょ?

  28. リソース 0.25vCPU、512Mから実⾏可能 コスト - 1時間ごと、1回あたりの実⾏時間 15分、2vCPU、4Gの場合 Lambda FARGATE On Demand(最⼤

    70% 割引) → 8USD
  29. まとめ ü ⾼レベルな業務継続性、バッチレスポンス(*1)を求められない場合 (ビッグデータ作成など)、Batch FARGATE_SPOTは有効な選択肢 となる *1) 引⽤元:⾮機能要求グレード https://www.ipa.go.jp/sec/softwareengineering/reports/20100416.html ü

    FARGATE利⽤で、0.25vCPU、512MByteから実⾏可能 ü FARGATE利⽤で、起動のオーバーヘッドも緩和される ü SPOTの強制終了は、リトライオプションでカバー ü SPOT利⽤でコストも劇的に低減できる
  30. ご清聴ありがとうございました!