EC2 で運用していた定期実行のバッチ処理を AWS Batch + EventBridge にした

趣味で開発しているアプリのバッチ処理を EC2 → AWS Batch + EventBridge にした話です。

Transcript

1. EC2 で運用していた定期実行のバッチ処理を AWS Batch + EventBridge にした
2. 今回は自分が趣味で運用しているWebアプリの話 • どんなバッチ処理をしていたか → 対象サイトを10分ごとに Selenium でスクレイピング
3. 従来のバッチ処理 • EC2 1台で実行 • 環境構築はSSHして必要なものを手動インストール → chromedriver とか入れるのがめんどくさい... • スケジューリングは whenever という gem を使用 → crontab を使っているのとそこまで変わらずめんどくさい...
4. 課題 • 環境構築するのがとても大変 • 各ジョブのモニタリングやログの出力ができていなかった • デプロイしたり、バッチ処理の設定を変更するのも面倒 • EC2をずっと動かすとお金がかかる → 約2000円/月
5. どうしていきたいか • 環境構築するのがとても大変 → Docker で環境構築したい。 • 各ジョブのモニタリングやログの出力ができていない → 管理画面で状況を見たい & ログの設定もよしなにしたい • デプロイしたり、バッチ処理の設定を変更するのも面倒 → サーバーにSSHして設定するのはしたくない • EC2をずっと動かすとお金がかかる → バッチ処理時だけ動かしたい
7. AWS Batch とは
8. AWS Batch の概念 1. コンピューティング環境 → VPC, サブネットなどの設定 2. ジョブキュー → ジョブを管理するキュー 3. ジョブ定義🌟 → ECRのイメージの設定やメモリCPUの設定 4. ジョブ → ジョブ定義より生成される。
9. ジョブ定義について
10. 好きな名前をつける 自分はとりあえず Fargate にし てみた。 これだけかかると明らかにおか しいみたいな秒数をつけておくと いいと思う。 リトライの回数を指定できる。
11. ECRのURIを設定 実行したいコマンドを書く。 Dockerfile の CMD に設定して いればそれでも良い。 ネットワークのアクセスが必要な らチェック メモリとCPUは任意で
12. その他の設定を開くと、 環境変数設定やログの設定が できる。 作成をクリック
13. AWS Batch 単体では定期実行はできない。 → キックするものが必要。
15. Amazon Event Bridge とは
16. 名前と説明は好きなものを 定期実行なのでスケジューリン グを選択。 cron 式で記入。 （自動で実行時間のスケジュー ルが出てくれる。地味にありがた い。）
17. ターゲットは バッチジョブのキューを選ぶ ジョブキューとジョブ定義の ARN を記入。AWS Batchの画面を確 認する。 （選択肢にしてほしい） ジョブ名は好きなものをつける。
18. あとは作成を押すだけ。
19. ダッシュボード(各ジョブの詳細も見れる)
20. ログ（aws/batch/job 以下にログが流れてくる。）
21. まとめ • ECS のタスク定義みたいな感じでジョブ定義ができて便利。 • 各ジョブの状態もダッシュボードで見やすい。 • Event Bridge と組み合わせるとスケジューリングできる。 • 料金が2000円→300円に。