Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
バッチ処理を監視したいだけなんだが…
Search
yjszk
April 24, 2025
2.7k
7
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
バッチ処理を監視したいだけなんだが…
https://livesense.connpass.com/event/349898/
yjszk
April 24, 2025
Transcript
24 slides
バッチ処理を監視したいだけなんだが… 2025.04.24 yabaibuki.dev #5 いつも監視(み)てるよ 〜ヤバいオブザーバビリティLT会〜 技術部インフラグループ 鈴⽊裕⼆ Copyright ©
Livesense Inc.
0. 自己紹介 Yuji Suzuki(@yjszk666) Copyright © Livesense Inc. • 仕事:インフラグループでSRE的な動き
◦ 主催勉強会:yabaibuki.dev ↑このままwebサイトになってます↑ • 略歴 ◦ 無内定卒業→Excel職⼈→リブセンス ◦ ずっとSIで2年前からWeb系きた • 趣味:公営賭博、地⽅競⾺場は全踏破 ◦ ←先週⾏った霧島神宮
1 2 3 バッチ監視で⾒たいこと バッチ基盤の変容と監視 AWSだけで監視できるか? Copyright © Livesense Inc.
バッチ監視で⾒たいこと SECTION 1 Copyright © Livesense Inc.
• バッチの実⾏時間 • バッチの実⾏結果 ◦ 成功 / 失敗 / 実⾏されなかったこと
• (その他失敗時にログがすぐに⾒れるとなお良い) 取りたい情報は… 1. バッチ監視で見たいこと Copyright © Livesense Inc.
• バッチの実⾏時間 • バッチの実⾏結果 ◦ 成功 / 失敗 / 実⾏されなかったこと
• (その他失敗時にログがすぐに⾒れるとなお良い) 取りたい情報は… 1. バッチ監視で見たいこと Copyright © Livesense Inc. cronitorというSaaSを使っている
イメージ 1. バッチ監視で見たいこと Copyright © Livesense Inc. cronitorは指定したcron式の時間帯にpingが⾶んでこな かったときにエラーにできるシンプルなサービス。ログも ⽂字数制限あるけど⼀応⾒れる。
バッチ基盤の変容と監視 SECTION 2 Copyright © Livesense Inc.
2.バッチ基盤の変容と監視 メインがcrontab + cronitorだった。イメージとしては以下。 crontab -eで編集という伝統的な⽅法でやっていた。 ※⼀部Whenever/Rundeckも使っていた #batch 1 10
0 * * * cronitor exec job_code /hoge/batch.sh 10 0 * * * cronitor exec job_code /hoge/batch.sh 10 0 * * * cronitor exec job_code /hoge/batch.sh 10 0 * * * cronitor exec job_code /hoge/batch.sh 10 0 * * * cronitor exec job_code /hoge/batch.sh # 10 0 * * * cronitor exec job_code /hoge/batch.sh 10 0 * * * cronitor exec job_code /hoge/batch.sh 10 0 * * * cronitor exec job_code /hoge/batch.sh 10 0 * * * cronitor exec job_code /hoge/batch.sh 10 0 * * * cronitor exec job_code /hoge/batch.sh 10 0 * * * cronitor exec job_code /hoge/batch.sh オンプレ時代 Copyright © Livesense Inc.
2.バッチ基盤の変容と監視 最初はEventBridge Scheduler + ECS Run Taskに置換した たまに「Capacity is unavailable
at this time」で実⾏されないことがある AWS化 - ECS Run Task Copyright © Livesense Inc.
2.バッチ基盤の変容と監視 これで失敗検知や再実⾏が可能になった。 ただAWS上で「実⾏されていないこと」は監視できていないので、cronitorは残った。 ※↑については後述 AWS化 - Step Functions Copyright ©
Livesense Inc.
2.バッチ基盤の変容と監視 当時監視設定はGUIで好き勝⼿に作られており、使ってない設定があったり、効果的にバッチ 監視を⼊れられていなかった。これをコード化することで解決した。 具体的にはPythonのSDKがあったので、CIを⾃作した。詳しくはブログを参照。 癖のあるAPIでかなり苦労したし、今でもたまにトラシューをしている。 cronitorを廃⽌して、監視をAWSに寄せられないだろうかと検討した。 cronジョブ監視サービスCronitorの設定をコード管理してCI/CDする - LIVESENSE ENGINEER
BLOG マイナーなSaaSのCIを作っているんだが俺はもうダメかもしれない - LIVESENSE ENGINEER BLOG 監視設定のコード化 Copyright © Livesense Inc.
AWSだけで監視できるか? SECTION 3 Copyright © Livesense Inc.
3.AWSだけで監視できるか? AWSだけだと失敗成功は監視できるが 「実⾏されなかった場合」の監視ができていない。 State Machineはただの箱で、実⾏を命令しているのはEventBridge。 EventBridgeのメトリクス⾒ればいいと思ったので監視(み)てみた。 実⾏されなかった場合の監視が難しい Copyright © Livesense
Inc.
3.AWSだけで監視できるか? EventBridgeのメトリクスを監視(み)る Copyright © Livesense Inc. • 「実⾏されなかった場合」の監視としてユースケースとして2つ考える ◦ 1.
ターゲットを呼び出しているものの、ターゲットの API (StartExecution APIを想定) がエラーを返す等で呼び出しに失敗している ◦ 2. EventBridge Scheduler がターゲットを呼び出していない
3.AWSだけで監視できるか? EventBridgeのメトリクスを監視(み)る Copyright © Livesense Inc. • InvocationDroppedCount ◦ 最初のターゲットの呼び出しが失敗し、その後の再試⾏も全て失敗した
場合に報告されるメトリクス ◦ 1に使えそう • InvocationAttemptCount ◦ 呼び出しのたびに発⽣するメトリクス、1以外であれば実⾏されてないと 判断できる、クォータに近づいたのを察するためにあると書いてある ◦ 2に使えそう https://docs.aws.amazon.com/ja_jp/scheduler/latest/UserGuide/monitoring-cloudwatch.html
3.AWSだけで監視できるか? しかし… Copyright © Livesense Inc. AWSに寄せると実⾏レイヤと独⽴したところでの監視というメリットが失われる 要するにAWSが落ちると気がつけない
3.AWSだけで監視できるか? セキュリティの多層防御の観点を監視に⽣かす Copyright © Livesense Inc. IPAのセキュリティのプラクティスにこんなものがある https://www.ipa.go.jp/security/economics/practice/practices/Practice213/ 安全確保支援士の試験で見た気がする
3.AWSだけで監視できるか? 「多層監視」だから現状で良い気がしている Copyright © Livesense Inc. XaaS系は落ちると仮定してシステムを組むのがベスト 多層レイヤーでの監視は安⼼感がある +
3.AWSだけで監視できるか? しかしAPIが弱いなど課題がある… 類似サービスを検討したけど痒いところに⼿ が届かない いい感じのバッチ処理監視ツールが欲しい話 - LIVESENSE ENGINEER BLOG Copyright
© Livesense Inc.
3.AWSだけで監視できるか? Datadogさんあたりに似たサービスがあれば🙏😭🙏 欲を⾔えば⾃作のCIではなくTerraformで管理したい Copyright © Livesense Inc.
3.AWSだけで監視できるか? もやっとしていますが、おわりです。 良いソリューションがあったらご教授ください Copyright © Livesense Inc.
None
None
More Decks by yjszk
See All by yjszk
技術発信を続ける難しさを行動で乗り切る
yjszk
1
1.7k
創造的活動から切り拓く新たなキャリア 好きから始めてみる夜勤オペレーターからSREへの転身
yjszk
1
510
強すぎるIAMをCloudTrailを使って適正化した話
yjszk
0
580
DMARCレポートの可視化ツールの作成と運用した結果
yjszk
0
320
リブセンスのソリューションチームについて
yjszk
0
1.1k
トイル撲滅から始める改善手法とその結果
yjszk
0
2.2k
設計という共通認識
yjszk
0
1.2k
LT駆動生活
yjszk
1
1.7k
Featured
See All Featured
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
27k
New Earth Scene 8
popppiees
5
2.9k
Stop Working from a Prison Cell
hatefulcrawdad
274
21k
SERP Conf. Vienna - Web Accessibility: Optimizing for Inclusivity and SEO
sarafernandez
2
1.7k
Balancing Empowerment & Direction
lara
6
1.4k
A better future with KSS
kneath
240
18k
Large-scale JavaScript Application Architecture
addyosmani
516
110k
Between Models and Reality
mayunak
4
610
The Cost Of JavaScript in 2023
addyosmani
56
10k
The AI Search Optimization Roadmap by Aleyda Solis
aleyda
2
6.5k
How to Ace a Technical Interview
jacobian
280
24k
How Software Deployment tools have changed in the past 20 years
geshan
3
35k