Cloud Monitoringで非同期処理のオブザーバビリティ向上

by kekke-n

Slide 1

Slide 1 text

Cloud Monitoringで非同期処理オブザーバビリティ向上 Keisuke Nakama @kekke-n 2025.3.7 Jagu'e'r オブザーバビリティ分科会 Meetup#1

Slide 2

Slide 2 text

中間啓介（なかまけいすけ）株式会社SmartHR / SRE 自己紹介・今年からプロダクト開発者から SREになりました・5歳息子と3歳娘がいます・芋焼酎とクラフトビールが大好きです・最近楽しみ家族で外出することです @kekke-n

Slide 3

Slide 3 text

非同期処理メトリクスを Cloud Monitoringで確認できるようにして、オブザーバビリティを向上させた話をします ※Ruby Sidekiq 事例になりますが、他非同期処理でも使えるネタあるんじゃないか？と思っています 🙏 本日内容

Slide 4

Slide 4 text

● Sidekiqからメトリクスを取得するため細かい実装話話さないこと

Slide 5

Slide 5 text

Sidekiqと

Slide 6

Slide 6 text

Sidekiqと ● Rubyでバックグラウンド処理を行うためライブラリ ● メール送信、画像処理など、時間かかる処理を非同期で実行 https://github.com/sidekiq/sidekiq

Slide 7

Slide 7 text

管理画面もあるで便利

Slide 8

Slide 8 text

プロダクトシステム構成

Slide 9

Slide 9 text

Sidekiq メトリクス課題

Slide 10

Slide 10 text

過去にあったインシデント

Slide 11

Slide 11 text

文書配付雇用契約書を SmartHR上で配付できる機能です文書配付プロダクト開発をしていた時人事担当従業員

Slide 12

Slide 12 text

カスタマーサポートお客様から従業員に雇用契約書が送られていないと問い合わせがきています ...

Slide 13

Slide 13 text

開発者やい、Sidekiq ジョブが大量に詰まって処理が遅くなっている！！ジョブ状況

Slide 14

Slide 14 text

App Engine インスタンス数を増やしてひとまず回避 ... ジョブ状況

Slide 15

Slide 15 text

インシデント時間帯でジョブがどんな状況だったか確認してみよう〜 Sidekiq管理画面

Slide 16

Slide 16 text

キュー毎にジョブ状況が見れないから分析がし辛い ... Sidekiq管理画面

Slide 17

Slide 17 text

● キュー毎に ○ ジョブ数が確認できない ○ ジョブがどれだけ待たされたか確認できない ↓ 原因分析がやりづらい ... Sidekiq メトリクス課題

Slide 18

Slide 18 text

つまり、オブザーバビリティが良くない！！！ 🥺

Slide 19

Slide 19 text

Sidekiq メトリクスを取得

Slide 20

Slide 20 text

● Sidekiq::MetricsExporterという社内ライブラリを作りました！ ○ Sidekiq プロセスやキュー毎メトリクスを Cloud Monitoringに送信できます ○ 試験的に導入しているため現状公開せず社内みで利用しています SREとしてやったこと

Slide 21

Slide 21 text

メトリクス送信全体像

Slide 22

Slide 22 text

こんな情報が取得できます送信される Sidekiq メトリクス以下ようなもがあります。 ● 各キューレイテンシー、サイズ ● プロセス、ワーカー数 ● 完了、失敗、デット ...などジョブ数

Slide 23

Slide 23 text

メトリクス送信時擬似コード ● メトリクスデータを作成 ○ メトリクスタイプを指定 ○ 値（ジョブ数等） ● Cloud Monitoringにメトリクス送信

Slide 24

Slide 24 text

Metrics Explorer でキュー別に指標を選択

Slide 25

Slide 25 text

Cloud Monitoringでジョブ数を確認

Slide 26

Slide 26 text

Cloud Monitoringでジョブレイテンシーを確認

Slide 27

Slide 27 text

ダッシュボードで見るも便利

Slide 28

Slide 28 text

オブザーバビリティよくなった ☺

Slide 29

Slide 29 text

● Periodic Jobsを使って定期的にメトリクスを送る ○ キューが詰まっている場合にメトリクスも送れなくなってしまうという問題がありました ● メトリクスを出力する httpエンドポイントを作り、 Prometheus的なやり方でメトリクスを取得する ○ Sidekiq App Engine, Cloud Run 両方で動作するケースがあります ○ そ両方でprivateなエンドポイントを叩くため仕組みが必要になり難易度が高そうでした検討したけどやらなかったこと

Slide 30

Slide 30 text

検討したけどやらなかったこと ● メトリクスをログに出すエンドポイントを作成し、そエンドポイントを定期的にリクエストしてログベース指標を作る ○ New Relicにもメトリクスを送る必要があったため見送りました

Slide 31

Slide 31 text

なぜSREがこ取り組みをしたか？

Slide 32

Slide 32 text

● プロダクトエンジニア 167人 ● プロダクト数約 20 ● SRE 2人 SmartHR SRE 現状

Slide 33

Slide 33 text

● Embedded SREでなくEnabling SRE ● 他チームへ新しい技術やスキル導入を支援する ● 開発チームが自走できるような状況を作る SmartHR SRE スタンス

Slide 34

Slide 34 text

メトリクス取り方どうやってやるんだろう .. SmartHR SRE スタンスうおお、これがあれ自分達でできそうだ！開発者 SRE 開発者仕組み作ったよ〜

Slide 35

Slide 35 text

● Sidekiq::MetricsExporterという社内ライブラリを各チームに提供する ● 開発チームに非同期処理オブザーバビリティに関心を持ってもらう ● 開発チームが非同期処理デバッグや分析を自走できるようにする今回取り組み狙い

Slide 36

Slide 36 text

まとめ

Slide 37

Slide 37 text

● Sidekiq メトリクスを Cloud Monitoringで確認する方法について紹介しました ● 同様な課題がある場合、参考にしていただけると幸いです ● 実 SRE まだ2人です...絶賛採用中！！まとめ

Slide 38

Slide 38 text

ありがとうございました！