Upgrade to Pro — share decks privately, control downloads, hide ads and more …

明日から始めるSidekiqオブザーバビリティ向上

Avatar for imaharu imaharu
November 12, 2023
Technology
3
5.3k

 明日から始めるSidekiqオブザーバビリティ向上

After Kaigi on Rails LT Night で登壇しました

https://smartbank.connpass.com/event/299631
Avatar for imaharu

imaharu

November 12, 2023
Tweet

Other Decks in Technology

See All in Technology
[ JAWS-UG千葉支部 x 彩の国埼玉支部 ]ムダ遣い卒業！FinOpsで始めるAWSコスト最適化の第一歩
Avatar for sh_fk2 sh_fk2
2
150
サイバーエージェントグループのSRE10年の歩みとAI時代の生存戦略
Avatar for shotaTsuge shotatsuge
4
720
大量配信システムにおけるSLOの実践:「見えない」信頼性をSLOで可視化
Avatar for PLAID Tech plaidtech
PRO
0
260
AWS CDK 開発を成功に導くトラブルシューティングガイド
Avatar for Ryota Nakajima wandora58
3
140
microCMSではじめるAIライティング
Avatar for himaratsu himaratsu
0
110
Operating Operator
Avatar for Jun Kokatsu shhnjk
1
640
対話型音声AIアプリケーションの信頼性向上の取り組み
Avatar for 株式会社IVRy（社員登壇資料） ivry_presentationmaterials
1
600
Zero Data Loss Autonomous Recovery Service サービス概要
Avatar for oracle4engineer oracle4engineer
PRO
2
7.8k
成長し続けるアプリのためのテストと設計の関係、そして意思決定の記録。
Avatar for SansanTech sansantech
PRO
0
140
Copilot coding agentにベットしたいCTOが開発組織で取り組んだこと / GitHub Copilot coding agent in Team
Avatar for tnir tnir
0
120
IPA&AWSダブル全冠が明かす、人生を変えた勉強法のすべて
Avatar for iwamot iwamot
PRO
2
220
事例で学ぶ！B2B SaaSにおけるSREの実践例/SRE for B2B SaaS: A Real-World Case Study
Avatar for 株式会社ビットキー / Bitkey Inc. bitkey
1
280

Featured

See All Featured
Code Review Best Practice
Avatar for Trisha Gee trishagee
69
19k
Six Lessons from altMBA
Avatar for Skipper Chong Warson skipperchong
28
3.9k
Principles of Awesome APIs and How to Build Them.
Avatar for Keavy McMinn keavy
126
17k
The Art of Delivering Value - GDevCon NA Keynote
Avatar for David Neal reverentgeek
15
1.6k
The Pragmatic Product Professional
Avatar for Laura Van Doore lauravandoore
35
6.7k
Build your cross-platform service in a week with App Engine
Avatar for Jose L jlugia
231
18k
Making the Leap to Tech Lead
Avatar for Ryan Cromwell cromwellryan
134
9.4k
Measuring & Analyzing Core Web Vitals
Avatar for Philip Tellis bluesmoon
7
510
Building Flexible Design Systems
Avatar for Yesenia Perez-Cruz yeseniaperezcruz
328
39k
XXLCSS - How to scale CSS and keep your sanity
Avatar for Zaharenia Atzitzikaki sugarenia
248
1.3M
Put a Button on it: Removing Barriers to Going Fast.
Avatar for kastner kastner
60
3.9k
Unsuck your backbone
Avatar for Amy Palamountain ammeep
671
58k

Transcript

  1. GLOBIS DIGITAL PLATFORM 明日から始める Sidekiqオブザーバビリティ向上

  2. GLOBIS DIGITAL PLATFORM 2 自己紹介 越智亮太 @imaharuTech 株式会社グロービス Railsエンジニア3年 SRE

    1.5年

  3. 会社紹介

  4. GLOBIS DIGITAL PLATFORM 4 本日のゴール 明日、Sidekiqオブザーバビリティ向上 Pull Requestを作成し 検証環境で実験できるになる

  5. GLOBIS DIGITAL PLATFORM 5 オブザーバビリティとは システムで何が起きているか把握できる能力

  6. GLOBIS DIGITAL PLATFORM 6 Sidekiqのオブザーバビリティがある状態 1. 遅いJobが特定可能 2. Jobが完了していない原因を特定可能

  7. GLOBIS DIGITAL PLATFORM 7 Sidekiqのオブザーバビリティがある状態 遅いJobが特定可能

  8. GLOBIS DIGITAL PLATFORM 8 Sidekiqのオブザーバビリティがある状態 Jobが完了していない原因を特定可能

  9. GLOBIS DIGITAL PLATFORM 9 Sidekiqのオブザーバビリティがある状態 Jobが完了していない原因を特定可能

  10. GLOBIS DIGITAL PLATFORM 10 Sidekiqのオブザーバビリティ向上施策の紹介 1. エラーログにjid追加 2. enqueuedログ追加 3.

    dequeuedログにjob引数を追加 4. datadogのdurationとelapsedを紐付け 5. job statusを追加

  11. GLOBIS DIGITAL PLATFORM 11 Sidekiqのオブザーバビリティ向上施策の紹介 1. エラーログにjid追加 2. enqueuedログ追加 3.

    dequeuedログにjob引数を追加 4. datadogのdurationとelapsedを紐付け 5. job statusを追加

  12. GLOBIS DIGITAL PLATFORM 12 Sidekiq JSONログの出力形式

  13. GLOBIS DIGITAL PLATFORM 13 成功するJobのログ

  14. GLOBIS DIGITAL PLATFORM 14 失敗するJobのログ

  15. GLOBIS DIGITAL PLATFORM 15 エラーメッセージに jidがない

  16. GLOBIS DIGITAL PLATFORM 16 Jobライフサイクル全てのログを追跡できない つまり、Jobが完了していない原因を特定可能できない 引用: https://github.com/sidekiq/sidekiq/wiki/Job-Lifecycle

  17. GLOBIS DIGITAL PLATFORM 17 実装 $ cat config/initializers/sidekiq.rb

  18. GLOBIS DIGITAL PLATFORM 18 実装前後のログ変化

  19. GLOBIS DIGITAL PLATFORM 19 実装 $ cat config/initializers/sidekiq.rb Sidekiq::Context.add

  20. GLOBIS DIGITAL PLATFORM 20 実装の解説 ctxにjidを詰めれば良さそう Sidekiq::Context.add

  21. GLOBIS DIGITAL PLATFORM 21 実装の解説 Sidekiq::Context.add

  22. GLOBIS DIGITAL PLATFORM 22 実装の解説 Sidekiq::Contextは Jobの状態をハッシュに詰め込んだもの Sidekiq::Context.add

  23. GLOBIS DIGITAL PLATFORM 23 実装の解説 $ cat config/initializers/sidekiq.rb config.error_handlers

  24. GLOBIS DIGITAL PLATFORM 24 実装の解説 config.error_handlers

  25. GLOBIS DIGITAL PLATFORM 25 実装の解説 config.error_handlers default error handler add_jid_

    error_handler default error handler Array#unshiftで配列に先頭追加することで 以降のhandlerでctx.jidが出力される

  26. GLOBIS DIGITAL PLATFORM 26 まとめ Jobが完了していない原因を特定しやすくなった！！！ 引用: https://github.com/sidekiq/sidekiq/wiki/Job-Lifecycle

  27. GLOBIS DIGITAL PLATFORM 27 まとめ 明日、Sidekiqオブザーバビリティ向上 Pull Requestを作成し 検証環境で実験できるようになった！

  28. We are hiring！！！