PagerDutyを活用したオンコール運用の軌跡（ココナラ編）

by coconala_engineer

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Copyright coconala Inc. All Rights Reserved. 2016年当時のオンコール運用の課題 10 オンコール運用が建設的に回っていたとは言い難い以下の課題によって、クリティカルなインシデントの対応が遅れた。 1. アラート発生時のオンコール担当者が誰かわかりにくく、フォローが遅れがち。 2. アラートの通知がメールのみなので、反応が遅れがち。 3. ↑の結果として、MTTA（平均確認時間）が約10分程度。

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Copyright coconala Inc. All Rights Reserved. なぜPagerDutyを採用したの？ 13 PagerDutyが一番費用対効果が高いと判断できた 3つの手段とPagerDutyを比較。 1. 外注 2. Amazon Connect 3. 内製 2016年当時はエンジニアの人数が1 桁〜10名程度だったため、3は捨て案で、1も費用がかさむので難しく、2 よりも「アドオンされる機能が多かった」ことが決め手。

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Copyright coconala Inc. All Rights Reserved. ココナラでPagerDutyを導入した目的 15 MTTAの短縮＋αを実現したかった前述の課題対応として、大きくは以下の3つを実現したいと考えていた。 1. 複数の監視ツールのアラートを集約し、架電する仕組みの実現。 2. オンコール担当者不在 or 一定時間反応がなかったときの自動エスカレーションの実現。 3. 解決が難しいアラートの速やかな上位エスカレーションの実現。

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Copyright coconala Inc. All Rights Reserved. やっぱりツールを使う中で、課題ってあるよね 🤔 その1 18 運用をツールにアジャストする必要があったまずはPagerDutyの使い方を知っているエンジニアが少なく、ツールの使い方の勉強や試行錯誤するところから着手した。（今ほど、コミュニティが発達していなかったので…）また、労務観点・就業規則観点含むオンコール対応のルールを作り込む必要があり、ドキュメントの整備が必要だった。

Slide 19

Slide 19 text

Copyright coconala Inc. All Rights Reserved. やっぱりツールを使う中で、課題ってあるよね 🤔 その2 19 PagerDutyをより効率的に使うために試行錯誤したオンコール運用を円滑かつ効率的に実践していくための手段を模索した。（今はその機能がPagerDutyにローンチされているものもありますが）当時は自作して利活用することで、”かゆいところに手が届く”状態を実現していた。その結果、PagerDuty導入の効果を最大化できたと言える。

Slide 20

Slide 20 text

Copyright coconala Inc. All Rights Reserved. 事例その1：当日のオンコール担当者をSlackに通知 20 エンジニア全体でオンコール体制の理解を促進毎日10時にオンコールシフトを切り替える運用をしており、切り替えタイミングで当日のオンコール担当者をエンジニア全体がいるチャンネルへ通知。自身のカレンダーに自分のオンコールシフトを連携しているメンバーが大多数だが、この通知で認識漏れを防ぐことも目的としている。

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Copyright coconala Inc. All Rights Reserved. 事例その3：アラートのキーワードを元にRunbookを通知 22 アラート対応の効率化を実現既出のアラートであらかじめRunbookを用意しているものは、アラートの通知内容からキーワードを抽出し、Runbookを Slackに通知。これによって、Slackを見るだけでインシデント対応を進めることが可能、かつ、オンコール担当者以外もアラート対応を円滑に進めることができる。

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Copyright coconala Inc. All Rights Reserved. 日本語ドキュメントの拡充 30 これがあれば圧倒的に嬉しいことが増える日本法人が新しく設立されたばかりなので、致し方ない部分ではあるが、日本語のドキュメントがまだ少ない。主要な情報は英語のドキュメントで提供されており、PagerDuty Summit 2023のパネルディスカッションでもこの話題が挙がったので、ぜひ対応してほしい。

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Copyright coconala Inc. All Rights Reserved. 24時間・365日稼働しているサービスには欠かせないツール 34 一度使ってみる価値のあるツール 24時間・365日で動いているサービスの前提として、オンコール運用関係者が同じ方向を向いて動けることが重要。「障害検知」において、様々あるサードパーティの情報を統合し、異常を通知するプロセスが第一歩目となり、現時点で PagerDutyを代替するツールやサービスはないと考える。

Slide 35

Slide 35 text

Copyright coconala Inc. All Rights Reserved. オンコール運用に課題感を感じていたら、とりあえず PoCをやってほしい 35 オンコール運用へ組み込めるイメージの具体化が大事「14日の無料トライヤル」と公式サイトに書いてあるので、そこでPagerDuty社のサポートを受けつつ、使用感や使いやすさをまずは体感するところから始めてほしい。そのうえで本番運用に組み込めそう or 組み込めたら、一緒にユーザーコミュニティの活性化をしてほしい！😁

Slide 36

Slide 36 text

Copyright coconala Inc. All Rights Reserved. 情報収集の手段として、コミュニティを活用してほしい 36 TTP（徹底的にパクる）を愚直に行う先人たちの知見はものすごく大事なので、ベストプラクティスの収集などを目的にコミュニティや今日のイベントを活用してほしい。そこで得た学びを実践してみて、その結果をフィードバックすることで、一段とコミュニティが活性化し、集合知が貯まっていく。

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

ユーザーのストーリーをテクノロジーでサポートするエントリーお待ちしてます！ coconala engineer 採用 https://coconala.co.jp/recruit/engineer

Slide 41

Slide 41 text

Fin

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Copyright coconala Inc. All Rights Reserved. PagerDutyに関するココナラのアウトプット 43 ● PagerDutyの事例掲載 ○ https://www.pagerduty.co.jp/customers/coconala/ ● PagerDuty Summit 2023の登壇レポート ○ https://zenn.dev/coconala/articles/ca9a60341721f7 ● Findy Toolsのレビュー ○ https://findy-tools.io/products/pagerduty/3/16 ● アドベントカレンダーの記事 ○ https://zenn.dev/coconala/articles/56796b24415ec8

Slide 44

Slide 44 text