オンコール運用をほんの少し効率的に行うためのTips

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Copyright coconala Inc. All Rights Reserved. PagerDuty導入前のオンコール運用の課題 5 オンコール運用が建設的に回っていたとは言い難い以下の課題によって、クリティカルなインシデントの対応が遅れた。 1. アラート発生時のオンコール担当者が誰かわかりにくく、フォローが遅れがち。 2. アラートの通知がメールのみなので、反応が遅れがち。 3. ↑の結果として、 MTTA（平均確認時間）が約 10分程度。

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Copyright coconala Inc. All Rights Reserved. ココナラでPagerDutyを導入した目的 8 MTTAの短縮＋αを実現したかった前述の課題対応として、大きくは以下の3つを実現したいと考えていた。 1. 複数の監視ツールのアラートを集約し、架電する仕組みの実現。 2. オンコール担当者不在 or 一定時間反応がなかったときの自動エスカレーションの実現。 3. 解決が難しいアラートの速やかな上位エスカレーションの実現。

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Copyright coconala Inc. All Rights Reserved. やっぱりツールを使う中で、課題ってあるよね 🤔 その1 10 運用をツールにアジャストする必要があったまずはPagerDutyの使い方を知っているエンジニアが少なく、ツールの使い方の勉強や試行錯誤するところから着手した。（今ほど、コミュニティが発達していなかったので…）また、労務観点・就業規則観点含むオンコール対応のルールを作り込む必要があり、ドキュメントの整備が必要だった。

Slide 11

Slide 11 text

Copyright coconala Inc. All Rights Reserved. やっぱりツールを使う中で、課題ってあるよね 🤔 その2 11 PagerDutyをより効率的に使うために試行錯誤したオンコール運用を円滑かつ効率的に実践していくための手段を模索した。（今はその機能がPagerDutyにローンチされているものもありますが）当時は自作して利活用することで、”かゆいところに手が届く”状態を実現していた。その結果、 PagerDuty導入の効果を最大化できたと言える。

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Copyright coconala Inc. All Rights Reserved. AI Opsの利活用 14 人は人のやるべきことに集中する PagerDutyはAI Opsに関する機能を多数ローンチしている。（以下は一例）・アラートの統合と集約・障害対応内容の示唆・Runbookの実行・ポストモーテムの作成　etc 人でないとできないところにフォーカスできれば、よりオンコール対応がスムーズに進められる。

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Fin

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Copyright coconala Inc. All Rights Reserved. PagerDutyに関するココナラのアウトプット 21 ● PagerDutyの事例掲載 ○ https://www.pagerduty.co.jp/customers/coconala/ ● PagerDuty Summit 2023の登壇レポート ○ https://zenn.dev/coconala/articles/ca9a60341721f7 ● Findy Toolsのレビュー ○ https://findy-tools.io/products/pagerduty/3/16 ● アドベントカレンダーの記事 ○ https://zenn.dev/coconala/articles/56796b24415ec8

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Copyright coconala Inc. All Rights Reserved. 事例その1：当日のオンコール担当者を Slackに通知 23 エンジニア全体でオンコール体制の理解を促進毎日10時にオンコールシフトを切り替える運用をしており、切り替えタイミングで当日のオンコール担当者をエンジニア全体がいるチャンネルへ通知。自身のカレンダーに自分のオンコールシフトを連携しているメンバーが大多数だが、この通知で認識漏れを防ぐことも目的としている。

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Copyright coconala Inc. All Rights Reserved. 事例その3：アラートのキーワードを元に Runbookを通知 25 アラート対応の効率化を実現既出のアラートであらかじめRunbookを用意しているものは、アラートの通知内容からキーワードを抽出し、 Runbookを Slackに通知。これによって、Slackを見るだけでインシデント対応を進めることが可能、かつ、オンコール担当者以外もアラート対応を円滑に進めることができる。