スムーズなインシデント対応を実現する仕組み化/Mechanism for smooth incident response

Slide 1

Slide 1 text

スムーズなインシデント対応を実現する仕組み化 2024/06/11 株式会社ワンキャリア渡邉美希パウラ

Slide 2

Slide 2 text

Slide 3

Slide 3 text

人の数だけ、キャリアをつくる。 MISSION

Slide 4

Slide 4 text

Copyright © ONE CAREER Inc. 事業内容 4 1. キャリアデータとは、求職者の活動データ、企業の採用データの総称。 2. 日本の人事部「HRアワード2020」にてプロフェッショナル部門（人材採用・雇用部門）で最優秀賞を受賞。 3. NewsPicks発表「【図解】20サービスを徹底比較。本当に役立つ「就活サイト」一覧より。 4. ProFuture株式会社/HR総研「HR総研×楽天みん就:2024年卒学生の就職活動動向調査結果報告【就職活動編】」(https://www.hrpro.c o.jp/research_detail.php?r_no=360)より。 5. 2023年12月時点の実測値。これまで可視化されていなかった「キャリアデータ1」を活用し、就職・採用の意思決定をサポート。サービス一覧 5 4

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Copyright © ONE CAREER Inc. All Rights Reserved. 課題：インシデントや異常の検知、及び対応の着手に時間がかかるインシデント発生前における課題 11 どのアラートが上がったら何をすれば良いかわかりづらい課題打ち手緊急度別でアラートを分けてそれぞれの対応を明確化アラートがトリガーする前に検知できる異常を検知できていない正常監視やSLO監視で異常を早期検知する

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Copyright © ONE CAREER Inc. All Rights Reserved. SLOを%で統一し、全指標の目標をわかりやすくした施策①：定常監視による早期検知 13 SLOの定義方法のTips ● SLIは良いイベントにする ○ 例：エラー率ではなく、正常なリクエストの割合にする ● ％で表現する：エラーバジェットが明確になりサービスが余裕かどうかわかる 30日間のエラー率が0.1%以下 30日間のp95ターゲットレスポンスタイムが1秒以下 30日間の正常なリクエストの割合が99.9%以上 30日間のp95レイテンシーが1秒以下である時間の割合が99%以上 Before After

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Copyright © ONE CAREER Inc. All Rights Reserved. 各プロダクトでインフラメトリクスをトリアージし、緊急度別でアラートを分岐施策②：インフラアラートの運用を明確化 15 外形監視リソースの使用率コンテナの死活監視 10 mins以内に対応リアルタイムでユーザー影響が出ているため 24 hrs以内に対応必ずしもリアルタイムでユーザー影響が出ているわけではないため

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Copyright © ONE CAREER Inc. All Rights Reserved. 課題：インシデント発生時の対応ルールや手順が明確になっていないインシデント対応時においての課題 17 誰が何をするべきなのか決まっていないがゆえに、対応が遅れる課題打ち手障害対応フローを作成し、サービス復旧作業の役割を明確化した重大なインシデント発生時にステークホルダーに対して報告が迅速化できていない障害レベルごとにコミュニケーションフローを作成し、ステークホルダーの切り分けを実施

Slide 18

Slide 18 text

Copyright © ONE CAREER Inc. All Rights Reserved. 復旧作業の役割と手順を明確化し、迅速にサービスを復旧できるようにした施策①：障害対応フローの作成＆サービス復旧作業の役割明確化 18 インシデント発生関連メンバーに報告サポーターからの報告をもとに復旧作業の意思決定メトリクスの確認メトリクスについてコマンダーに報告作業記録（インシデント発生〜サービス復旧まで）リリースをロールバックアプリケーションサーバーやDBを増強サービス復旧水色：コマンダー（マネージャーレベルのプロダクト開発者）黄色：サポーター（SREまたは関連プロダクトの開発者）

Slide 19

Slide 19 text

Copyright © ONE CAREER Inc. All Rights Reserved. インシデント発生時の報告フローを明確化し、ステークホルダーとのコミュニケーションを円滑に保つ施策②：コミュニケーションフローの作成＆ステークホルダーの切り分け 19 ✓他事業部とのコミュニケーションフロー徹底 ✓速報用のSlackWFの活用 ✓ 開発起因で発生したインシデントにおいて今まで明文化されていなかった他事情部との報告フローを整備 ✓ 速報として報告すべきことが分散しないために報告内容をWF形式でフォーマット化するよう整備

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Copyright © ONE CAREER Inc. All Rights Reserved. 今後の展望 23 インシデント対応の属人化を防ぎ、全エンジニアが復旧作業を実施できるように ● インシデント対応ができるエンジニアが限定されている ● インシデント対応ができるエンジニアが不在の時のリスクが大きい現状の課題 ● インシデント対応の訓練を定期的に実施する ● インシデントの履歴を他チームに展開することでナレッジをシェアする ○ 週次のニュースレター形式で発信するの良さそう今後

Slide 24

Slide 24 text

Copyright © ONE CAREER Inc. All Rights Reserved. ワンキャリアでは、インシデント発生前から発生後にわたってインシデントマネジメントの仕組み作りを促進しているまとめ 24 インシデント発生前 → 緊急度別にアラートを分岐、正常監視やSLO監視で異常を早期検知インシデント発生時 → コミュニケーションフロー、復旧フローで役割と手順を明確化インシデント発生後 → 再発防止のためにポストモーテムを実施今後の展望 → インシデント対応を実施できるエンジニアを増やす

Slide 25

Slide 25 text