$30 off During Our Annual Pro Sale. View Details »

Incident Response / infra study 3

tjun
June 16, 2020

Incident Response / infra study 3

Infra Study Meetup #3の発表資料です。
https://forkwell.connpass.com/event/176885/

tjun

June 16, 2020
Tweet

More Decks by tjun

Other Decks in Technology

Transcript

  1. Incident Response
    Infra Study Meetup #3 LT
    Merpay SRE
    @tjun
    Junichiro Takagi https://speakerdeck.com/tjun/infra-study-3

    View Slide

  2. 「インシデント対応やってますか?」

    View Slide

  3. 今日のテーマ
    Incident Response
    ● できればやりたくない
    ● でもSREをやるなら避けられない
    ● どうすれば、より健全なIncident Responseができるか
    今日の話は https://response.pagerduty.com/ の超ざっくりしたまとめ
    なので、詳しくは読んでほしい

    View Slide

  4. はじめに
    Incident とは
    予期せず提供しているサービスが利用できない状態になったり、
    期待している機能が提供できない状態

    View Slide

  5. はじめに
    Incident とは
    予期せず提供しているサービスが利用できない状態になったり、
    期待している機能が提供できない状態
    Incident Response とは
    Incidentを解決・管理するための組織的なしくみ。
    問題を解決するだけでなく、被害を減らしたり解決までの時間やコストを減らす
    取り組みも含まれる。
    エンジニアだけじゃなく、Customer Support、PM、PRなども関わる。

    View Slide

  6. Incident 前に
    やること
    ● 心構え: Incidentは必ず起きる…!
    ● Incident, Severity を定義する
    ● Trigger を用意する
    ● 役割を決める(Incident Commander等)
    ● コミュニケーションの仕組みを
    用意する

    View Slide

  7. Incident 中に
    やること
    ● 心構え: 慌てない
    ● 必要なメンバーを招集する
    ● 役割ごとに必要な対応を行う
    ○ Incident Commander
    関係者に連絡しSlackで指示を出す
    ○ エンジニア
    問題を調査し解決方法を提案・実行する

    View Slide

  8. Incident 後に
    やること
    ● 心構え: Blameless ( 人を責めない )
    ● Post-mortem(振り返り) を行う
    ○ What Happened?
    ○ Impact
    ○ Resolution
    ○ Timeline
    ○ うまくできたこと、だめだったこと
    ○ Action Items

    View Slide

  9. Incident Response をはじめよう
    1. インシデントを定義する
    2. コミュニケーションの仕組みを作る
    ○ アラート設定、Slackで集まるChannel、などを用意
    3. インシデント対応の役割を決める
    ○ Incident Commanderを決める
    4. Post-mortemのテンプレを作る
    ○ https://landing.google.com/sre/sre-book/chapters/postmortem/ などが参考になる
    5. 練習する
    6. 実際のインシデントで実行する

    View Slide

  10. まとめ
    ● Incident Response はSREだけのものではない、組織的な
    仕組みづくりが必要。できるところから始めよう
    ● 適切な準備をして、健全な運用を作りましょう

    View Slide