Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
失敗を経験したあなたへ〜建設的なインシデントの振り返りを行うために実践するべきこと〜
Search
NobuakiKikuchi
May 20, 2022
Technology
0
720
失敗を経験したあなたへ〜建設的なインシデントの振り返りを行うために実践するべきこと〜
JAWS-UG SRE支部 #3
今回のテーマは「これってSREなの?LT大会」
NobuakiKikuchi
May 20, 2022
Tweet
Share
More Decks by NobuakiKikuchi
See All by NobuakiKikuchi
ハッカー飯に New Relic を導入して実践した3つのこと
nobuakikikuchi
0
730
エンジニアと気軽に繋がれるプラットフォーム「ハッカー飯」で行った セキュリティ・モニタリングに関する取り組みについて
nobuakikikuchi
0
840
約1万台のサーバー運用を行うMSPの舞台裏
nobuakikikuchi
0
500
Dockerをざっくり知る
nobuakikikuchi
0
730
Other Decks in Technology
See All in Technology
君も受託系GISエンジニアにならないか
sudataka
2
420
株式会社EventHub・エンジニア採用資料
eventhub
0
4.3k
RSNA2024振り返り
nanachi
0
560
2025-02-21 ゆるSRE勉強会 Enhancing SRE Using AI
yoshiiryo1
1
150
Platform Engineeringは自由のめまい
nwiizo
4
2k
速くて安いWebサイトを作る
nishiharatsubasa
10
12k
ビジネスモデリング道場 目的と背景
masuda220
PRO
9
490
Datadog APM におけるトレース収集の流れ及び Retention Filters のはなし / datadog-apm-trace-retention-filters
k6s4i53rx
0
330
第13回 Data-Centric AI勉強会, 画像認識におけるData-centric AI
ksaito_osx
0
370
次世代KYC活動報告 / 20250219-BizDay17-KYC-nextgen
oidfj
0
240
2.5Dモデルのすべて
yu4u
2
830
個人開発から公式機能へ: PlaywrightとRailsをつなげた3年の軌跡
yusukeiwaki
11
3k
Featured
See All Featured
Code Review Best Practice
trishagee
67
18k
A Modern Web Designer's Workflow
chriscoyier
693
190k
StorybookのUI Testing Handbookを読んだ
zakiyama
28
5.5k
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Why You Should Never Use an ORM
jnunemaker
PRO
55
9.2k
RailsConf 2023
tenderlove
29
1k
Making Projects Easy
brettharned
116
6k
Art, The Web, and Tiny UX
lynnandtonic
298
20k
The Art of Programming - Codeland 2020
erikaheidi
53
13k
Product Roadmaps are Hard
iamctodd
PRO
50
11k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.1k
Transcript
失敗を経験したあなたへ ~建設的なインシデントの振り返りを行うために実践するべきこと~ 2022/05/20 JAWS-UG SRE支部 #3 菊池 宣明
このセッションでお話しすること SRE 本の “Postmortem Culture: Learning from Failure” の章では事後分析 (Postmortem)
について記載されています。 また、インシデントが発生しても非難を行わず、建設的な事後分析を行うことは SRE の信条で あるとも説明されています。 https://sre.google/sre-book/table-of-contents/
このセッションでお話しすること SRE 本の “Postmortem Culture: Learning from Failure” の章では事後分析 (Postmortem)
について記載されています。 また、インシデントが発生しても非難を行わず、建設的な事後分析を行うことは SRE の信条で あるとも説明されています。 今日はここに着目します https://sre.google/sre-book/table-of-contents/
このセッションでお話しすること SRE 本の “Postmortem Culture: Learning from Failure” の章では事後分析 (Postmortem)
について記載されています。 また、インシデントが発生しても非難を行わず、建設的な事後分析を行うことは SRE の信条で あるとも説明されています。 失敗が発生した際に自分および周りの人はどのような立ち回りをすると良いのかについて僕の 考えを述べていこうと思います! https://sre.google/sre-book/table-of-contents/ 今日はここに着目します
自己紹介
• 菊池 宣明(Twitter:@kikulabo) ◦ 普段は X-Tech 5 で SRE 業務を行っています
◦ 副業で「ハッカー飯」というサービスの運営と開発をやってます • 趣味 ◦ ゲーム(スマブラ、Fortnite) • 好きな AWS のサービス ◦ AWS サポート
”失敗” した経験ありますか?
僕の失敗エピソード① EC2 のインスタンスタイプを変更する際に ELB から外さず作業を行った
僕の失敗エピソード② 「再起動しない」にチェックを入れずに AMI を取得しサービス影響を起こした
僕の失敗エピソード③ お客様が使用しているユーザを全て削除(無効化)してしまった
人の手で運用している以上 インシデントの発生は避けられない
失敗は学びに変えろと世間一般的には言われるが…
初めのうちはメンタル的に失敗を受け入れるのは辛い
ではメンタルをどのように回復させれば良いか?
僕が失敗をしてしまった時のルーチン① インシデントの対処後その日の業務は終了する 理由:落ち込んでいる時に続けて作業をするのは効率が悪いから
僕が失敗をしてしまった時のルーチン② 普段よりも贅沢して美味しいものを食べる 理由:手っ取り早く幸福感を味わえるから
僕が失敗をしてしまった時のルーチン③ 沢山寝る 理由:睡眠とメンタルヘルスには密接な関係があるから
メンタルの復旧が行われてからインシデントの振り返りを行う ※詳細を忘れてしまうこともあるので次の日には取り組むようにしましょう
自分の部下がインシデントを起こしてしまった時は
報告内容に関して批判を行わない 理由:心理的安全性を確保できるから(隠蔽化されるケースを防ぐため)
ミスを許容し対処内容に関して称賛する 理由:組織全体としてミスに対する理解を促進させるため
インシデントの振り返りを部下と一緒に行う 理由:インシデントの発生原因を自分の不注意のせいにしがちになるから 運用でカバーするのではなく仕組みで解決できるように上司は導いてあげる
インシデントの振り返り:ポストモーテムに関する参考記事 • Postmortem Culture: Learning from Failure ◦ https://sre.google/sre-book/postmortem-culture/ •
失敗から学ぶ - ポストモーテム / Postmotem culture at Wantedly ◦ https://speakerdeck.com/munisystem/postmotem-culture-at-wantedly • 1年間のポストモーテム運用とそこから生まれたツール sre-advisor / SRE NEXT 2022 ◦ https://speakerdeck.com/fujiwara3/1nian-jian-falseposutomotemuyun-yong-tosokokarasheng-maretatu ru-sre-advisor
このセッションで伝えたかったこと • インシデント対応も大事だが自分のメンタルの復旧作業も忘れずに取り組むこと • 自分の部下が失敗した時はメンタルヘルスケアを行ってあげること • 組織としてミスを許容し批判を行わず障害に対して健全な議論を行うこと ご清聴ありがとうございました!