Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
失敗を経験したあなたへ〜建設的なインシデントの振り返りを行うために実践するべきこと〜
Search
NobuakiKikuchi
May 20, 2022
Technology
0
760
失敗を経験したあなたへ〜建設的なインシデントの振り返りを行うために実践するべきこと〜
JAWS-UG SRE支部 #3
今回のテーマは「これってSREなの?LT大会」
NobuakiKikuchi
May 20, 2022
Tweet
Share
More Decks by NobuakiKikuchi
See All by NobuakiKikuchi
ハッカー飯に New Relic を導入して実践した3つのこと
nobuakikikuchi
0
770
エンジニアと気軽に繋がれるプラットフォーム「ハッカー飯」で行った セキュリティ・モニタリングに関する取り組みについて
nobuakikikuchi
0
890
約1万台のサーバー運用を行うMSPの舞台裏
nobuakikikuchi
0
530
Dockerをざっくり知る
nobuakikikuchi
0
740
Other Decks in Technology
See All in Technology
タイミーのデータモデリング事例と今後のチャレンジ
ttccddtoki
6
2.4k
AI エージェントと考え直すデータ基盤
na0
13
3.5k
American airlines ®️ USA Contact Numbers: Complete 2025 Support Guide
airhelpsupport
0
390
SRE不在の開発チームが障害対応と 向き合った100日間 / 100 days dealing with issues without SREs
shin1988
1
250
IPA&AWSダブル全冠が明かす、人生を変えた勉強法のすべて
iwamot
PRO
2
180
【Oracle Cloud ウェビナー】インフラのプロフェッショナル集団KELが考えるOCIでのソリューション実現
oracle4engineer
PRO
1
100
20250705 Headlamp: 專注可擴展性的 Kubernetes 用戶界面
pichuang
0
280
LangChain Interrupt & LangChain Ambassadors meetingレポート
os1ma
2
320
ビジネス職が分析も担う事業部制組織でのデータ活用の仕組みづくり / Enabling Data Analytics in Business-Led Divisional Organizations
zaimy
0
140
ABEMAの本番環境負荷試験への挑戦
mk2taiga
3
150
CDKTFについてざっくり理解する!!~CloudFormationからCDKTFへ変換するツールも作ってみた~
masakiokuda
1
170
AWS認定を取る中で感じたこと
siromi
1
200
Featured
See All Featured
How to train your dragon (web standard)
notwaldorf
96
6.1k
We Have a Design System, Now What?
morganepeng
53
7.7k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
22k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
107
19k
How to Ace a Technical Interview
jacobian
278
23k
Measuring & Analyzing Core Web Vitals
bluesmoon
7
510
Code Reviewing Like a Champion
maltzj
524
40k
The Straight Up "How To Draw Better" Workshop
denniskardys
235
140k
How STYLIGHT went responsive
nonsquared
100
5.6k
Embracing the Ebb and Flow
colly
86
4.7k
Building an army of robots
kneath
306
45k
Six Lessons from altMBA
skipperchong
28
3.9k
Transcript
失敗を経験したあなたへ ~建設的なインシデントの振り返りを行うために実践するべきこと~ 2022/05/20 JAWS-UG SRE支部 #3 菊池 宣明
このセッションでお話しすること SRE 本の “Postmortem Culture: Learning from Failure” の章では事後分析 (Postmortem)
について記載されています。 また、インシデントが発生しても非難を行わず、建設的な事後分析を行うことは SRE の信条で あるとも説明されています。 https://sre.google/sre-book/table-of-contents/
このセッションでお話しすること SRE 本の “Postmortem Culture: Learning from Failure” の章では事後分析 (Postmortem)
について記載されています。 また、インシデントが発生しても非難を行わず、建設的な事後分析を行うことは SRE の信条で あるとも説明されています。 今日はここに着目します https://sre.google/sre-book/table-of-contents/
このセッションでお話しすること SRE 本の “Postmortem Culture: Learning from Failure” の章では事後分析 (Postmortem)
について記載されています。 また、インシデントが発生しても非難を行わず、建設的な事後分析を行うことは SRE の信条で あるとも説明されています。 失敗が発生した際に自分および周りの人はどのような立ち回りをすると良いのかについて僕の 考えを述べていこうと思います! https://sre.google/sre-book/table-of-contents/ 今日はここに着目します
自己紹介
• 菊池 宣明(Twitter:@kikulabo) ◦ 普段は X-Tech 5 で SRE 業務を行っています
◦ 副業で「ハッカー飯」というサービスの運営と開発をやってます • 趣味 ◦ ゲーム(スマブラ、Fortnite) • 好きな AWS のサービス ◦ AWS サポート
”失敗” した経験ありますか?
僕の失敗エピソード① EC2 のインスタンスタイプを変更する際に ELB から外さず作業を行った
僕の失敗エピソード② 「再起動しない」にチェックを入れずに AMI を取得しサービス影響を起こした
僕の失敗エピソード③ お客様が使用しているユーザを全て削除(無効化)してしまった
人の手で運用している以上 インシデントの発生は避けられない
失敗は学びに変えろと世間一般的には言われるが…
初めのうちはメンタル的に失敗を受け入れるのは辛い
ではメンタルをどのように回復させれば良いか?
僕が失敗をしてしまった時のルーチン① インシデントの対処後その日の業務は終了する 理由:落ち込んでいる時に続けて作業をするのは効率が悪いから
僕が失敗をしてしまった時のルーチン② 普段よりも贅沢して美味しいものを食べる 理由:手っ取り早く幸福感を味わえるから
僕が失敗をしてしまった時のルーチン③ 沢山寝る 理由:睡眠とメンタルヘルスには密接な関係があるから
メンタルの復旧が行われてからインシデントの振り返りを行う ※詳細を忘れてしまうこともあるので次の日には取り組むようにしましょう
自分の部下がインシデントを起こしてしまった時は
報告内容に関して批判を行わない 理由:心理的安全性を確保できるから(隠蔽化されるケースを防ぐため)
ミスを許容し対処内容に関して称賛する 理由:組織全体としてミスに対する理解を促進させるため
インシデントの振り返りを部下と一緒に行う 理由:インシデントの発生原因を自分の不注意のせいにしがちになるから 運用でカバーするのではなく仕組みで解決できるように上司は導いてあげる
インシデントの振り返り:ポストモーテムに関する参考記事 • Postmortem Culture: Learning from Failure ◦ https://sre.google/sre-book/postmortem-culture/ •
失敗から学ぶ - ポストモーテム / Postmotem culture at Wantedly ◦ https://speakerdeck.com/munisystem/postmotem-culture-at-wantedly • 1年間のポストモーテム運用とそこから生まれたツール sre-advisor / SRE NEXT 2022 ◦ https://speakerdeck.com/fujiwara3/1nian-jian-falseposutomotemuyun-yong-tosokokarasheng-maretatu ru-sre-advisor
このセッションで伝えたかったこと • インシデント対応も大事だが自分のメンタルの復旧作業も忘れずに取り組むこと • 自分の部下が失敗した時はメンタルヘルスケアを行ってあげること • 組織としてミスを許容し批判を行わず障害に対して健全な議論を行うこと ご清聴ありがとうございました!