Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ポストモーテム読書会のすすめ
Search
taxin
July 04, 2024
Technology
1
2.4k
ポストモーテム読書会のすすめ
taxin
July 04, 2024
Tweet
Share
More Decks by taxin
See All by taxin
監視SaaSの運用におけるObservability改善の歩み
taxin
4
4.5k
OpenTelemetry実践 はじめの一歩
taxin
0
3k
カスタムダッシュボードの活用方法とMackerel開発チームでの実践例
taxin
0
1.6k
SREを「続けていく」あなたへ
taxin
1
360
Cloud runユーザーから見たk8s
taxin
0
890
ローカルk8s環境のススメ / k8s-tools-for-local
taxin
0
1.2k
EKS 101
taxin
0
940
Other Decks in Technology
See All in Technology
An introduction to Claude Code SDK
choplin
3
3.1k
Webの技術とガジェットで那須の子ども達にワクワクを! / IoTLT_20250720
you
PRO
0
120
毎晩の 負荷試験自動実行による効果
recruitengineers
PRO
5
200
第64回コンピュータビジョン勉強会「The PanAf-FGBG Dataset: Understanding the Impact of Backgrounds in Wildlife Behaviour Recognition」
x_ttyszk
0
260
室長の逆襲 :データ活用の陣地を増やすためのヒント
masatoshi0205
0
150
セキュアなAI活用のためのLiteLLMの可能性
tk3fftk
1
540
ObsidianをLLM時代のナレッジベースに! クリッピング→Markdown→CLI連携の実践
srvhat09
7
8k
DATA+AI SummitとSnowflake Summit: ユーザから見た共通点と相違点 / DATA+AI Summit and Snowflake Summit
nttcom
0
140
Figma Dev Mode MCP Serverを用いたUI開発
zoothezoo
1
280
サービスを止めるな! DDoS攻撃へのスマートな備えと最前線の事例
coconala_engineer
1
210
AI Ready API ─ AI時代に求められるAPI設計とは?/ AI-Ready API - Designing MCP and APIs in the AI Era
yokawasa
20
5.4k
AIを使っていい感じにE2Eテストを書けるようになるまで / Trying to Write Good E2E Tests with AI
katawara
0
210
Featured
See All Featured
Java REST API Framework Comparison - PWX 2021
mraible
31
8.7k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
YesSQL, Process and Tooling at Scale
rocio
173
14k
Optimising Largest Contentful Paint
csswizardry
37
3.3k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Adopting Sorbet at Scale
ufuk
77
9.5k
Typedesign – Prime Four
hannesfritz
42
2.7k
Designing Experiences People Love
moore
142
24k
Practical Orchestrator
shlominoach
189
11k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
126
53k
Intergalactic Javascript Robots from Outer Space
tanoku
271
27k
Transcript
ポストモーテム読書会 のすすめ id:taxintt / @taxin_tt 2024/07/05 Road To SRE NEXT@京都
1
自己紹介 • 西川 拓志 ◦ id: taxintt / @taxin_tt •
Mackerel開発チーム SRE 2
3 みなさん
4 ポストモーテム書いてますか?
5 ポストモーテム 「読んで」ますか?
ポストモーテムとは? • post-mortem=事後検証 ◦ > a medical examination of a
dead person's body in order to find out the cause of death. • インシデントの再発防止策を検討するための プロセス 6 https://dictionary.cambridge.org/ja/dictionary/english/post-mortem
7 https://sre.google/sre-book/postmortem-culture/
ポストモーテムとは? • インシデントの再発防止策をまとめた社内向け のドキュメント ◦ インシデントとそのインパクト ◦ その緩和や解消のために行われたアクション ◦ インシデントの根本原因
◦ インシデントの再発を避けるためのアクション 8
9 https://sre.google/workbook/postmortem-culture/
はてなのポストモーテム文化 • ポストモーテムを書く文化がある • 他チームのポストモーテムは社内ナレッジ ベースに載り、作成時には全社通知がくる ◦ ポストモーテムの存在を知ることができる ◦ 他チームのポストモーテムも閲覧できる
10
11 読むしかないでしょ
ポストモーテム読書会 • 社内外のポストモーテムから題材を1つ選ぶ • Cosenseを使いながら読書会を実施する ◦ 読書 + コメント記入タイム (20
~ 25分) ◦ コメントをみながら議論をする (30分) ◦ 議論の中で挙がったTODO を確認する (5分) 12
13
読書会やってよかったこと • 「生きた」学びを得て、活用できる ◦ 特に、社内のポストモーテムは障害原因から障害対応の 様子、再発防止策まで具体的なことが書いてある ◦ 具体的な内容の方が、学びを得たり改善に繋げやすい 14
読書会やってよかったこと ◦ インシデントの根本原因 ▪ 「この障害、自分達のプロダクトでも発生し得るのでは? 」 ◦ 障害対応のフロー・ドキュメント ▪ いいと思った所を真似する、アレンジして取り入れる
◦ インシデントの再発防止策 ▪ 先んじて調査・実施することで障害を未然に防ぐ 15
読書会で出たTODO • 障害対応のプロセスの改善 ◦ 障害対応ドキュメントテンプレート、Runbookの改善 ◦ メンテナンス時の考慮事項のドキュメント化 • 監視ルールの点検会 ◦
コンポーネントごとに監視が充足しているか点検する • etc… 16
17
18 ポストモーテム 読んで活用していきましょう