Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
入門 再発防止策
Search
Sponsored
·
Your Podcast. Everywhere. Effortlessly.
Share. Educate. Inspire. Entertain. You do you. We'll handle the rest.
→
ryuichi1208
May 19, 2026
8.1k
17
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
入門 再発防止策
ryuichi1208
May 19, 2026
Transcript
38 slides
入門 再発防止策 ~ 再発防止策をどう考えるか ~ Tamachi.sre#4 渡部 龍一
アジェンダ • • • • • • 自己紹介 そもそも再発防止策とは アンチパターン再発防止策
良い再発防止策 AIとSREと再発防止策と まとめ
自己紹介
自己紹介 • 渡部龍一 • X: ryuichi_1208 • 株式会社IVRy SRE •
Tamach.sreの主催の一人 • AIで自作プログラミング言語 ◦ Pythonっぽい書き味の別言語 ◦ AIもすごいがLLVMもすごい...
(宣伝)SREの知識地図 • 共著した • 増刷した • SREのテーマを広く扱っている • SLI/SLO、トイル、組織 •
その中にもポストモーテムの章 • 今日は書籍+αの内容
そもそも再発防止策とは何か
再発防止 = “失敗しにくい仕組み ” を作ること
人間が頑張るは限界がある • • • • ミスする 忘れる 疲れる 焦る
再発防止では • ミスを起こしにくくする • ミスしても壊れにくくする • 壊れても早く気づけるようにする “システム側の改善” が重要
「原因を潰す」だけでは不十分 • 設定ミスで障害発生 • 設定を修正 これだけでは別の設定ミスは防げる??
None
None
「原因を潰す」だけでは不十分 • なぜ危険な変更ができたのか • なぜ検知できなかったのか • なぜ影響が広がったのか
再発防止のゴール /目的は「障害ゼロ」ではない • • • • 発生確率を下げる 影響を小さくする 早く検知する 早く復旧できるようにする
“次はもっとマシに壊れる”状態を作ることが重要
再発防止 = “失敗しにくい仕組み ” を作ること
アンチパターンな再発防止策
たまによく見るやつ • • • • • 気をつけます レビューを徹底します 手順をちゃんと確認します 朝会で共有します
気合いで!
ありがちな失敗 • • • • ポストモーテムを書いて終わる TODOだけ積まれる 優先順位が低く放置される オーナー不在
振り返り会は盛り上がったのに ... • 障害の日から日付が経つごとに... • 誰もやらなくて数週間後に同じ原因で再発 • SREとしては悔しい
再発防止策をいい感じに回すには
放置される問題 • 再発防止策が取られないで放置される問題はよくある • 障害対応中は頑張って治すけど治した後には他にやる ことがたくさんあり...
放置される問題処方箋 • ポストモーテムでオーナーを決定させる • その場にPMを呼んで優先度判断 • 最重要以外をやらない判断をとる勇気も重要 ◦ なんとなく不安だから作ったToDoとか •
四半期に一回くらい棚卸し
放置される問題処方箋 • その日の障害その日のうちに ◦ 昔先輩から言われた言葉 • AIがある今なら超複雑とかではない限りは意外とその 日にできることは多かったりする
良い再発防止策 • • • • • 人の注意力に依存しない 自動化されている 継続可能 システムで制御される
誰でも実行できる
良い再発防止策
“防ぐ” だけが再発防止ではない • • • • 早期検知 自動復旧/フェイルオーバー Rollback高速化 Runbook整備
再発防止策の考え方 再発防止では、 • • • • なぜ起きた? なぜ検知できなかった? なぜ影響が広がった? なぜ復旧が遅れた?
を分けて考えることが重要
レイヤーで見る 障害は1箇所だけで起きるわけではない • 設計、実装、デプロイ • 監視、運用 • 組織、コミュニケーション 複数レイヤーに問題が存在します。
防御ラインを増やす 重要なのは、「“1つの対策で完璧を目指さない”」こと • • • • Validation Alert Rollback Feature
Flag、Canary Release など複数の防御ラインを持ち事故を小さくする
AIとSRE
None
AIは人間の置き換えではないを明言してる • AIによってSREは「運用作業の自動化」から「信頼性を 設計する役割」へ進化ししてきてる • 障害対応・異常検知・RCA・Toil削減に大きな変化が起 きている • 一方AIは確率的に動作するため、本番導入には透明性 や段階的権限管理、ロールバックなど、安全性を前提に
した設計が必須
AIは人間の置き換えではないを明言してる • 最終的なゴールは、AI Operatorのような仕組みを通じ て「信頼性がデフォルトで組み込まれたシステム」を実 現すること • SREはAIを使って“障害対応する人”から“信頼性を自己 進化させる仕組みを作る人”へ変わっていく。
まとめ
まとめ • • • • 再発防止は「反省会」ではない 人を強くするより、システムを強くする “気をつける” には限界がある 小さく改善を積み重ねることが重要
参考
参考 • Postmortem Culture: Learning from Failure • Blameless PostMortems
and a Just Culture • Incident postmortems • Whose fault was it anyway? On blameless post-mortems • Post-incident review best practices
ご清聴ありがとうございました
More Decks by ryuichi1208
See All by ryuichi1208
なぜそう壊れるのか「障害を切り分ける技術」を書きました
ryuichi1208
2
370
そのasync、止まってない? ”鉄板”イベントループ ブロッキング処理検出術
ryuichi1208
1
2.3k
AIでサービス運用はどう変わるのか
ryuichi1208
0
230
SREの組織構造と実践.
ryuichi1208
0
340
信頼性・システムの観測・障害対応
ryuichi1208
1
530
障害対応からの学びと体制づくり
ryuichi1208
0
1.2k
金曜日デプロイ、するかしないか.pdf
ryuichi1208
1
510
会話で作る信頼性
ryuichi1208
0
220
シグナル(Unix)と仲良くなる
ryuichi1208
1
220
Featured
See All Featured
The Pragmatic Product Professional
lauravandoore
37
7.5k
The Cult of Friendly URLs
andyhume
79
7.1k
Test your architecture with Archunit
thirion
2
2.5k
Conquering PDFs: document understanding beyond plain text
inesmontani
PRO
4
3.3k
The AI Revolution Will Not Be Monopolized: How open-source beats economies of scale, even for LLMs
inesmontani
PRO
3
3.8k
Information Architects: The Missing Link in Design Systems
soysaucechin
1
1.3k
How to Build an AI Search Optimization Roadmap - Criteria and Steps to Take #SEOIRL
aleyda
1
2.3k
Ecommerce SEO: The Keys for Success Now & Beyond - #SERPConf2024
aleyda
1
2.3k
Pawsitive SEO: Lessons from My Dog (and Many Mistakes) on Thriving as a Consultant in the Age of AI
davidcarrasco
1
310
コードの90%をAIが書く世界で何が待っているのか / What awaits us in a world where 90% of the code is written by AI
rkaga
63
48k
Designing Powerful Visuals for Engaging Learning
tmiket
1
660
Unlocking the hidden potential of vector embeddings in international SEO
frankvandijk
0
1k