スタートアップでポストモーテムを4年で200回やって得た学び

https://findy-tools.connpass.com/event/350544/

Transcript

1. © 2025 Dinii Inc. スタートアップでポストモーテムを 4年で200回やって得た学び ポストモーテムを実践へ ─学びを組織に定着させるには─ 2025-04-24 Hiroaki KARASAWA
2. 株式会社 ダイニー © 2025 Dinii Inc. ※こちらの枠内に詳細や、画像を記載/貼り付けしてください。 白枠は、必要に応じて消していただいても大丈夫です。 @karszawa Introduction Hiroaki KARASAWA (karszawa) 株式会社ダイニー VP of Technology Google Champion Innovator → Google Developer Experts (Modern Architecture, Serverless Application, Data) 明日から6連休 🗽 自己紹介
3. 株式会社 ダイニー © 2025 Dinii Inc. Introduction トラブル対応のすべて、と題したが日常的な 対応から緊急事態の対応まですべてを20分 で説明し切るのは無理だった。 SRE Lounge #17 実際に発生した大規模障害とそこから得られ た学びについて。全文非公開。 Incident Response Meetup #2 TypeScript について話すこともある。 noren.ts @karszawa 最近の登壇
4. 株式会社 ダイニー © 2025 Dinii Inc. 本日のトピック 「ポストモーテム」 @karszawa
5. 株式会社 ダイニー © 2025 Dinii Inc. 01 02 03 04 05 ダイニーについて インシデント関連の取り組みの全体像 日常的なトラブルに対処するワークフロー ポストモーテムを成功させるには さいごに @karszawa
6. 株式会社 ダイニー © 2025 Dinii Inc. ダイニーについて 01 @karszawa
7. 株式会社 ダイニー © 2024 Dinii Inc. 飲食店の売上UPに貢献する唯一無二のスーパーモバイルPOS オペレーションなしで 売上UP! AIと専属スタッフにお任せ お客様を 自動で会員化 自動販促 メッセージ アンケート 自動回収 店員への チップ/投げ銭 圧倒的な 使いやすさで 客単価UP ロイヤルティ プログラム 顧客情報を 接客に活用
8. ダイニーが目指すのは、 ダイニーについて 株式会社ダイニー | Company Deck for Product © 2025 Dinii Inc.
9. 株式会社 ダイニー © 2025 Dinii Inc. ダイニーについて @karszawa 【大前提】ダイニーは POS を開発している 1. POS は金夜ピークの飲食店でもスムーズに使える必要がある 2. POS は一日何時間も使われる 3. POS は老若男女どんな従業員にも使われる 4. POS は使えないなら使わないで済むプロダクトではない → ダイニーは、極めて分かりやすく、スムーズに稼働するプロダクトでなければならない ダイニーにおけるインシデントハンドリングの重要性 「トラブルがないこと」 はそのための第一歩
10. 株式会社 ダイニー © 2025 Dinii Inc. インシデント関連の取り組みの全体像 02 @karszawa
11. 株式会社 ダイニー © 2025 Dinii Inc. インシデント関連の取り組みの全体像 @karszawa [1] 日常的なトラブル対応
12. 株式会社 ダイニー © 2025 Dinii Inc. インシデント関連の取り組みの全体像 @karszawa [2] 緊急事態的なトラブル対応 緊急時に対応できるよう 緊急事態訓練を実施
13. 株式会社 ダイニー © 2025 Dinii Inc. 日常的なトラブルに対処する ワークフロー 03 @karszawa
14. 株式会社 ダイニー © 2025 Dinii Inc. Q. トラブル対応の目的はなにか？ @karszawa
15. A. ユーザーの業務を回復すること つまり、原因を理解することではない 極論、信頼を毀損しない トラブルは発生しても良い すべては顧客からの 信頼回復のため むしろそこに投資する メリットはあるのか？
16. 株式会社 ダイニー © 2025 Dinii Inc. 日常的なトラブルに対処するワークフロー 資料名を記載 日常的なトラブル対応（エンジニアの対応範囲）
17. 株式会社 ダイニー © 2025 Dinii Inc. 日常的なトラブルに対処するワークフロー 資料名を記載 日常的なトラブル対応（エンジニアの対応範囲） ユーザーサポート (90%) or システムアラート (10%)
18. 株式会社 ダイニー © 2025 Dinii Inc. 日常的なトラブルに対処するワークフロー 資料名を記載 日常的なトラブル対応（エンジニアの対応範囲） 本当に発生しているか？ 報告内容は正しいか？ ここがズレているとかなり遠回りに
19. 株式会社 ダイニー © 2025 Dinii Inc. 日常的なトラブルに対処するワークフロー 資料名を記載 日常的なトラブル対応（エンジニアの対応範囲） 他ユーザーに影響を与えず回復する方法がないか？ リバートや修正のリリースは別の問題を引き起こす可能性も 設定の問題であることを祈る
20. 株式会社 ダイニー © 2025 Dinii Inc. 日常的なトラブルに対処するワークフロー 資料名を記載 日常的なトラブル対応（エンジニアの対応範囲） ここはやり方次第
21. 株式会社 ダイニー © 2025 Dinii Inc. 日常的なトラブルに対処するワークフロー 資料名を記載 日常的なトラブル対応（エンジニアの対応範囲） 対象は報告のあったユーザーだけか？ 再発の可能性はないか？
22. 株式会社 ダイニー © 2025 Dinii Inc. 日常的なトラブルに対処するワークフロー 資料名を記載 日常的なトラブル対応（エンジニアの対応範囲） 回復まで時間がかかる場合は 一定の頻度で顧客に連絡を行う
23. 株式会社 ダイニー © 2025 Dinii Inc. 日常的なトラブルに対処するワークフロー 資料名を記載 日常的なトラブル対応（エンジニアの対応範囲） ポストモーテムへ続く
25. 株式会社 ダイニー © 2025 Dinii Inc. 日常的なトラブルに対処するワークフロー @karszawa ポストモーテムの観点 当日の対応が妥当であったか そもそもユーザーに影響を 与えないためには何ができたか ポストモーテムで見るべきこと ① ポストモーテムで見るべきこと ②
26. 株式会社 ダイニー © 2025 Dinii Inc. ポストモーテムのフォーマットを紹介 @karszawa
27. 株式会社 ダイニー © 2025 Dinii Inc. 件数・スコア等の集計値 インシデントレポートへの リレーション （これがあるから Notion は最高）
28. 株式会社 ダイニー © 2025 Dinii Inc. ニューカマーのための インストラクション 前回からのネクストアクション
29. 株式会社 ダイニー © 2025 Dinii Inc. @karszawa 件数・スコア等の集計値 インシデントレポートへの リレーション （これがあるから Notion は最高） 業務影響度 影響店舗数 原因カテゴリ スコア（参考値） スコア（確定値）
30. 株式会社 ダイニー © 2025 Dinii Inc. ポストモーテム参加者に事例を共有するための情報 原因・一次対応・恒久対応・再発防止・対応チケット
31. 株式会社 ダイニー © 2025 Dinii Inc. これを200回繰り返す @karszawa
32. 株式会社 ダイニー © 2025 Dinii Inc. @karszawa 日常的なトラブルに対処するワークフロー 一定のリズムで記録しているから分かることがある 発生件数、影響度、対応時間、対応者の偏り、他 ダイニーでは200回以上の記録を行っている ポストモーテムを分析 インシデント管理に Notion を使うと可視化も便利
33. 株式会社 ダイニー © 2025 Dinii Inc. 日常的なトラブルに対処するワークフロー @karszawa ４ヶ月連続で起票件数が徐々に減少していた。 「システムが安定してきた」という実感は無かった。 分析が役に立った事例
34. 株式会社 ダイニー © 2025 Dinii Inc. 日常的なトラブルに対処するワークフロー @karszawa [A] 新設された「仕様質問」のためのワークフローで異常な挙動について確認されていたから なぜ起票件数が減少していたのか？
35. 株式会社 ダイニー © 2025 Dinii Inc. 日常的なトラブルに対処するワークフロー インシデントのフォーマットに従っていない ため調査のための情報が埋められていない 調査のための情報の不足 伴って、適切な温度感で対応ができない イラストこれで合ってる？ 業務影響度が分からない 正しいデータベースに存在しないため 振り返りが漏れることになる 振り返りができない @karszawa インシデントとして扱われないことの弊害
36. 株式会社 ダイニー © 2025 Dinii Inc. でも気持ちも分かる @karszawa
37. 株式会社 ダイニー © 2025 Dinii Inc. 正常性バイアス ＝異常を認めたくない気持ち は誰にでもある 分断は NG 󰢃 @karszawa
38. 株式会社 ダイニー © 2025 Dinii Inc. ポストモーテムを成功させるには 04 @karszawa
39. 株式会社 ダイニー © 2025 Dinii Inc. ポストモーテムを成功させるには @karszawa 1. 判断に恣意性を持ち込まない、すべてを機械的に処理する 🤖 2. 人の判断を持ち込むから「判断の良し悪し」の話になる 🙅 [1] 対象を恣意的に選別しない 緊急性の高低 発生日時 が現在時刻の 一時間以内 であれば緊急性が 高い ダイニーでは
40. 株式会社 ダイニー © 2025 Dinii Inc. ポストモーテムを成功させるには @karszawa 発生抑止 1. 既定のリリースフローに則っていたか 2. テストは実施されていたか 事後対応 1. 初動までの速度は適切か 2. 影響範囲をどのように確かめたか 3. 顧客への連絡は適切な頻度で実施されていたか [2] 一定のチェックポイントで振り返りを行う 改善できる箇所をチェックポイントにする ポイント 改善のための活動なのだから 改善できる箇所に着目すれば良い
41. 株式会社 ダイニー © 2025 Dinii Inc. ポストモーテムを成功させるには 資@karszawa いわゆる Blameless な分化 [3] 人ではなくプロセスに注目する チェックポイントごとの判断をしていれば必然的にそうなる あまり意識的にやっている訳では無いが自然とそうなっている ダイニーでは
42. 株式会社 ダイニー © 2025 Dinii Inc. さいごに 05 資料名を記載
43. 株式会社 ダイニー © 2025 Dinii Inc. @karszawa さいごに 募集の背景 1. 会社としてインシデントハンドリングの重要性を認知している 2. むしろインシデントハンドリングの巧拙が事業強度に繋がるとすら考えている 3. 組織的なインシデントハンドリングのレベル向上のため専任のポジションを設けている SRE (Incident Management) を募集中！
44. 株式会社 ダイニー © 2025 Dinii Inc. さいごに @karszawa ダイニーにおける日常的なトラブル対応のフローとポストモーテムの実施方法について紹介しました まとめ 「プロセスに人の判断を持ち込むな」 「一定のリズムで振り返りを実施せよ」 ポストモーテムのポイント ① ポストモーテムのポイント ②
45. 株式会社 ダイニー © 2025 Dinii Inc. さいごに @karszawa 告知