ポストモーテムレビューをブレームレスに運営し有効な改善アクションを引き出すために必要だったこと / What is needed to operate postmortem blamelessly and elicit improvement actions

「ポストモーテムレビューをブレームレスに運営し有効な改善アクションを引き出すために必要だったこと」という発表は
「個人にフォーカスしがちな、なぜなぜ分析からの脱却」です
これは「ブレームレスな原因追求をすること」で、
「再発防止につながる有効な改善策が引き出せる」
ことを発表します

ゆるSRE勉強会 #8

Transcript

1. 1 © SMS Co., Ltd. 2024.11.29 株式会社エス・エム・エス 山口隆史 ポストモーテムレビューをブレームレスに運営し有効 な改善アクションを引き出すために必要だったこと
2. 2 © SMS Co., Ltd. エレベーターピッチ 「ポストモーテムレビューをブレームレスに運営し有 効な改善アクションを引き出すために必要だったこ と」という発表は 「個人にフォーカスしがちな、なぜなぜ分析からの脱 却」です これは「ブレームレスな原因追求をすること」で、 「再発防止につながる有効な改善策が引き出せる」 ことを発表します
3. 3 © SMS Co., Ltd. 自己紹介 氏名：山口隆史(やまぐちたかし) 所属：株式会社エス・エム・エス 　　　プロダクト推進本部　技術推進グループ 業務：全社SREとしての活動 略歴：フリーランス、SIer、Web系を渡り歩く→現職（2024/05〜） 自称：Security Hub芸人 好きなAWSサービス：営業、Security Hub、GuardDuty 他：AWS Community Builder(Security & Identity)、 　　JAWS-UG千葉支部運営、Snyk Ambassador 第022587号
4. 4 © SMS Co., Ltd. 会社概要 *1：第1期は含めずカウント　*2：第7期迄は単体数値、第8期より連結数値にて記載 基礎情報 株式会社エス・エム・エス（英語表記）SMS Co., Ltd. 2003年 4月4日 東京証券取引所プライム市場（証券コード:2175） 25億5,172万円（2024年3月31日時点） 連結：4,188人、単体：2,754人（2024年3月31日時点） 国内：3社、海外：アジア・オセアニア等17の国と地域 「高齢社会に適した情報インフラを構築することで人々 の生活の質を向上し、社会に貢献し続ける」 高齢社会に求められる領域を、医療・介護/障害福祉・ヘルス ケア・シニアライフと捉え、価値提供先であるエンドユーザ・ 従事者・事業者をつなぐプラットフォームとしての情報インフ ラを構築し、40以上のサービスを展開 会社名 設立 市場情報 資本金 従業員数 関連会社 ミッション 業績 売上、経常利益推移*2 （売上高・億円） （経常利益・億円） 20期連続*1で増収増益を達成
5. 5 © SMS Co., Ltd. 分野 区分 サービス キャリア 介護キャリア 医療キャリア 介護・障害福祉 事業者 ヘルスケア シニアライフ 海外 ＊1．柔道整復師、あん摩マッサージ師、はり師、きゅう師のこと 
 サービス一覧 看護師向け 人材紹介 介護・医療・福祉の 資格講座情報 PT/OT/ST向け 人材紹介 介護職向け求人情報 ケアマネジャー向け 人材紹介 看護学生向け 就職情報 放射線技師向け 人材紹介 高校生・看護学生 向け奨学金情報 臨床検査技師向け 人材紹介 看護師・看護学生向け コミュニティ 臨床工学技士向け 人材紹介 保育士向け 人材紹介 治療家*1・セラピスト向け 人材紹介 介護事業の 経営者・管理者向け情報 高齢社会の 調査・研究・情報発信 医療従事者向け医薬情報 治療家*1・セラピスト向け 求人情報 柔道整復師・あはき師 向け受験参考書 管理栄養士・栄養士向け 人材紹介 介護職向け人材紹介 介護で働く人の ためのスクール 介護で悩む人向け コミュニティ 高齢者向け食事宅配 紹介サービス 高齢者向け住宅 紹介サービス 遠隔指導特定保健指導 サービス 管理栄養士・栄養士向け コミュニティ 企業の介護離職 防止ソリューション ICTを活用した 禁煙サポート 認知症患者とその家族 向け認知症情報 認知症予防 ソリューション 認知症予防の 習慣化サポート 遠隔指導重症化予防 サービス 女性の健康経営 サポート 産業保健に 関わる人向け情報 企業の健康管理 
 業務サポート 
 住まいにまつわる 総合情報サイト 葬儀社紹介サービス　 ケアマネジャー 向けコミュニティ 医療従事者向け人材紹介 (マレーシア、フィリピン、アイルランド、UK、ドイツ 等) 看護師向け キャリアサービス 行動療法に特化した 禁煙サポート 自治体向け調査・ 計画策定・予防事業 医療介護業界特化型 ストレスチェック 介護/障害福祉 事業者向け経営支援 看護師の職場を 診断するツール 障害のある方向け 就労支援事業所情報 障害のある方向け 人材紹介
6. 6 © SMS Co., Ltd. ここから本題
7. 7 © SMS Co., Ltd. 01 02 03 04 05 ポストモーテムとは ブレームレスに運営する難しさ 有効な改善策を出す難しさ 解決策の提案 まとめ 目次
8. 8 © SMS Co., Ltd. 01 02 03 04 05 ポストモーテムとは ブレームレスに運営する難しさ 有効な改善策を出す難しさ 解決策の提案 まとめ
9. 9 © SMS Co., Ltd. ポストモーテムについての記載 “インシデント後のレビューとは、状況に対する共通の 理解を構築し、その経験から可能な限り多くを学ぶこと を意図して、インシデントとそれを取り巻く状況を調査 し、文書化し、議論するプロセスです。” SREをはじめよう P.130
10. 10 © SMS Co., Ltd. ポストモーテムについての記載 SRE サイトリライアビリティエンジニアリング P.175 “ポストモーテムを書くことの主な目的は、インシデン トがドキュメント化されること、影響を及ぼしたすべて の根本原因(群) が十分に理解されること、そしてとり わけ、再発の可能性や影響を削減するための効果的な予 防策が確実に導入されるようにすることです。”
11. 11 © SMS Co., Ltd. 予防策・改善策についての記載 “理想的なのは、学んだことのいくつかをソフトウェア 開発プロセスに戻し、今理解している失敗を将来繰り返 さないようにすることです” SREをはじめよう P.145
12. 12 © SMS Co., Ltd. 予防策・改善策についての記載 SRE サイトリライアビリティエンジニアリング P.176 “ポストモーテムが、責任のなすりつけ合いの場から、 個人やチームが不完全または誤った情報を得るに至った システム上の原因を調査する場へと移行することで、効 果的な予防策を導入できます。”
13. 13 © SMS Co., Ltd. つまり ポストモーテムは 「学びと改善を引き出すための仕組み」です
14. 14 © SMS Co., Ltd. 01 02 03 04 05 ポストモーテムとは ブレームレスに運営する難しさ 有効な改善策を出す難しさ 解決策の提案 まとめ
15. 15 © SMS Co., Ltd. 課題1：原因が個人へフォーカスしがち • 深掘りすると、個人の作業（実装、判断）ミスに帰 結してしまう ◦ 例 ▪ AさんがXXという作業をしたのが原因 ▪ BさんがXXという実装をしたのが原因 ▪ Cさんの影響調査漏れが原因 ▪ Dさんのテストケースが漏れていたのが原因
16. 16 © SMS Co., Ltd. 課題2：なぜなぜ分析の落とし穴 • なぜなぜ分析が個人にフォーカスしがち ◦ 例 ▪ なぜその作業をしたの？ ▪ なぜその作業の影響範囲がわからなかった の？ ▪ なぜレビューで見逃したの？ ▪ なぜXXの時点でエラーを見逃したの？
17. 17 © SMS Co., Ltd. 個人にフォーカスすると ブレームレスに運営できない
18. 18 © SMS Co., Ltd. 01 02 03 04 05 ポストモーテムとは ブレームレスに運営する難しさ 有効な改善策を出す難しさ 解決策の提案 まとめ
19. 19 © SMS Co., Ltd. 課題3：経緯の深掘り不足が改善策の質に影響する • 真の原因ではなく、表面的な原因だけを見て対策を 立ててしまう ◦ 例 ▪ 原因 • XXという作業で、YYパラメータ指定が抜 けていた ▪ 対策 • XXの作業でYYパラメータを追加する
20. 20 © SMS Co., Ltd. 課題4：手順にない個人の善意の行動が障害対策になっていた • 仕組み化できないふわっとした対策を立ててしまう ◦ 例 ▪ 原因 • リリース後はいつもアプリを触っていた が、今回は触らなかった ▪ 対策 • リリース後はみんなで触りましょう ◦ 網羅的にテストできないと無意味
21. 21 © SMS Co., Ltd. 原因の理解が表層的だと有効な改善策が出せない
22. 22 © SMS Co., Ltd. 01 02 03 04 05 ポストモーテムとは ブレームレスに運営する難しさ 有効な改善策を出す難しさ 解決策の提案 まとめ
23. 23 © SMS Co., Ltd. 個人にフォーカスせず、プロセス・仕組みにフォーカスする • 作業ミスが原因だとしたら、その作業の背景を探る ◦ その作業が発生した背景はなんだろう？ ◦ そもそも作業ミスが発生するような作業が許可さ れている背景はなんだろう？ ▪ 作業のチェックルールはあるか？ ▪ 作業影響の調査ルールはあるか？
24. 24 © SMS Co., Ltd. 個人にフォーカスせず、プロセス・仕組みにフォーカスする • ポイント・質問の方向 ▪ 現状のプロセス・仕組みで最善の行動を取っ たとしてインシデントを予防できたか？ ▪ 予防できなかった場合、その原因はなんだろ う？
25. 25 © SMS Co., Ltd. 別の視点からの初心者的な質問の導入 • 作業起因だった場合に「そもそも何ができたら良い のか（良かったのか）」を深掘りしていく
26. 26 © SMS Co., Ltd. 別の視点からの初心者的な質問の導入 • ポイント・質問の方向 ◦ 手作業ではなく自動化できる方法があるのではな いか？ ◦ そもそも作業自体が不要になる運用方法があるの ではないか？
27. 27 © SMS Co., Ltd. 01 02 03 04 05 ポストモーテムとは ブレームレスに運営する難しさ 有効な改善策を出す難しさ 解決策の提案 まとめ
28. 28 © SMS Co., Ltd. まとめ • ブレームレスな深掘りが真の改善策へのカギ • 個人ではなくプロセス・仕組みに焦点をあてましょ う