Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
hacomonoポストモーテムの取り組み(2023/09)
Search
hacomono Inc.
PRO
September 14, 2023
Technology
1
1.2k
hacomonoポストモーテムの取り組み(2023/09)
https://findy.connpass.com/event/294084/
hacomono Inc.
PRO
September 14, 2023
Tweet
Share
More Decks by hacomono Inc.
See All by hacomono Inc.
プロダクトエンジニア 360°フィードバックを実施した話
hacomono
PRO
0
150
hacomonoの品質とQA[Findy Job LT]
hacomono
PRO
0
170
社運懸かった大型機能をゼロから作り直した話
hacomono
PRO
0
120
MagicPodでモバイルアプリの”自動テスト”を最速で立ち上げよう
hacomono
PRO
1
230
専任担当からチームに還してQA全員で取り組むテスト自動化
hacomono
PRO
0
280
Nuxt 3ではじめるテスト導入戦略と初手
hacomono
PRO
0
39
Waroomとインシデントと私
hacomono
PRO
0
140
Product Engineer Night #6プロダクトエンジニアを育む仕組み・施策
hacomono
PRO
1
840
初めてアジャイルテストに挑戦してみたら、スクラムチームが良いサイクルを回し始めた話
hacomono
PRO
1
290
Other Decks in Technology
See All in Technology
データエンジニアリング領域におけるDuckDBのユースケース
chanyou0311
9
2.2k
IoTシステム開発の複雑さを低減するための統合的アーキテクチャ
kentaro
1
120
クラウド食堂とは?
hiyanger
0
120
PHPで印刷所に入稿できる名札データを作る / Generating Print-Ready Name Tag Data with PHP
tomzoh
0
190
AI Agent時代なのでAWSのLLMs.txtが欲しい!
watany
2
230
4th place solution Eedi - Mining Misconceptions in Mathematics
rist
0
150
役員・マネージャー・著者・エンジニアそれぞれの立場から見たAWS認定資格
nrinetcom
PRO
4
6.1k
いまからでも遅くない!コンテナでWebアプリを動かしてみよう!コンテナハンズオン編
nomu
0
160
Two Blades, One Journey: Engineering While Managing
ohbarye
4
2.1k
【詳説】コンテンツ配信 システムの複数機能 基盤への拡張
hatena
0
260
JavaにおけるNull非許容性
skrb
2
2.6k
Amazon Q Developerの無料利用枠を使い倒してHello worldを表示させよう!
nrinetcom
PRO
2
120
Featured
See All Featured
The Illustrated Children's Guide to Kubernetes
chrisshort
48
49k
GraphQLとの向き合い方2022年版
quramy
44
14k
Music & Morning Musume
bryan
46
6.4k
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
29k
Building Your Own Lightsaber
phodgson
104
6.2k
Gamification - CAS2011
davidbonilla
80
5.2k
For a Future-Friendly Web
brad_frost
176
9.6k
Automating Front-end Workflow
addyosmani
1368
200k
Raft: Consensus for Rubyists
vanstee
137
6.8k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
29
1k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
30
2.2k
Transcript
Last Update 2022.03.16 hacomonoでのポストモーテムの取り組み 株式会社hacomono CTO室 EM 横山 司
None
3 3 店舗・施設の業務管理システム / マイページ がオールインワン 店舗内 予約 入会 決済
マイページ 会員管理 月謝自動化 チケット 管理 シフト管理 会員マイページ 予約管理 マネジメント機能 店頭物販 Iotドア連携 チェック イン 店頭予約 マシン連携 入退館
Confidential Series C|hacomono Data 4 4 hacomonoの2022年から2023年の推移 導入店舗数 チャーンレート 年間キャッシュレス決済額
年間NRR 累計ユーザー登録数 1,100 3,000 店舗 店舗 (2022年1月末時点) (2023年4月時点) 0.5% 以下 閉店・経営難以外の解約は ほぼ“ゼロ”をキープ 2023年4月現在 約 3 倍の導入店舗数増 125% 135 (2022年) (2023年) % 安定した10%の成長 約4倍の決済額増 200 310 (2022年) (2023年) 約110万人以上のユーザー増加 56億円 227 (2022年) (2023年) 億円 約 約 万人 約 万人 約
5 ビジネスの急成長 → 組織の急拡大 → プロダクトの複雑化 多種多様なインシデント増大 - 組み合わせエッジケースで起こるバグ - 大手顧客のデータ量/同時アクセス数でのパフォーマンスダウン - インフラ、アーキテクチャレベルの設計に起因する問題 -
リリース手順、監視手順などオペレーショナル・エクセレンスに関わる問題 SREなど特定メンバーの負荷増大、プロセスなどの不備が露呈 組織的な取り組みの検討(2023/03〜) ポストモーテム重要性の取り組み
6 1. 体制 PSIRTの組成 2. プロセス インシデントガイドライン、ポストモーテムテンプレート、各種基準などフローや仕組みの整備 3. 仕組み SLOダッシュボード、インシデントトレンド、インシデントと紐づけた再発防止策のタスク管理、
週次振り返り 4. 文化 開発チームの月次イベントでの共有、専用Slackチャンネルでの称賛 hacomonoでの取り組み
7 1. 体制 PSIRTの組成 2. プロセス インシデントガイドライン、ポストモーテムテンプレート、各種基準などフローや仕組みの整備 3. 仕組み SLOダッシュボード、インシデントトレンド、インシデントと紐づけた再発防止策のタスク管理、
週次振り返り 4. 文化 開発チームの月次イベントでの共有、専用Slackチャンネルでの称賛 hacomonoでの取り組み
8 体制 : PSIRTの立ち上げ
9 1. 体制 PSIRTの組成 2. プロセス インシデントガイドライン、ポストモーテムテンプレート、各種基準などフローや仕組みの整備 3. 仕組み SLOダッシュボード、インシデントトレンド、インシデントと紐づけた再発防止策のタスク管理、
週次振り返り 4. 文化 開発チームの月次イベントでの共有、専用Slackチャンネルでの称賛 hacomonoでの取り組み
10 プロセス : インシデントガイドライン
11 プロセス : インシデント体制と役割
12 プロセス : インシデントレポート &ポストモーテムテンプレート
13 プロセス : インシデントレポート &ポストモーテムテンプレート
14 1. 体制 PSIRTの組成 2. プロセス インシデントガイドライン、ポストモーテムテンプレート、各種基準などフローや仕組みの整備 3. 仕組み SLOダッシュボード、インシデントトレンド、インシデントと紐づけた再発防止策のタスク管理、
週次振り返り 4. 文化 開発チームの月次イベントでの共有、専用Slackチャンネルでの称賛 hacomonoでの取り組み
15 仕組み : SLOダッシュボード
16 仕組み : SLOダッシュボード
17 仕組み: インシデントと再発防止策の関連付け
18 1. 体制 PSIRTの組成 2. プロセス インシデントガイドライン、ポストモーテムテンプレート、各種基準などフローや仕組みの整備 3. 仕組み SLOダッシュボード、インシデントトレンド、インシデントと紐づけた再発防止策のタスク管理、
週次振り返り 4. 文化 開発チームの月次イベントでの共有、専用Slackチャンネルでの称賛 hacomonoでの取り組み
19 文化
20 インシデント→ポストモーテム→学習&再発防止策→Action hacomonoこれまでの取り組み の流れを作った ポストモーテムからの学びの例 - 障害訓練の実施(新入社員のオンボーディングにも) - SREによる監視ツールの講習会 -
影響調査で使うSQLのシェア - Statuspageの導入 (もっと簡単に社外告知したい )
21 開発チームの外側に課題があることが多い点が アジャイル(スクラム)開発の難しさと似ている ポストモーテムの難しさ ✓そもそもプロダクトの品質課題 ✓組織文化の課題 ✓組織間連携など体制面の課題 ✓スキル課題
22 改善していきたいポイント - 短期対応 vs 根本対策のバランス - 何が起きていたかをどこまで掘り下げるべきか - 再発防止策がずれていて再発しちゃう問題
- やることを増やすだけではなく減らすこと - 特定チームや個人ではなく組織全体での学習にすること ポストモーテムの難しさ
https://www.hacomono.jp/