Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
hacomonoポストモーテムの取り組み(2023/09)
Search
hacomono Inc.
PRO
September 14, 2023
Technology
1
1.1k
hacomonoポストモーテムの取り組み(2023/09)
https://findy.connpass.com/event/294084/
hacomono Inc.
PRO
September 14, 2023
Tweet
Share
More Decks by hacomono Inc.
See All by hacomono Inc.
初めてアジャイルテストに挑戦してみたら、スクラムチームが良いサイクルを回し始めた話
hacomono
PRO
1
200
スクラムチームの品質戦略 1年の歩み
hacomono
PRO
1
310
スクラムエッセンス導入3ヶ月のチームに起きた変化
hacomono
PRO
1
300
アジャイルの灯火を絶やさない! 社内アジャイルコミュニティ運営
hacomono
PRO
1
270
hacomonoにおけるプロダクトエンジニアの役割と生態
hacomono
PRO
5
710
"ウルトラジャンプ" な成長を支えるプロダクトエンジニアというキャリア
hacomono
PRO
4
960
PoCに向けた最小限の機能開発で考えたこととしくじり
hacomono
PRO
1
700
「ここは俺に任せておまえは先に行け」hacomono運用保守部の紹介
hacomono
PRO
0
110
hacomonoのRailsプロダクトにおけるテストの実状とこれから
hacomono
PRO
0
180
Other Decks in Technology
See All in Technology
VS CodeでF1〜12キーつかってますか? / Do you use the F1-12 keys in VS Code?
74th
2
290
スクラム導入の舞台裏:QAエンジニアがスクラムマスターになるまで
bubo1201
0
160
All your memory are belong to… whom?
ennael
PRO
0
630
スモールスタート、不都合な真実 〜 耳当たりの良い言葉に現場が振り回されないために/20240930-ssmjp-small-start
opelab
13
1.8k
【shownet.conf_】ShowNet x 宇宙ネットワーク
shownet
PRO
0
380
いまからでも遅くない! コンテナでWebアプリケーションを 動かしてみよう(2-1)WebAPI座学
nomu
0
150
AWS Lambdaで実現するスケーラブルで低コストなWebサービス構築/YAPC::Hakodate2024
fujiwara3
7
2.8k
AI時代のアジャイル開発(XP祭り2024版) / Agile Development in the AI Era in XPJUG
takaking22
13
3.6k
山手線一周のパフォーマンス改善
suzukahr
0
120
【shownet.conf_】ShowNet伝送改めShowNet APN 2024
shownet
PRO
0
410
【shownet.conf_】AI技術とUX監視の応用でShowNetの基盤を支えるモニタリングシステム
shownet
PRO
0
340
ガバメントクラウド開発と変化と成長する組織 / Organizational change and growth in developing a government cloud
kazeburo
4
720
Featured
See All Featured
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
279
13k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
228
52k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
6
260
The Invisible Side of Design
smashingmag
297
50k
How GitHub (no longer) Works
holman
311
140k
The World Runs on Bad Software
bkeepers
PRO
65
11k
It's Worth the Effort
3n
183
27k
Adopting Sorbet at Scale
ufuk
73
9k
How GitHub Uses GitHub to Build GitHub
holman
473
290k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
663
120k
Why You Should Never Use an ORM
jnunemaker
PRO
53
9k
The Brand Is Dead. Long Live the Brand.
mthomps
53
38k
Transcript
Last Update 2022.03.16 hacomonoでのポストモーテムの取り組み 株式会社hacomono CTO室 EM 横山 司
None
3 3 店舗・施設の業務管理システム / マイページ がオールインワン 店舗内 予約 入会 決済
マイページ 会員管理 月謝自動化 チケット 管理 シフト管理 会員マイページ 予約管理 マネジメント機能 店頭物販 Iotドア連携 チェック イン 店頭予約 マシン連携 入退館
Confidential Series C|hacomono Data 4 4 hacomonoの2022年から2023年の推移 導入店舗数 チャーンレート 年間キャッシュレス決済額
年間NRR 累計ユーザー登録数 1,100 3,000 店舗 店舗 (2022年1月末時点) (2023年4月時点) 0.5% 以下 閉店・経営難以外の解約は ほぼ“ゼロ”をキープ 2023年4月現在 約 3 倍の導入店舗数増 125% 135 (2022年) (2023年) % 安定した10%の成長 約4倍の決済額増 200 310 (2022年) (2023年) 約110万人以上のユーザー増加 56億円 227 (2022年) (2023年) 億円 約 約 万人 約 万人 約
5 ビジネスの急成長 → 組織の急拡大 → プロダクトの複雑化 多種多様なインシデント増大 - 組み合わせエッジケースで起こるバグ - 大手顧客のデータ量/同時アクセス数でのパフォーマンスダウン - インフラ、アーキテクチャレベルの設計に起因する問題 -
リリース手順、監視手順などオペレーショナル・エクセレンスに関わる問題 SREなど特定メンバーの負荷増大、プロセスなどの不備が露呈 組織的な取り組みの検討(2023/03〜) ポストモーテム重要性の取り組み
6 1. 体制 PSIRTの組成 2. プロセス インシデントガイドライン、ポストモーテムテンプレート、各種基準などフローや仕組みの整備 3. 仕組み SLOダッシュボード、インシデントトレンド、インシデントと紐づけた再発防止策のタスク管理、
週次振り返り 4. 文化 開発チームの月次イベントでの共有、専用Slackチャンネルでの称賛 hacomonoでの取り組み
7 1. 体制 PSIRTの組成 2. プロセス インシデントガイドライン、ポストモーテムテンプレート、各種基準などフローや仕組みの整備 3. 仕組み SLOダッシュボード、インシデントトレンド、インシデントと紐づけた再発防止策のタスク管理、
週次振り返り 4. 文化 開発チームの月次イベントでの共有、専用Slackチャンネルでの称賛 hacomonoでの取り組み
8 体制 : PSIRTの立ち上げ
9 1. 体制 PSIRTの組成 2. プロセス インシデントガイドライン、ポストモーテムテンプレート、各種基準などフローや仕組みの整備 3. 仕組み SLOダッシュボード、インシデントトレンド、インシデントと紐づけた再発防止策のタスク管理、
週次振り返り 4. 文化 開発チームの月次イベントでの共有、専用Slackチャンネルでの称賛 hacomonoでの取り組み
10 プロセス : インシデントガイドライン
11 プロセス : インシデント体制と役割
12 プロセス : インシデントレポート &ポストモーテムテンプレート
13 プロセス : インシデントレポート &ポストモーテムテンプレート
14 1. 体制 PSIRTの組成 2. プロセス インシデントガイドライン、ポストモーテムテンプレート、各種基準などフローや仕組みの整備 3. 仕組み SLOダッシュボード、インシデントトレンド、インシデントと紐づけた再発防止策のタスク管理、
週次振り返り 4. 文化 開発チームの月次イベントでの共有、専用Slackチャンネルでの称賛 hacomonoでの取り組み
15 仕組み : SLOダッシュボード
16 仕組み : SLOダッシュボード
17 仕組み: インシデントと再発防止策の関連付け
18 1. 体制 PSIRTの組成 2. プロセス インシデントガイドライン、ポストモーテムテンプレート、各種基準などフローや仕組みの整備 3. 仕組み SLOダッシュボード、インシデントトレンド、インシデントと紐づけた再発防止策のタスク管理、
週次振り返り 4. 文化 開発チームの月次イベントでの共有、専用Slackチャンネルでの称賛 hacomonoでの取り組み
19 文化
20 インシデント→ポストモーテム→学習&再発防止策→Action hacomonoこれまでの取り組み の流れを作った ポストモーテムからの学びの例 - 障害訓練の実施(新入社員のオンボーディングにも) - SREによる監視ツールの講習会 -
影響調査で使うSQLのシェア - Statuspageの導入 (もっと簡単に社外告知したい )
21 開発チームの外側に課題があることが多い点が アジャイル(スクラム)開発の難しさと似ている ポストモーテムの難しさ ✓そもそもプロダクトの品質課題 ✓組織文化の課題 ✓組織間連携など体制面の課題 ✓スキル課題
22 改善していきたいポイント - 短期対応 vs 根本対策のバランス - 何が起きていたかをどこまで掘り下げるべきか - 再発防止策がずれていて再発しちゃう問題
- やることを増やすだけではなく減らすこと - 特定チームや個人ではなく組織全体での学習にすること ポストモーテムの難しさ
https://www.hacomono.jp/