The Metrics Key Connecting Product, System, Team 1 Masato Ishigaki July 13, 2023

2 About me 石垣 雅人 合同会社 DMM.com プラットフォーム事業本部 部長 / VPoE室 / アルファ室 ・領域 : 事業戦略・予算管理・ PdM・PM・EM ・著 : 『DMMを支えるデータ駆動戦略』（マイナビ出版 ,2020） ・連載 : 『スモールチームが武器になる時代へ』（ ProductZine） ・連載 : 『群知能から紐解く、スケールする “組織“の作り方』（NewsPicks） @i35_267 @i35_267 @i35_267

No content

No content

No content

6 - 開発現場の現状 - 可観測性と再現性 - 4階層のMetrics Outline

7 - 開発現場の現状 - 可観測性と再現性 - 4階層のMetrics Outline

引用 : 企業IT動向調査報告書 図表 7-3-1 プロジェクト規模別・年度別 システム開発の工期遵守状況 (https://juas.or.jp/cms/media/2022/04/JUAS_IT2022.pdf) 8 開発現場の現状 「工期」「予算」「品質」の3つのカテゴリーで分け、 プロジェクト規模を「100人月未満」「100〜500 人月未満」「500人月以上」で分類したデータ 工数 : 34.4% 予算 : 37.0% 品質 : 23.0% 3つの割合の平均 = 31%前後になります。何かしらの原因で満足いかない可能性が 約69% さらに、工数・予算・品質のすべてが予定通りに終わる確率は、工期（ 34.4％）× 予算（37.0％）× 品質（23.0％）で 約3%

9 引用 : 企業IT動向調査報告書 図表 7-3-4 予定どおりにならなかった要因(複数回 答)(https://juas.or.jp/cms/media/2022/04/JUAS_IT2022.pdf) [仮説推論] 計測と学習が足りていない 何度も、同じ失敗をしている 原因は、計画・仕様・システムの不確実性

10 “ 「不確実性が高い」という言葉を 計画, 計測, 学習を適切に行っていない言い訳にしない”

11 じゃあ、どうやって戦っていくか =「可観測性」と「再現性」を作っていく

12 - 開発現場の現状 - 可観測性と再現性 - 4階層のMetrics Outline

- “ DX ” の効用は可観測性が上がり、対象物が観測可能になること - すべての活動がデジタルによると「データ」として出力される - サービスの振る舞いがデータとして記録され、ログデータとしてプロットできる - つまり、観測ができるようになる - 事業数値から、プロダクトの振る舞い、システムの稼働率、チームの戦闘力まで観測可能にしていく 13 “ 可観測性 “を上げる 入力 input 出力 output フィードバック feedback 事業モデル 構造 補足 : サイバネティクスの「開放システム」 一般システム理論

- 予測を作り、実行し、観測し、学習する。再現性を作る。 - データとして出力されると観測と分析ができる - 観測がデータできると傾向が見えるので、予測モデルが作れるようになる - 開発プロジェクトごとに学習ができる - 学習ができると、再現性が作れる 14 “ 再現性 “を上げる 予測 実行 観測 学習

Metrics 4. チームの戦闘力 （生産性） 2. プロダクトの戦闘力 （魅力） 1. 事業の戦闘力 （価値） 3. システムの戦闘力 （装置） 総工数（Ex.120人月） - 有効稼働率 - リードタイム - ,etc… 価値 - 売上（P/L） - 競争優位性（シェア率） - KGI / KPI モノとしての魅力 - UIの心地よさ（離脱率） - UXの体験の良さ - 機能の優位性 - VOCデータ - ,etc.. システム - SLO / SLI（稼働率） - レイテンシー - Crash Free Rate - ,etc… 同期と連動 Log 15

16 - 開発現場の現状 - 可観測性と再現性 - 4階層のMetrics Outline

Metrics 4. チームの戦闘力 （生産性） 2. プロダクトの戦闘力 （魅力） 1. 事業の戦闘力 （価値） 3. システムの戦闘力 （装置） 総工数（Ex.120人月） - 有効稼働率 - リードタイム - ,etc… 価値 - 売上（P/L） - 競争優位性（シェア率） - KGI / KPI モノとしての魅力 - UIの心地よさ（離脱率） - UXの体験の良さ - 機能の優位性 - VOCデータ - ,etc.. システム - SLO / SLI（稼働率） - レイテンシー - Crash Free Rate - ,etc… 17 Log

開発チームから見た 開発生産性 経営層から見た 開発生産性 ・コストマネジメント └ エンジニア組織への投資額 └ 給与水準の高騰と採用 └ 事業PLの人件費率,etc.. ・どれだけ早くリリースするか └ 自動化 └ デプロイ回数 └ トランクベース開発の導入 ,etc.. Metrics

19 チームの戦闘力 1. コードベースでの開発リードタイム 2. 開発 / 非開発を区分した有効稼働率レポート 3. 工数・費用を考慮した、工数・ソフトウェア仮勘定レポート

20 チームの戦闘力 1. コードベースでの開発リードタイム コードを書く → レビュー → Approve → CI → マージ 1. ソースコードのホスティングサービスベースでの可視化 2. 機能開発だけにフォーカスした数値 GitHub → Findy Team+

21 チームの戦闘力 2. 開発 / 非開発を区分した有効稼働率レポート ・勤怠管理ツールと連動して、プロジェクトコードベースでの工数管理 ・新規開発・保守運用・非開発の比率を表したレポート 勤怠管理 → BigQuery → Looker

22 チームの戦闘力 3. 工数・費用を考慮した、工数・ソフトウェア仮勘定レポート ・部署ごとの工数・工期・費用のレポート ・対象部署がどういった成果物をどのくらいの金額感で出したか ・プロジェクトの規模感、属性によっての差分がログとして残る ・過去プロジェクトのログから工数見積もりや注意点回避 BPM → BigQuery → Looker プロジェクトA

23 チームの戦闘力 レポート データ加工 → ビジュアライズ 誰向け 開発リードタイム GitHub → Findy Team + 現場 有効稼働率レポート 勤怠管理ツール → BigQuery → Looker 現場・マネージャー 工数・ソフトウェア仮勘定 レポート BPMシステム→ BigQuery → Looker 管理監督者

24 - チームや組織ごとにサイロ化せずに中央集権型にしてログに残す - チーム横断で学習と予測に使う チームの戦闘力

Metrics 4. チームの戦闘力 （生産性） 2. プロダクトの戦闘力 （魅力） 1. 事業の戦闘力 （価値） 3. システムの戦闘力 （装置） 総工数（Ex.120人月） - 有効稼働率 - リードタイム - ,etc… 価値 - 売上（P/L） - 競争優位性（シェア率） - KGI / KPI モノとしての魅力 - UIの心地よさ（離脱率） - UXの体験の良さ - 機能の優位性 - VOCデータ - ,etc.. システム - SLO / SLI（稼働率） - レイテンシー - Crash Free Rate - ,etc… 25 Log

26 システムの戦闘力 アプリケーションなどのログベース

27 プロダクトの戦闘力 プロダクトのトラッキングベースでのログデータ・ユーザー声（ VOC）からユーザー体験をプロット

28 どんな戦略・戦術で攻めていくか 損益計算書（PL） ブレークダウン 事業の戦闘力 KPIマネジメント 売上 コスト 利益 PL → KPIマネジメントまで分解し、向かう方向性を作る

Metrics
 4. チームの戦闘力 （生産性） 2. プロダクトの戦闘力 （魅力） 1. 事業の戦闘力 （価値） 3. システムの戦闘力 （装置） 総工数（Ex.120人月） - 有効稼働率 - リードタイム - ,etc… 価値 - 売上（P/L） - 競争優位性（シェア率） - KGI / KPI モノとしての魅力 - UIの心地よさ（離脱率） - UXの体験の良さ - 機能の優位性 - VOCデータ - ,etc.. システム - SLO / SLI（稼働率） - レイテンシー - Crash Free Rate - ,etc… 同期と連動 Log / Metrics / Trace 29

30 - 開発現場の現状 - 計測と学習を行っていないがために失敗するケースが多い - 可観測性と再現性 - 観測可能にすること。そこから予測を作ることが再現性を作る - 4階層のMetrics - チーム戦闘力→システム→プロダクト→事業の戦闘力を全て繋げる Outline