ファクトから始める改善アプローチ EP2 〜 Four Keys の先にある アウトカムに向き合ってみた 〜 / DevOpsDaysTokyo-2023

2023年4月18日より開催された「DevOpsDaysTokyo2023」の登壇資料です。
https://www.devopsdaystokyo.org/

▼関連資料
ファクトから始める改善アプローチ 〜「LeanとDevOpsの科学」を実践して〜
https://speakerdeck.com/takabow/devopsdays-tokyo2022-huakutokarashi-merugai-shan-apuroti-leantodevopsfalseke-xue-woshi-jian-site

「エセ自己組織化」症候群から脱却し、約束を守るプロフェッショナルなアジャイルチームになるには -アジャイル時代のマネジメント進化論-
https://speakerdeck.com/visional_engineering_and_design/number-rsgt2023

-----
Visionalのエンジニアリングに関する最新情報はTwitter、ブログで発信しています！📣

▼Visional Engineering Blog
https://engineering.visional.inc/blog/

▼VISIONAL ENGINEERING Twitter
https://twitter.com/VISIONAL_ENG

Transcript

1. ファクトから始める改善アプローチ EP2 〜 Four Keys の先にある アウトカムに向き合ってみた 〜 Visionalグループ 株式会社ビズリーチ プロセス改善部 ソフトウェアプロセス改善グループ 賀茂慎⼀郎 佐々⽊奈央 1
2. 2 これまでの私たちの取り組み Regional Scrum Gathering Tokyo 2023 (2023/1/11) DevOpsDays Tokyo2022 (2022/4/21) 本⽇発表するのはこれらの続編です
3. 3 ⾃⼰紹介 2016年、TIS株式会社に⼊社。エンジニアとして複数の開発PJに 参画後、スクラムマスターとしてアジャイル開発の導⼊に携わる。 2020年、株式会社ビズリーチに⼊社。社内のスクラムチーム⽀援 やアジャイル開発普及に向けた活動に従事。現在はソフトウェア プロセス改善グループの⼀員として、プロセス改善を推進してい る。 Certified ScrumMaster® Certified Scrum Product Owner® 賀茂 慎⼀郎（Shinichiro Kamo） 趣味 ボードゲーム、漫画、旅⾏ 経歴
4. 4 ⾃⼰紹介 家庭⽤ゲームソフトの広報、フリーランスのWebデザイナーを経 て、2010年に株式会社ビズリーチ⼊社。 転職プラットフォーム「ビズリーチ」、フラッシュマーケティン グサイト「LUXA」などのサイトデザインや広告バナー、LP制作 などを担当。またデザイン組織のマネジメント、採⽤、育成にも 携わる。2022年よりプロセス改善部に異動し、プロダクト開発プ ロセスの定量的可視化を推進。 Certified ScrumMaster® 佐々⽊ 奈央（Nao Sasaki） 趣味 猫、インテリア、家、ビール、沖縄 経歴
5. 株式会社ビズリーチ紹介 5
6. 会社概要 株式会社ビズリーチ / BizReach, Inc. 創業 ：2009年4⽉ 代表者 ：株式会社ビズリーチ 代表取締役社⻑ 酒井 哲也 グループ従業員数：1,821名（2022年7⽉末時点） 拠点 ：東京、⼤阪、名古屋、福岡、静岡、広島 資本⾦ ：1億3,000万円 事業内容：HR Techのプラットフォーム・SaaS事業
7. Visionalグループミッション
8. 株式会社ビズリーチ ミッション
9. 株式会社ビズリーチ サービス⼀覧 即戦力人材と企業をつなぐ 転職サイト OB/OG訪問 ネットワークサービス 人財活用システム 採用管理システム 勤怠管理システム 経費精算システム
10. アウトカム計測までの流れ 10
11. 11 これまでの取り組み ファクトから始める改善アプローチ 〜「LeanとDevOpsの科学」を実践して〜 「Four Keys」と「ケイパビリ ティ」計測の進め⽅や課題 「エセ⾃⼰組織化」症候群から脱却し、約束を守るプロフェッショナルなア ジャイルチームになるには-アジャイル時代のマネジメント進化論- ファクトをベースに判断を助け、 改善活動を進めるSODA構想 （Software Outcome Delivery Architecture） アウトカムの定義と収集の試み 2022 2023 ファクトから始める改善アプローチ EP2 〜 Four Keys の先にあるアウトカムに向き合ってみた 〜 4⽉ DevOpsDaysTokyo 2022 1⽉ Regional Scrum Gathering Tokyo 2023 4⽉ DevOpsDaysTokyo 2023 今回の発表
12. 12 Software Outcome Delivery Architecture(SODA): BizReach ver.
13. 13 Software Outcome Delivery Architecture(SODA): BizReach ver.
14. 14 EP1とEP2のファクトデータ関係性 プロダクト価値 Four Keys ケイパビリティ パフォーマンス指標 EP2でお話するファクト EP1でお話したファクト アウトカム指標
15. アウトカムについて 15
16. 16 アウトプットとアウトカム 顧客に価値のある プロダクトを作る ぞー！！ ビズリーチ
17. 17 アウトプットとアウトカム 顧客調査 〜開発 など ビズリーチ 顧客に価値のある プロダクトを作る ぞー！！
18. 18 アウトプットとアウトカム プロダクト 顧客調査 〜開発 など ビズリーチ 顧客に価値のある プロダクトを作る ぞー！！
19. 19 アウトプットとアウトカム プロダクト アウトプット 顧客調査 〜開発 など ビズリーチ 顧客に価値のある プロダクトを作る ぞー！！
20. 20 アウトプットとアウトカム アウトプット インプットからアクティビティを通して⽣まれた成果物をアウトプットと⾔う プロダクト インプット アクティビティ 顧客調査 〜開発 など ビズリーチ
21. 21 アウトプットとアウトカム プロダクト（アウトプット） 顧客 ビズリーチ
22. 22 アウトプットとアウトカム 顧客 △△や〇〇が できるように なった！！ プロダクト（アウトプット） ビズリーチ
23. △△や〇〇が できるように なった！！ 23 アウトプットとアウトカム 顧客 アウトカム 顧客にもたらした価値や成果をアウトカムと⾔う プロダクト（アウトプット） ビズリーチ
24. 24 アウトプットとアウトカム 顧客 顧客にもたらした価値や成果を数値化したものを アウトカム指標と呼ぶ プロダクト（アウトプット） ビズリーチ △△や〇〇が できるように なった！！ アウトカム
25. 25 アウトプットとアウトカムのまとめ アウトプット アウトカム インプットからアクティビティを 通して⽣み出された成果物 アウトプット（成果物）によって 顧客にもたらす価値・成果
26. 27 アウトカム指標は1つとは限らない kyu 求職者 求職者を検索 スカウト マッチング 企業 某転職サイトにおける企業と求職者の関係
27. 28 アウトカム指標は1つとは限らない 例えば某転職サイトにおいて、「レジュメ登録時間を短くすることで、 ユーザーの離脱を防ぐ」という実験をしているとする ※内容は想像です ユーザーが離脱する のを防ぎたいなあ 登録時に離脱が 多いようですね 登録時間が短く なるよう頑張り ます！！
28. 29 アウトカム指標は1つとは限らない レジュメ登録時間を短くすることで、ユーザーの離脱を防ぐ アウトカム指標① レジュメの 登録時間
29. 30 アウトカム指標は1つとは限らない レジュメの 登録時間 ⽉間登録 ユーザー数 レジュメ登録時間を短くすることで、ユーザーの離脱を防ぐ アウトカム指標② アウトカム指標①
30. 31 アウトカム指標は1つとは限らない レジュメの 登録時間 ⽉間登録 ユーザー数 求職者と企業の マッチング数 レジュメ登録時間を短くすることで、ユーザーの離脱を防ぐ （それにより企業とのマッチングを増やす） アウトカム① アウトカム② アウトカム指標③ アウトカム指標② アウトカム指標①
31. 32 アウトカム指標と外部要因 アウトプットから遠いアウトカム指標ほど、開発組織以外（外部要因）の 影響を⼤きく受ける可能性が⾼まる。 レジュメの 登録時間 ⽉間登録 ユーザー数 ユーザーと企業の マッチング数 アウトカム指標① アウトカム指標② アウトカム指標③ 外部要因
32. 33 アウトカム指標と外部要因 アウトプットから遠いアウトカムほど、開発組織以外（外部要因）の 影響を⼤きく受ける可能性が⾼まる。 外部要因 マーケ ティング 施策 アウトカム指標① アウトカム指標② アウトカム指標③ レジュメの 登録時間 ⽉間登録 ユーザー数 ユーザーと企業の マッチング数
33. 34 アウトカム指標と外部要因 アウトプットから遠いアウトカムほど、開発組織以外（外部要因）の 影響を⼤きく受ける可能性が⾼まる。 外部要因 社会 情勢 アウトカム指標① アウトカム指標② アウトカム指標③ レジュメの 登録時間 ⽉間登録 ユーザー数 ユーザーと企業の マッチング数 マーケ ティング 施策
34. 37 アウトカム指標は秘伝のタレになりやすい アウトカム指標は各所に点在していることが多い プロダクトマネージャ エンジニア 営業 アウトカム 指標D アウトカム 指標A アウトカム 指標B アウトカム 指標C
35. 38 アウトカム指標は秘伝のタレになりやすい プロダクトマネージャ エンジニア 営業 アウトカムD アウトカムC アウトカム 指標A アウトカム 指標B
36. 39 アウトカム指標は秘伝のタレになりやすい プロダクトマネージャ エンジニア 営業 アウトカムA アウトカムB アウトカム 指標D アウトカム 指標C
37. 40 アウトカム指標は秘伝のタレになりやすい プロダクトマネージャ エンジニア 営業 アウトカムA アウトカムB 指標Cの向上を最優先に 頑張るぞー！！ 頑張りましょう！！ アウトカム 指標D アウトカム 指標C
38. 41 アウトカム指標は秘伝のタレになりやすい プロダクトマネージャ エンジニア 営業 アウトカムD アウトカムC 指標Bの優先度を上げて ほしいのに全然やってく れない。。 アウトカム 指標A アウトカム 指標B
39. 42 アウトカム指標は秘伝のタレになりやすい 今回の活動では知る⼈ぞ知るアウトカム指標の可視化を進めていく プロダクトマネージャ エンジニア 営業 アウトカム 指標D アウトカム 指標A アウトカム 指標B アウトカム 指標C
40. 43 アウトカム計測の意義について 実験の結果がわかる 数値を元に 議論できるようになる 1 2
41. 44 アウトカム計測の意義①：実験の結果がわかる ⼤前提、我々が作ったプロダクト（アウトプット）が顧客のニーズを満たした （アウトカム達成）対価として信頼・売上を獲得する プロダクト（アウトプット） 信頼・売上 ビズリーチ 顧客 アウトカム達成 UP
42. アウトカム未達成 45 アウトカム計測の意義①：実験の結果がわかる 逆に提供しているプロダクトが顧客のニーズを満たしていない （アウトカム未達成）場合、信頼・売上は徐々に低下していく プロダクト（アウトプット） ビズリーチ 顧客 信頼・売上 求めているの はこれじゃな いんだよなあ DOWN
43. 46 アウトカム計測の意義①：実験の結果がわかる アウトカム指標を可視化することで、⾃分たちの実験（プロダクト）が 顧客の要望やニーズを解決しているか判断できるようになる プロダクト（アウトプット） ビズリーチ 顧客 アウトカム指標が上がっ ているから、お客様に価 値があるプロダクトを届 けられたぞ！ アウトカム達成
44. 47 アウトカム計測の意義①：実験の結果がわかる アウトカム指標を可視化することで、⾃分たちの実験（プロダクト）が 顧客の要望やニーズを解決しているか判断できるようになる プロダクト（アウトプット） ビズリーチ 顧客 アウトカム指標が上がっ ているから、お客様に価 値があるプロダクトを届 けられたぞ！ アウトカム達成 信頼・売上 UP
45. アウトカム計測の意義②：数値を元に議論できるようになる Problem（問題） Solution（解決策） Fact（事実） Opinion（意⾒） 設計 デプロイ 仮説を 実装する 仮説を 動かす 結果を 検証する 仮説 対策の仮説 を⽴てる 計測 (参考) https://slide.meguro.ryuzee.com/slides/78 吉⽻⿓太郎さん「カイゼンの基本」の図を変更 仮説を⽴てるには、 計測データを検証する 必要がある。 48
46. アウトカム計測の意義②：数値を元に議論できるようになる Problem（問題） Solution（解決策） Fact（事実） Opinion（意⾒） 仮説を 実装する 仮説を 動かす 結果を 検証する 対策の仮説 を⽴てる (参考) https://slide.meguro.ryuzee.com/slides/78 吉⽻⿓太郎さん「カイゼンの基本」の図を変更 仮説を⽴てるには、 計測データを検証する 必要がある。 49 設計 デプロイ 仮説 計測
47. アウトカム計測の意義②：数値を元に議論できるようになる Problem（問題） Solution（解決策） Fact（事実） Opinion（意⾒） 仮説を 実装する 仮説を 動かす 結果を 検証する 対策の仮説 を⽴てる (参考) https://slide.meguro.ryuzee.com/slides/78 吉⽻⿓太郎さん「カイゼンの基本」の図を変更 仮説を⽴てるには、 計測データを検証する 必要がある。 50 設計 デプロイ 仮説 計測
48. アウトカム計測の意義②：数値を元に議論できるようになる Problem（問題） Solution（解決策） Fact（事実） Opinion（意⾒） 仮説を 実装する 仮説を 動かす 結果を 検証する 対策の仮説 を⽴てる (参考) https://slide.meguro.ryuzee.com/slides/78 吉⽻⿓太郎さん「カイゼンの基本」の図を変更 仮説を⽴てるには、 計測データを検証する 必要がある。 51 設計 デプロイ 仮説 計測
49. 53 アウトカム計測の意義②：数値を元に議論できるようになる 実際に⽣み出された成果（アウトカム）ではなく、 機能の開発とリリースに集中してしまっている状態をビルドトラップ※と⾔う 誰も プロダクト を使わない ⾜りない 機能を作る 顧客に⾜り ない機能を 聞く ※「プロダクトマネジメント ビルドトラップを避け顧客に価値を届ける」Melissa Perri著、吉⽻⿓太郎訳 P31 プロダクトの死のサイクル(デイビッド・ブランド)
50. 54 アウトカム計測の意義②：数値を元に議論できるようになる 職種を超えて様々な⼈がアウトカム指標を活⽤することで、 ビルドトラップに陥っていないかいち早く検知することができる 誰も プロダクト を使わない ⾜りない 機能を作る 顧客に⾜り ない機能を 聞く ※「プロダクトマネジメント ビルドトラップを避け顧客に価値を届ける」Melissa Perri著、吉⽻⿓太郎訳 P31 プロダクトの死のサイクル(デイビッド・ブランド)
51. アウトカムの計測活動について 55
52. 56 指標収集にあたって 無数にある指標の中で、どのような指標を収集するのがいいのだろうか プロセス改善 チーム 指標A 指標B 指標C 指標D 指標E 指標F どんな指標を 収集するのが いいのだろうか・・
53. 58 EBM（エビデンスベースドマネジメント）を活⽤し計測に活かす エビデンスベースドマネジメントは、Scrum.org、Professional Scrum Trainer の コミュニティ、Ken Schwaber、Christina Schwaberによって共同開発された。 （参考）Scrum.org エビデンスベースドマネジメント ガイド 改善とアジリティを可能にする価値の計測 IUUQTRSQBQTKQQLNMT 1より引⽤
54. 59 EBM（エビデンスベースドマネジメント）とは •実験・検査・適応を繰り返すことでゴールを洗練させていくフレーム •指標（エビデンス）を収集することで検査の精度を⾼める （参考）Scrum.org エビデンスベースドマネジメント ガイド 改善とアジリティを可能にする価値の計測 IUUQTRSQBQTKQQLNMT 1より引⽤
55. 60 指標となりうる2つの要素 市場価値 組織的な能⼒
56. 61 組織的な能⼒について プロダクト組織は⾃組織の能⼒について様々なメトリクスを⽤いて 可視化を⾏なっている 組織的な能⼒（⼀例） デプロイ 頻度 インシデ ント数 変更リー ドタイム 変更 失敗率 サイクル タイム 技術的 負債 ビルド 時間 平均サー ビス回復 時間
57. 62 市場価値について 組織的な能⼒を向上させることで、市場価値を⾼めていこうとしている 市場価値 組織的な能⼒（⼀例） デプロイ 頻度 インシデ ント数 変更リー ドタイム 変更 失敗率 サイクル タイム 技術的 負債 ビルド 時間 平均サー ビス回復 時間
58. 63 4つの重要価値領域 EBM （エビデンスベースドマネジメント）では組織的な能⼒と市場価値について 対象となる指標群を定義している 組織的な能⼒ イノベーショ ンの能⼒ （効果性） A2I: Ability to Innovate 市場に出すま での時間 （反応性） T2M: Time to Market
59. 64 4つの重要価値領域 EBM （エビデンスベースドマネジメント）では組織的な能⼒と市場価値について 4つの重要価値領域を定義している 市場価値 現在の価値 CV: Current Value 未実現の価値 UV: Unrealized Value 組織的な能⼒ イノベーショ ンの能⼒ （効果性） A2I: Ability to Innovate 市場に出すま での時間 （反応性） T2M: Time to Market
60. 65 4つの重要価値領域 EBM （エビデンスベースドマネジメント）を活⽤し、 ⾃分たちはどこの領域を計測しているか・計測していないかを認識する 市場価値 現在の価値 CV: Current Value 未実現の価値 UV: Unrealized Value 組織的な能⼒ イノベーショ ンの能⼒ （効果性） A2I: Ability to Innovate 市場に出すま での時間 （反応性） T2M: Time to Market
61. 66 組織的な能⼒と市場価値 ビズリーチでは組織的な能⼒についてFour Keysの計測を開始している 組織的な能⼒（⼀例） デプロイ 頻度 インシデ ント数 変更リー ドタイム 変更 失敗率 サイクル タイム 技術的 負債 ビルド 時間 平均サー ビス回復 時間 Four Keys
62. 67 組織的な能⼒と市場価値 今回は市場価値に着⽬し計測を⾏なっていく 組織的な能⼒（⼀例） デプロイ 頻度 インシデ ント数 変更リー ドタイム 変更 失敗率 サイクル タイム 技術的 負債 ビルド 時間 平均サー ビス回復 時間 ？？ ？？ 市場価値
63. 69 詳しい⼈に話を聞きにいく •『⼊⾨ 監視』ではビジネスKPIの可視化のために、関係者（詳しい⼈）に話を聞き に⾏くことが必要だと述べている •アウトカム指標を⾒つけるために、詳しい⼈（プロダクトマネージャー）にインタ ビューを実施することにした （参考）⼊⾨ 監視 ―モダンなモニタリングのためのデザインパターン Mike Julian (著), 松浦 隼⼈ (翻訳) オライリージャパン 2019/1/17 P73 “どのようにアプリケーションが動いていて、何を計測するのが 重要かを理解できるよう、間違いない⽅法を教えます。 それは、⼈と話すことです。 （中略） では誰に話しかけたらよいのでしょうか。 まず話すべきはプロダクトマネージャーです。”
64. 70 プロダクトマネージャーへインタビューを実施 インタビューでは、ロードマップを深堀りしながら以下をヒアリング 1. ロードマップとアウトカムの結びつき 2. どのようなアウトカム指標を設定しているか 3. データは誰が収集しているか プロセス改善 チーム プロダクトマネージャ
65. 71 プロダクトマネージャーへインタビューを実施 インタビューでは、ロードマップを深堀りしながら以下をヒアリング 1. ロードマップとアウトカムの結びつき 2. どのようなアウトカム指標を設定しているか 3. データは誰が収集しているか プロセス改善 チーム プロダクトマネージャ ロードマップの内容 はどういった背景で これになったのか？ アウトカム指標に ついて誰（どこ）が 収集しているか？
66. 72 プロダクトマネージャーへインタビューを実施 インタビューでは、ロードマップを深堀りしながら以下をヒアリング 1. ロードマップとアウトカムの結びつき 2. どのようなアウトカム指標を設定しているか 3. データは誰が収集しているか プロセス改善 チーム プロダクトマネージャ 今は〇〇の理由で ☆☆領域に注⼒して いるし△△な指標を 活⽤しているよ 指標は企画チー ムの〇〇さんが 収集しているよ
67. 73 データ収集メンバーにインタビューを実施 プロセス改善 チーム 企画チーム〇〇さん アウトカム指標を可視化し 職種を超えた様々な⼈が活⽤ できるようにしたいです！！
68. 74 データ収集メンバーにインタビューを実施 プロセス改善 チーム 企画チーム〇〇さん 実は、とある指標が 低下し続けてのにな かなか原因がわから なかったんだよね。
69. 75 データ収集メンバーにインタビューを実施 プロセス改善 チーム 企画チーム〇〇さん 実は、とある指標が 低下し続けてのにな かなか原因がわから なかったんだよね。 だけど、エンジニア にこのことを共有し たら原因調査の優先 順位が上がってすぐ に解決できたよ！！
70. 76 データ収集メンバーにインタビューを実施 データ収集をしているメンバーにインタビューする中で分かったこと •現状アウトカム指標は⼀部の⼈しか活⽤できていない •多くの⼈にアウトカム指標が周知されることで、顧客により良い価値を届けられ る伸び代がある プロセス改善 チーム 企画チーム〇〇さん
71. 77 アウトカム計測の実施ステップ インタビュー 開発パフォーマンス 指標との相関発⾒ 計測指標の選定 指標の計測と 可視化 STEP1 STEP2 STEP3 STEP4 これまでの活動を通してSTEP1とSTEP2を実施
72. 78 アウトカム計測の実施ステップ インタビュー 開発パフォーマンス 指標との相関発⾒ 計測指標の選定 指標の計測と 可視化 STEP1 STEP2 STEP3 STEP4 今後STEP3とSTEP4を実施予定
73. 今後の展望 79
74. 80 今後の展望 アウトカムマップの 作成 アウトカム指標の 可視化 指標同⼠の相関性の 発⾒ 1 2 3
75. 81 ①アウトカムマップの作成 アウトカム同⼠の関連性を⾒つけ可視化を⾏なっていく アウト カムA アウト カムB アウト カムC アウト カムD アウト カムE アウト カムF アウト カムG アウト カムH アウト カムI アウト カムJ アウト カムK アウト カムL
76. 82 ①アウトカムマップの作成 アウトカム同⼠の関連性を⾒つけ可視化を⾏なっていく アウト カムA アウト カムB アウト カムC アウト カムI アウト カムD アウト カムE アウト カムJ アウト カムF アウト カムG アウト カムH アウト カムK
77. 83 ①アウトカムマップの作成 アウトカム指標の中には、トレードオフな関係も存在する （必ずしもツリー構造になるとは限らない） レジュメの 登録時間 ⽉間登録 ユーザー数 求職者と企業の マッチング数 アウトカム指標① アウトカム指標② アウトカム指標③
78. 84 ①アウトカムマップの作成 アウトカム指標の中には、トレードオフな関係も存在する （必ずしもツリー構造になるとは限らない） レジュメ充⾜率 求職者検索 ヒット数 求職者と企業の マッチング数 アウトカム④ アウトカム⑤ アウトカム③ アウトカム指標④ アウトカム指標⑤ アウトカム指標③
79. 85 ①アウトカムマップの作成 アウトカム指標の中には、トレードオフな関係も存在する （必ずしもツリー構造になるとは限らない） レジュメの 登録時間 ⽉間登録 ユーザー数 求職者と企業の マッチング数 レジュメ充⾜率 アウトカム指標④ 求職者検索 ヒット数 アウトカム指標⑤ アウトカム指標① アウトカム指標② アウトカム指標③
80. 86 ①アウトカムマップの作成 アウトカム指標の中には、トレードオフな関係も存在する （必ずしもツリー構造になるとは限らない） レジュメの 登録時間 ⽉間登録 ユーザー数 求職者と企業の マッチング率 アウトカム指標② アウトカム指標③ レジュメ充⾜率 求職者検索 ヒット数 アウトカム指標⑤ アウトカム指標④ アウトカム指標①
81. 87 ①アウトカムマップの作成 アウトカム指標の中には、トレードオフな関係も存在する （必ずしもツリー構造になるとは限らない） レジュメの 登録時間 ⽉間登録 ユーザー数 求職者と企業の マッチング率 レジュメ充⾜率 求職者検索 ヒット数 2つの指標は トレードオフ アウトカム指標④ アウトカム指標① アウトカム指標② アウトカム指標③ アウトカム指標⑤
82. 88 ②アウトカム指標の可視化 開発 営業 PO 経営者
83. 89 ②アウトカム指標の可視化 ⽣⿂ https://unsplash.com/ja/%E5%86%99%E7%9C%9F/xp3xtQW3pqs?utm_source=unsplash&utm_medium=referral&utm_content=creditShareLink
84. 90 ②アウトカム指標の可視化 ⽣⿂ お寿司 https://unsplash.com/ja/%E5%86%99%E7%9C%9F/xp3xtQW3pqs?utm_source=unsplash&utm_medium=referral&utm_content=creditShareLink https://unsplash.com/ja/%E5%86%99%E7%9C%9F/KFpId47qaH4?utm_source=unsplash&utm_medium=referral&utm_content=creditShareLink https://unsplash.com/ja/%E5%86%99%E7%9C%9F/mFgv9LmaTBk?utm_source=unsplash&utm_medium=referral&utm_content=creditShareLink https://unsplash.com/ja/%E5%86%99%E7%9C%9F/EHK-EH1SRzQ?utm_source=unsplash&utm_medium=referral&utm_content=creditShareLink https://unsplash.com/ja/%E5%86%99%E7%9C%9F/6QyoveETulU?utm_source=unsplash&utm_medium=referral&utm_content=creditShareLink
85. 91 ②アウトカム指標の可視化 ⽣⿂ ? ? ! ? ⽣のデータ https://unsplash.com/ja/%E5%86%99%E7%9C%9F/xp3xtQW3pqs?utm_source=unsplash&utm_medium=referral&utm_content=creditShareLink
86. 92 ②アウトカム指標の可視化 • 収集データをそのまま共有するのではなく、グラフに「加⼯」したり、レベル分け するなどデータに「意味づけ」をする • 意味づけすることで、経験や職種に関係なく状況や課題感を共有することができる 閲覧者がデータを理解できるように 加⼯・意味づけの「可視化」をして共有する High Medium Low
87. 指標B 93 ③指標同⼠の相関関係の発⾒ Four Keys ケイパビリティ パフォーマンス指標 アウトカム指標 プロダクト価値 指標D 指標E 指標A 指標C 指標F 指標G
88. 94 ③指標同⼠の相関関係の発⾒ 企業 事業 サービス プロダクト プロジェクト 開発チーム プロダクト開発を起点とした時の縦の繋がり。 各ブロックが複数指標を保有。 さらに各ブロックの指標やアウトカムが下層から上層 へ影響を及ぼすと考えられる。 縦の繋がり 今はこの辺りに注⼒して活動
89. 95 ③指標同⼠の相関関係の発⾒ 企業 事業 サービス プロダクト プロジェクト 開発チーム 営業 マーケティング 顧客が認識している「サービス」に 影響を及ぼす範囲から 顧客が認識している「サービス」を 起点とした時の横の繋がり。 横の繋がり
90. 96 ③指標同⼠の相関関係の発⾒ • 指標・順序は実際と異なります • 複数指標を組み合わせた相関関係を表す ことがあります アウトカム指標はプロダクト単位で変わります。 また、1〜複数存在します。 アウトカム指標 利益 売上 市場占有率 顧客満⾜度 ⼊社⼈数 営業指標 マーケティング指標 プロダクト開発指標 メッセージ送信数 求⼈数 契約企業数 アポイント数 開発ツール費 スコープ達成率 障害 開発パフォーマンス スコープ 予算 時間 年齢 開発チーム組成 評価グレード ケイパビリティ 職位 e-NPS 勤怠 パルスサーベイ 勤務年数 ⾏動特性 内定承諾率 求⼈応募数 レジュメ充⾜率 登録ユーザー数 広告クリック率 計画リリース率 緊急リリース率 Four Keys オンプロダクト指標 進捗率 マイルストーン達成率 デリバリーの変更率 ⼈件費 固定費 品質維持・品質向上 開発進捗 開発チームの能⼒・コンディション 指標相関関係（サービス以下）
91. 97 ③指標同⼠の相関関係の発⾒ • 指標・順序は実際と異なります • 複数指標を組み合わせた相関関係を表す ことがあります アウトカム指標はプロダクト単位で変わります。 また、1〜複数存在します。 アウトカム指標 利益 売上 市場占有率 顧客満⾜度 ⼊社⼈数 営業指標 マーケティング指標 プロダクト開発指標 メッセージ送信数 求⼈数 契約企業数 アポイント数 開発ツール費 スコープ達成率 障害 開発パフォーマンス スコープ 予算 時間 年齢 開発チーム組成 評価グレード ケイパビリティ 職位 e-NPS 勤怠 パルスサーベイ 勤務年数 ⾏動特性 内定承諾率 求⼈応募数 レジュメ充⾜率 登録ユーザー数 広告クリック率 計画リリース率 緊急リリース率 Four Keys オンプロダクト指標 進捗率 マイルストーン達成率 デリバリーの変更率 ⼈件費 固定費 品質維持・品質向上 開発進捗 開発チームの能⼒・コンディション 指標相関関係（サービス以下） kyu 企業 求職者 求職者を検索 メッセージ マッチング 広告 CRM
92. 98 ③指標同⼠の相関関係の発⾒ • 指標・順序は実際と異なります • 複数指標を組み合わせた相関関係を表す ことがあります アウトカム指標はプロダクト単位で変わります。 また、1〜複数存在します。 アウトカム指標 利益 売上 市場占有率 顧客満⾜度 ⼊社⼈数 営業指標 マーケティング指標 プロダクト開発指標 メッセージ送信数 求⼈数 契約企業数 アポイント数 開発ツール費 スコープ達成率 障害 開発パフォーマンス スコープ 予算 時間 年齢 開発チーム組成 評価グレード ケイパビリティ 職位 e-NPS 勤怠 パルスサーベイ 勤務年数 ⾏動特性 内定承諾率 求⼈応募数 レジュメ充⾜率 登録ユーザー数 広告クリック率 計画リリース率 緊急リリース率 Four Keys オンプロダクト指標 進捗率 マイルストーン達成率 デリバリーの変更率 ⼈件費 固定費 品質維持・品質向上 開発進捗 開発チームの能⼒・コンディション 指標相関関係（サービス以下）
93. 99 ③指標同⼠の相関関係の発⾒ • 指標・順序は実際と異なります • 複数指標を組み合わせた相関関係を表す ことがあります アウトカム指標はプロダクト単位で変わります。 また、1〜複数存在します。 アウトカム指標 利益 売上 市場占有率 顧客満⾜度 ⼊社⼈数 営業指標 マーケティング指標 プロダクト開発指標 メッセージ送信数 求⼈数 契約企業数 アポイント数 開発ツール費 スコープ達成率 障害 開発パフォーマンス スコープ 予算 時間 年齢 開発チーム組成 評価グレード ケイパビリティ 職位 e-NPS 勤怠 パルスサーベイ 勤務年数 ⾏動特性 内定承諾率 求⼈応募数 レジュメ充⾜率 登録ユーザー数 広告クリック率 計画リリース率 緊急リリース率 Four Keys オンプロダクト指標 進捗率 マイルストーン達成率 デリバリーの変更率 ⼈件費 固定費 品質維持・品質向上 開発進捗 開発チームの能⼒・コンディション 指標相関関係（サービス以下）
94. 100 ③指標同⼠の相関関係の発⾒ • 指標・順序は実際と異なります • 複数指標を組み合わせた相関関係を表す ことがあります アウトカム指標はプロダクト単位で変わります。 また、1〜複数存在します。 アウトカム指標 利益 売上 市場占有率 顧客満⾜度 ⼊社⼈数 営業指標 マーケティング指標 プロダクト開発指標 メッセージ送信数 求⼈数 契約企業数 アポイント数 開発ツール費 スコープ達成率 障害 開発パフォーマンス スコープ 予算 時間 年齢 開発チーム組成 評価グレード ケイパビリティ 職位 e-NPS 勤怠 パルスサーベイ 勤務年数 ⾏動特性 内定承諾率 求⼈応募数 レジュメ充⾜率 登録ユーザー数 広告クリック率 計画リリース率 緊急リリース率 Four Keys オンプロダクト指標 進捗率 マイルストーン達成率 デリバリーの変更率 ⼈件費 固定費 品質維持・品質向上 開発進捗 開発チームの能⼒・コンディション 指標相関関係（サービス以下）
95. 101 ③指標同⼠の相関関係の発⾒ • 指標・順序は実際と異なります • 複数指標を組み合わせた相関関係を表す ことがあります アウトカム指標はプロダクト単位で変わります。 また、1〜複数存在します。 アウトカム指標 利益 売上 市場占有率 顧客満⾜度 ⼊社⼈数 営業指標 マーケティング指標 プロダクト開発指標 メッセージ送信数 求⼈数 契約企業数 アポイント数 開発ツール費 スコープ達成率 障害 開発パフォーマンス スコープ 予算 時間 年齢 開発チーム組成 評価グレード ケイパビリティ 職位 e-NPS 勤怠 パルスサーベイ 勤務年数 ⾏動特性 内定承諾率 求⼈応募数 レジュメ充⾜率 登録ユーザー数 広告クリック率 計画リリース率 緊急リリース率 Four Keys オンプロダクト指標 進捗率 マイルストーン達成率 デリバリーの変更率 ⼈件費 固定費 品質維持・品質向上 開発進捗 開発チームの能⼒・コンディション 指標相関関係（サービス以下）
96. 102 ③指標同⼠の相関関係の発⾒ • 指標・順序は実際と異なります • 複数指標を組み合わせた相関関係を表す ことがあります アウトカム指標はプロダクト単位で変わります。 また、1〜複数存在します。 アウトカム指標 利益 売上 市場占有率 顧客満⾜度 ⼊社⼈数 営業指標 マーケティング指標 プロダクト開発指標 メッセージ送信数 求⼈数 契約企業数 アポイント数 開発ツール費 スコープ達成率 障害 開発パフォーマンス スコープ 予算 時間 年齢 開発チーム組成 評価グレード ケイパビリティ 職位 e-NPS 勤怠 パルスサーベイ 勤務年数 ⾏動特性 内定承諾率 求⼈応募数 レジュメ充⾜率 登録ユーザー数 広告クリック率 計画リリース率 緊急リリース率 Four Keys オンプロダクト指標 進捗率 マイルストーン達成率 デリバリーの変更率 ⼈件費 固定費 品質維持・品質向上 開発進捗 開発チームの能⼒・コンディション 指標相関関係（サービス以下）
97. 103 ③指標同⼠の相関関係の発⾒ • 指標・順序は実際と異なります • 複数指標を組み合わせた相関関係を表す ことがあります アウトカム指標はプロダクト単位で変わります。 また、1〜複数存在します。 アウトカム指標 利益 売上 市場占有率 顧客満⾜度 ⼊社⼈数 営業指標 マーケティング指標 プロダクト開発指標 メッセージ送信数 求⼈数 契約企業数 アポイント数 開発ツール費 スコープ達成率 障害 開発パフォーマンス スコープ 予算 時間 年齢 開発チーム組成 評価グレード ケイパビリティ 職位 e-NPS 勤怠 パルスサーベイ 勤務年数 ⾏動特性 内定承諾率 求⼈応募数 レジュメ充⾜率 登録ユーザー数 広告クリック率 計画リリース率 緊急リリース率 Four Keys オンプロダクト指標 進捗率 マイルストーン達成率 デリバリーの変更率 ⼈件費 固定費 品質維持・品質向上 開発進捗 開発チームの能⼒・コンディション 指標相関関係（サービス以下） アウトカム指標 市場占有率 顧客満⾜度
98. 104 ③指標同⼠の相関関係の発⾒ • 指標・順序は実際と異なります • 複数指標を組み合わせた相関関係を表す ことがあります アウトカム指標はプロダクト単位で変わります。 また、1〜複数存在します。 アウトカム指標 利益 売上 市場占有率 顧客満⾜度 ⼊社⼈数 営業指標 マーケティング指標 プロダクト開発指標 メッセージ送信数 求⼈数 契約企業数 アポイント数 開発ツール費 スコープ達成率 障害 開発パフォーマンス スコープ 予算 時間 年齢 開発チーム組成 評価グレード ケイパビリティ 職位 e-NPS 勤怠 パルスサーベイ 勤務年数 ⾏動特性 内定承諾率 求⼈応募数 レジュメ充⾜率 登録ユーザー数 広告クリック率 計画リリース率 緊急リリース率 Four Keys オンプロダクト指標 進捗率 マイルストーン達成率 デリバリーの変更率 ⼈件費 固定費 品質維持・品質向上 開発進捗 開発チームの能⼒・コンディション 指標相関関係（サービス以下） アウトカム指標 市場占有率 顧客満⾜度 契約企業数
99. 105 ③指標同⼠の相関関係の発⾒ • 指標・順序は実際と異なります • 複数指標を組み合わせた相関関係を表す ことがあります アウトカム指標はプロダクト単位で変わります。 また、1〜複数存在します。 アウトカム指標 利益 売上 市場占有率 顧客満⾜度 ⼊社⼈数 営業指標 マーケティング指標 プロダクト開発指標 メッセージ送信数 求⼈数 契約企業数 アポイント数 開発ツール費 スコープ達成率 障害 開発パフォーマンス スコープ 予算 時間 年齢 開発チーム組成 評価グレード ケイパビリティ 職位 e-NPS 勤怠 パルスサーベイ 勤務年数 ⾏動特性 内定承諾率 求⼈応募数 レジュメ充⾜率 登録ユーザー数 広告クリック率 計画リリース率 緊急リリース率 Four Keys オンプロダクト指標 進捗率 マイルストーン達成率 デリバリーの変更率 ⼈件費 固定費 品質維持・品質向上 開発進捗 開発チームの能⼒・コンディション 指標相関関係（サービス以下） アウトカム指標 市場占有率 顧客満⾜度 契約企業数 デリバリーの変更率
100. 106 ③指標同⼠の相関関係の発⾒ • 指標・順序は実際と異なります • 複数指標を組み合わせた相関関係を表す ことがあります アウトカム指標はプロダクト単位で変わります。 また、1〜複数存在します。 アウトカム指標 利益 売上 市場占有率 顧客満⾜度 ⼊社⼈数 営業指標 マーケティング指標 プロダクト開発指標 メッセージ送信数 求⼈数 契約企業数 アポイント数 開発ツール費 スコープ達成率 障害 開発パフォーマンス スコープ 予算 時間 年齢 開発チーム組成 評価グレード ケイパビリティ 職位 e-NPS 勤怠 パルスサーベイ 勤務年数 ⾏動特性 内定承諾率 求⼈応募数 レジュメ充⾜率 登録ユーザー数 広告クリック率 計画リリース率 緊急リリース率 Four Keys オンプロダクト指標 進捗率 マイルストーン達成率 デリバリーの変更率 ⼈件費 固定費 品質維持・品質向上 開発進捗 開発チームの能⼒・コンディション 指標相関関係（サービス以下） アウトカム指標 市場占有率 顧客満⾜度 契約企業数 デリバリーの変更率 オンプロダクト指標 マイルストーン達成率 （プロダクト価値に費やした⼯数割合）
101. 107 ③指標同⼠の相関関係の発⾒ • 指標・順序は実際と異なります • 複数指標を組み合わせた相関関係を表す ことがあります アウトカム指標はプロダクト単位で変わります。 また、1〜複数存在します。 アウトカム指標 利益 売上 市場占有率 顧客満⾜度 ⼊社⼈数 営業指標 マーケティング指標 プロダクト開発指標 メッセージ送信数 求⼈数 契約企業数 アポイント数 開発ツール費 スコープ達成率 障害 開発パフォーマンス スコープ 予算 時間 年齢 開発チーム組成 評価グレード ケイパビリティ 職位 e-NPS 勤怠 パルスサーベイ 勤務年数 ⾏動特性 内定承諾率 求⼈応募数 レジュメ充⾜率 登録ユーザー数 広告クリック率 計画リリース率 緊急リリース率 Four Keys オンプロダクト指標 進捗率 マイルストーン達成率 デリバリーの変更率 ⼈件費 固定費 品質維持・品質向上 開発進捗 開発チームの能⼒・コンディション 指標相関関係（サービス以下） アウトカム指標 市場占有率 顧客満⾜度 契約企業数 デリバリーの変更率 開発チーム組成 オンプロダクト指標 マイルストーン達成率 （プロダクト価値に費やした⼯数割合）
102. 108 ③指標同⼠の相関関係の発⾒ • 指標・順序は実際と異なります • 複数指標を組み合わせた相関関係を表す ことがあります アウトカム指標はプロダクト単位で変わります。 また、1〜複数存在します。 アウトカム指標 利益 売上 市場占有率 顧客満⾜度 ⼊社⼈数 営業指標 マーケティング指標 プロダクト開発指標 メッセージ送信数 求⼈数 契約企業数 アポイント数 開発ツール費 スコープ達成率 障害 開発パフォーマンス スコープ 予算 時間 年齢 開発チーム組成 評価グレード ケイパビリティ 職位 e-NPS 勤怠 パルスサーベイ 勤務年数 ⾏動特性 内定承諾率 求⼈応募数 レジュメ充⾜率 登録ユーザー数 広告クリック率 計画リリース率 緊急リリース率 Four Keys オンプロダクト指標 進捗率 マイルストーン達成率 デリバリーの変更率 ⼈件費 固定費 品質維持・品質向上 開発進捗 開発チームの能⼒・コンディション 指標相関関係（サービス以下） アウトカム指標 市場占有率 顧客満⾜度 契約企業数 デリバリーの変更率 開発チーム組成 オンプロダクト指標 マイルストーン達成率 もしプロダクト開発指標が 可視化されていない・ブラックボックス だったら打ち⼿が間違ってる可能性がある かもしれない。
104. 110 Blogで関連記事を公開しています！ https://engineering.visional.inc/blog/
105. Appendix 111
106. 112 EBMの重要価値指標の例 KVM Measuring 従業員1⼈あたりの収益 この⽐率（総収益 / 従業員数）は業界内の主要な競争 指標である。業界によって⼤きく異なる。 プロダクトコスト⽐率 計測対象のプロダクトやシステムにかかる総費⽤およ びコスト。運⽤コストも含まれる。 従業員満⾜度 従業員のエンゲージメント、エネルギー、熱意を計測 するのに役⽴つ感情分析の⼀種。 顧客満⾜度 プロダクトに 対する顧客のエンゲージメ ントと幸福度を計測す プロダクトに対する顧客のエンゲージメントと幸福度 を計測するのに役⽴つ感情分析の⼀種。 顧客使⽤指標 機能別の利⽤状況を計測して、顧客がプロダクトをど の程度有益だと思っているかを推測する。また、機能 にかける実際の使⽤時間が、期待と⼀致しているかを 確認する。 現在の価値（CV） 未実現の価値（UV） KVM Measuring 市場占有率 プロダクトが市場を占める相対的な割合。顧客 のニーズをよりよく満たした場合、そのプロダ クトが達成できるであろう潜在的な市場シェア。 顧客（ユーザー）満⾜度ギャップ 顧客またはユーザーが望む体験と実際の体験の 格差。 望ましい顧客体験または満⾜度 顧客が望んでいる体験を⽰す指標。 KVM Measuring ビルドと統合の頻度 単位時間あたりのビルド（統合されてテストされたもの）の回数。 頻繁にあるいは継続的にリリースしているチームであれば、実際のリ リース回数を計測する。 リリースの頻度 単位時間あたり（継続的、⽇次、週次、⽉次、四半期ごとなど）のリ リース回数。これは、新規的で競争⼒のあるプロダクトにおいて、顧 客を満⾜させるために必要な時間を評価するのに役⽴つ。 リリースの安定期間 開発者がリリースの準備ができたと⾔ったときから、プロダクトの問 題を修正して、実際に顧客にリリースされるまでにかかった時間。こ れは、貧弱な開発プラクティス、その基盤となる設計やコードベース の影響を表すのに役⽴つ。 平均修復時間 エラーが発⾒されてから修正されるまでの平均時間。これは、組織が エラーを修正するときの効率性を明らかにする。 顧客サイクルタイム リリース作業に着⼿してから実際にリリースするまでの時間。組織が 顧客にリーチするための能⼒を計測するのに役⽴つ。 リードタイム アイデアが提案されて仮説が形成されてから、顧客がそのアイデアを 享受できるようになるまでの時間。顧客やプロダクトによって、この 指標は⼤きく異なる。顧客満⾜度の要因でもある。 変更のリードタイム コードがコミットされてから本番環境で正常に実⾏されるまでの時間。 Four Keysのひとつ。 デプロイ頻度 組織がプロダクトの新規バージョンを顧客またはユーザーにデプロイ （またはリリース）する回数。Four Keysのひとつ。 サービス復元時間 サービスの停⽌が開始されてからサービスの可⽤性が完全に回復する までの時間。Four Keysのひとつ。 学習時間 アイデアや改善をスケッチして、構築して、ユーザーに提供して、そ の利⽤を学習するまでにかかる時間。 障害物除去時間 障害物が発⽣してから解決さるまでの平均時間。リードタイムや従業 員満⾜度の要因でもある。 ピボットまでの時間 真のビジネスアジリティの指標で、組織がフィードバックや新しい情 報を得てから、そのフィードバックに対応するまでの経過時間を表す。 例えば、競合他社が新たな市場獲得のための機能を提供したことを 知ってから、組織が顧客体験を計測できるほどに改善する新機能ある いはそれを超える機能を提供したりするまでの時間。 市場に出すまでの時間（T2M） KVM Measuring イノベーション率 新しいプロダクトの機能に費やした労⼒やコストを、すべてのプロダ クトに費やした労⼒やコストで割ったもの。新しいプロダクトの機能 を提供する組織のキャパシティについてのインサイトが 得られる。 ⽋陥のトレンド 前回の計測から⽋陥の変化を計測したもの。⽋陥とは、顧客、ユー ザー、組織にとってのプロダクトの価値を低下させるものである。⼀ 般的には、意図したとおりに動作しないことを指す。 オンプロダクト指標 チームがプロダクトと価値に費やす時間の割合。 インストールされた バージョンの指標 現在サポートしているプロダクトのバージョン数。これは、組織が古 いバージョンのサポートや保守にかけている労⼒を表している。 技術的負債 プログラミングにおける概念であり、「クイック・アンド・ダー ティ」なソリューションをあとで修正することになったときに発⽣す る。追加の開発やテストの作業を表したもの。価値の提供に 望ましくない影響を与え、回避可能な無駄とリスクの増加を⽣み出す。 本番環境のインシデ ントの数 インストールされたプロダクトの問題を修正するために開発チームが 特定の期間中断された回数。本番環境でのインシデントの回数は、本 番環境の安定性を⽰すのに役⽴つ。 プロダクト（コー ド）のアクティブな ブランチ数 プロダクトやサービスの異なるバージョン（または種類）の数。変更 による潜在的な影響とそれに伴う作業の複雑さについてのインサイト が得られる。 ブランチ間でコード をマージする時間 プロダクトやサービスの異なるバーション間で変更を適⽤するために 費やした時間。変更による潜在的な影響とそれに伴う作業の複雑さに ついてのインサイトが得られる。 コンテキストスイッ チにかかる時間 例えば、ミーティングや電話による中断された時間、タスクの切り替 えに費やした時間、チームメンバーがチーム外の⼈を助けるために中 断された時間がある。問題の規模を把握するのに役⽴ つ。 変更失敗率 リリースされたプロダクトのうち、サービスが低下し、修正を⾏う必 要が⽣じた割合（例: ホットフィックス、ロールバック、パッチ）。 Four Keysのひとつ。 イノベーションの能⼒（A2I） (参考) Scrum.org ⻑沢智治、⾓征典(翻訳)“Evidence-Based Management Guide” 2020-9 p.13-P.16 https://www.scrum.org/resources/evidence-based-management-guide (参照2023-1-10)
107. 113 EBMの重要価値指標の例 KVM Measuring 従業員1⼈あたりの収益 この⽐率（総収益 / 従業員数）は業界内の主要な競争 指標である。業界によって⼤きく異なる。 プロダクトコスト⽐率 計測対象のプロダクトやシステムにかかる総費⽤およ びコスト。運⽤コストも含まれる。 従業員満⾜度 従業員のエンゲージメント、エネルギー、熱意を計測 するのに役⽴つ感情分析の⼀種。 顧客満⾜度 プロダクトに 対する顧客のエンゲージメ ントと幸福度を計測す プロダクトに対する顧客のエンゲージメントと幸福度 を計測するのに役⽴つ感情分析の⼀種。 顧客使⽤指標 機能別の利⽤状況を計測して、顧客がプロダクトをど の程度有益だと思っているかを推測する。また、機能 にかける実際の使⽤時間が、期待と⼀致しているかを 確認する。 現在の価値（CV） 未実現の価値（UV） KVM Measuring 市場占有率 プロダクトが市場を占める相対的な割合。顧客 のニーズをよりよく満たした場合、そのプロダ クトが達成できるであろう潜在的な市場シェア。 顧客（ユーザー）満⾜度ギャップ 顧客またはユーザーが望む体験と実際の体験の 格差。 望ましい顧客体験または満⾜度 顧客が望んでいる体験を⽰す指標。 KVM Measuring ビルドと統合の頻度 単位時間あたりのビルド（統合されてテストされたもの）の回数。 頻繁にあるいは継続的にリリースしているチームであれば、実際のリ リース回数を計測する。 リリースの頻度 単位時間あたり（継続的、⽇次、週次、⽉次、四半期ごとなど）のリ リース回数。これは、新規的で競争⼒のあるプロダクトにおいて、顧 客を満⾜させるために必要な時間を評価するのに役⽴つ。 リリースの安定期間 開発者がリリースの準備ができたと⾔ったときから、プロダクトの問 題を修正して、実際に顧客にリリースされるまでにかかった時間。こ れは、貧弱な開発プラクティス、その基盤となる設計やコードベース の影響を表すのに役⽴つ。 平均修復時間 エラーが発⾒されてから修正されるまでの平均時間。これは、組織が エラーを修正するときの効率性を明らかにする。 顧客サイクルタイム リリース作業に着⼿してから実際にリリースするまでの時間。組織が 顧客にリーチするための能⼒を計測するのに役⽴つ。 リードタイム アイデアが提案されて仮説が形成されてから、顧客がそのアイデアを 享受できるようになるまでの時間。顧客やプロダクトによって、この 指標は⼤きく異なる。顧客満⾜度の要因でもある。 変更のリードタイム コードがコミットされてから本番環境で正常に実⾏されるまでの時間。 Four Keysのひとつ。 デプロイ頻度 組織がプロダクトの新規バージョンを顧客またはユーザーにデプロイ （またはリリース）する回数。Four Keysのひとつ。 サービス復元時間 サービスの停⽌が開始されてからサービスの可⽤性が完全に回復する までの時間。Four Keysのひとつ。 学習時間 アイデアや改善をスケッチして、構築して、ユーザーに提供して、そ の利⽤を学習するまでにかかる時間。 障害物除去時間 障害物が発⽣してから解決さるまでの平均時間。リードタイムや従業 員満⾜度の要因でもある。 ピボットまでの時間 真のビジネスアジリティの指標で、組織がフィードバックや新しい情 報を得てから、そのフィードバックに対応するまでの経過時間を表す。 例えば、競合他社が新たな市場獲得のための機能を提供したことを 知ってから、組織が顧客体験を計測できるほどに改善する新機能ある いはそれを超える機能を提供したりするまでの時間。 市場に出すまでの時間（T2M） KVM Measuring イノベーション率 新しいプロダクトの機能に費やした労⼒やコストを、すべてのプロダ クトに費やした労⼒やコストで割ったもの。新しいプロダクトの機能 を提供する組織のキャパシティについてのインサイトが 得られる。 ⽋陥のトレンド 前回の計測から⽋陥の変化を計測したもの。⽋陥とは、顧客、ユー ザー、組織にとってのプロダクトの価値を低下させるものである。⼀ 般的には、意図したとおりに動作しないことを指す。 オンプロダクト指標 チームがプロダクトと価値に費やす時間の割合。 インストールされた バージョンの指標 現在サポートしているプロダクトのバージョン数。これは、組織が古 いバージョンのサポートや保守にかけている労⼒を表している。 技術的負債 プログラミングにおける概念であり、「クイック・アンド・ダー ティ」なソリューションをあとで修正することになったときに発⽣す る。追加の開発やテストの作業を表したもの。価値の提供に 望ましくない影響を与え、回避可能な無駄とリスクの増加を⽣み出す。 本番環境のインシデ ントの数 インストールされたプロダクトの問題を修正するために開発チームが 特定の期間中断された回数。本番環境でのインシデントの回数は、本 番環境の安定性を⽰すのに役⽴つ。 プロダクト（コー ド）のアクティブな ブランチ数 プロダクトやサービスの異なるバージョン（または種類）の数。変更 による潜在的な影響とそれに伴う作業の複雑さについてのインサイト が得られる。 ブランチ間でコード をマージする時間 プロダクトやサービスの異なるバーション間で変更を適⽤するために 費やした時間。変更による潜在的な影響とそれに伴う作業の複雑さに ついてのインサイトが得られる。 コンテキストスイッ チにかかる時間 例えば、ミーティングや電話による中断された時間、タスクの切り替 えに費やした時間、チームメンバーがチーム外の⼈を助けるために中 断された時間がある。問題の規模を把握するのに役⽴ つ。 変更失敗率 リリースされたプロダクトのうち、サービスが低下し、修正を⾏う必 要が⽣じた割合（例: ホットフィックス、ロールバック、パッチ）。 Four Keysのひとつ。 イノベーションの能⼒（A2I） (参考) Scrum.org ⻑沢智治、⾓征典(翻訳)“Evidence-Based Management Guide” 2020-9 p.13-P.16 https://www.scrum.org/resources/evidence-based-management-guide (参照2023-1-10)
108. 114 EBMで定義されている4つの重要価値領域 市場に出すまでの時間（反応性） (T2M: Time to Market) 新しい能⼒、サービス、製品を迅速 に提供する能⼒ イノベーションの能⼒（効果性） (A2I: Ability to Innovate) 顧客やユーザーのニーズにより良く 応えられるような新しい能⼒を提供 する能⼒ 現在の価値 (CV: Current Value) 現在、顧客やユーザーに提供された 価値 未実現の価値 (UV: Unrealized Value) 顧客やユーザーの潜在的なニーズを すべて満たすことによって実現し うる価値 組 織 的 な 能 ⼒ 市 場 価 値
109. 115 EBMで定義されている4つの重要価値領域 市場に出すまでの時間（反応性） (T2M: Time to Market) 新しい能⼒、サービス、製品を迅速 に提供する能⼒ イノベーションの能⼒（効果性） (A2I: Ability to Innovate) 顧客やユーザーのニーズにより良く 応えられるような新しい能⼒を提供 する能⼒ 現在の価値 (CV: Current Value) 現在、顧客やユーザーに提供された 価値 未実現の価値 (UV: Unrealized Value) 顧客やユーザーの潜在的なニーズを すべて満たすことによって実現し うる価値 組 織 的 な 能 ⼒ 市 場 価 値 4つの価値領域は それぞれ関係しあっている
110. 116 EBMで定義されている4つの重要価値領域 市場に出すまでの時間（反応性） (T2M: Time to Market) 新しい能⼒、サービス、製品を迅速 に提供する能⼒ イノベーションの能⼒（効果性） (A2I: Ability to Innovate) 顧客やユーザーのニーズにより良く 応えられるような新しい能⼒を提供 する能⼒ 現在の価値 (CV: Current Value) 現在、顧客やユーザーに提供された 価値 未実現の価値 (UV: Unrealized Value) 顧客やユーザーの潜在的なニーズを すべて満たすことによって実現し うる価値 組 織 的 な 能 ⼒ 市 場 価 値 • CVが低い＝投資価値あり • CVが⾼い＆市場独占＝投資価値なし ＝放っても儲かる（⾦のなる⽊）
111. 117 EBMで定義されている4つの重要価値領域 市場に出すまでの時間（反応性） (T2M: Time to Market) 新しい能⼒、サービス、製品を迅速 に提供する能⼒ イノベーションの能⼒（効果性） (A2I: Ability to Innovate) 顧客やユーザーのニーズにより良く 応えられるような新しい能⼒を提供 する能⼒ 現在の価値 (CV: Current Value) 現在、顧客やユーザーに提供された 価値 未実現の価値 (UV: Unrealized Value) 顧客やユーザーの潜在的なニーズを すべて満たすことによって実現し うる価値 組 織 的 な 能 ⼒ 市 場 価 値 • A2Iが低い＝顧客の要望に応えるのが 遅い • T2Mが低い＝実験スピードが遅いの でライバルに出し抜かれる可能性あり
112. 118 EBMで定義されている4つの重要価値領域 市場に出すまでの時間（反応性） (T2M: Time to Market) 新しい能⼒、サービス、製品を迅速 に提供する能⼒ イノベーションの能⼒（効果性） (A2I: Ability to Innovate) 顧客やユーザーのニーズにより良く 応えられるような新しい能⼒を提供 する能⼒ 現在の価値 (CV: Current Value) 現在、顧客やユーザーに提供された 価値 未実現の価値 (UV: Unrealized Value) 顧客やユーザーの潜在的なニーズを すべて満たすことによって実現し うる価値 組 織 的 な 能 ⼒ 市 場 価 値 CV が低い&T2Mが下がっている＝ 実験スピードが遅いことが提供価値を 下げている可能性あり
113. 119 EBMで定義されている4つの重要価値領域 市場に出すまでの時間（反応性） (T2M: Time to Market) 新しい能⼒、サービス、製品を迅速 に提供する能⼒ イノベーションの能⼒（効果性） (A2I: Ability to Innovate) 顧客やユーザーのニーズにより良く 応えられるような新しい能⼒を提供 する能⼒ 現在の価値 (CV: Current Value) 現在、顧客やユーザーに提供された 価値 未実現の価値 (UV: Unrealized Value) 顧客やユーザーの潜在的なニーズを すべて満たすことによって実現し うる価値 組 織 的 な 能 ⼒ 市 場 価 値 UVとCVにまだまだギャップがある＝ 現在の体験と顧客の期待とに差がある