Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ファクトから始める改善アプローチ EP2 〜 Four Keys の先にある アウトカムに向き合ってみた 〜 / DevOpsDaysTokyo-2023

ファクトから始める改善アプローチ EP2 〜 Four Keys の先にある アウトカムに向き合ってみた 〜 / DevOpsDaysTokyo-2023

2023年4月18日より開催された「DevOpsDaysTokyo2023」の登壇資料です。
https://www.devopsdaystokyo.org/

▼関連資料
ファクトから始める改善アプローチ 〜「LeanとDevOpsの科学」を実践して〜
https://speakerdeck.com/takabow/devopsdays-tokyo2022-huakutokarashi-merugai-shan-apuroti-leantodevopsfalseke-xue-woshi-jian-site

「エセ自己組織化」症候群から脱却し、約束を守るプロフェッショナルなアジャイルチームになるには -アジャイル時代のマネジメント進化論-
https://speakerdeck.com/visional_engineering_and_design/number-rsgt2023

-----
Visionalのエンジニアリングに関する最新情報はTwitter、ブログで発信しています!📣

▼Visional Engineering Blog
https://engineering.visional.inc/blog/

▼VISIONAL ENGINEERING Twitter
https://twitter.com/VISIONAL_ENG

More Decks by Visional Engineering & Design

Other Decks in Technology

Transcript

  1. ファクトから始める改善アプローチ EP2
    〜 Four Keys の先にある
    アウトカムに向き合ってみた 〜
    Visionalグループ 株式会社ビズリーチ
    プロセス改善部 ソフトウェアプロセス改善グループ
    賀茂慎⼀郎 佐々⽊奈央
    1

    View full-size slide

  2. 2
    これまでの私たちの取り組み
    Regional Scrum Gathering Tokyo 2023 (2023/1/11)
    DevOpsDays Tokyo2022 (2022/4/21)
    本⽇発表するのはこれらの続編です

    View full-size slide

  3. 3
    ⾃⼰紹介
    2016年、TIS株式会社に⼊社。エンジニアとして複数の開発PJに
    参画後、スクラムマスターとしてアジャイル開発の導⼊に携わる。
    2020年、株式会社ビズリーチに⼊社。社内のスクラムチーム⽀援
    やアジャイル開発普及に向けた活動に従事。現在はソフトウェア
    プロセス改善グループの⼀員として、プロセス改善を推進してい
    る。
    Certified ScrumMaster®
    Certified Scrum Product Owner®
    賀茂 慎⼀郎(Shinichiro Kamo)
    趣味
    ボードゲーム、漫画、旅⾏
    経歴

    View full-size slide

  4. 4
    ⾃⼰紹介
    家庭⽤ゲームソフトの広報、フリーランスのWebデザイナーを経
    て、2010年に株式会社ビズリーチ⼊社。
    転職プラットフォーム「ビズリーチ」、フラッシュマーケティン
    グサイト「LUXA」などのサイトデザインや広告バナー、LP制作
    などを担当。またデザイン組織のマネジメント、採⽤、育成にも
    携わる。2022年よりプロセス改善部に異動し、プロダクト開発プ
    ロセスの定量的可視化を推進。
    Certified ScrumMaster®
    佐々⽊ 奈央(Nao Sasaki)
    趣味
    猫、インテリア、家、ビール、沖縄
    経歴

    View full-size slide

  5. 株式会社ビズリーチ紹介
    5

    View full-size slide

  6. 会社概要
    株式会社ビズリーチ / BizReach, Inc.
    創業 :2009年4⽉
    代表者 :株式会社ビズリーチ 代表取締役社⻑ 酒井 哲也
    グループ従業員数:1,821名(2022年7⽉末時点)
    拠点 :東京、⼤阪、名古屋、福岡、静岡、広島
    資本⾦ :1億3,000万円
    事業内容:HR Techのプラットフォーム・SaaS事業

    View full-size slide

  7. Visionalグループミッション

    View full-size slide

  8. 株式会社ビズリーチ ミッション

    View full-size slide

  9. 株式会社ビズリーチ サービス⼀覧
    即戦力人材と企業をつなぐ
    転職サイト
    OB/OG訪問
    ネットワークサービス
    人財活用システム 採用管理システム 勤怠管理システム
    経費精算システム

    View full-size slide

  10. アウトカム計測までの流れ
    10

    View full-size slide

  11. 11
    これまでの取り組み
    ファクトから始める改善アプローチ
    〜「LeanとDevOpsの科学」を実践して〜
    「Four Keys」と「ケイパビリ
    ティ」計測の進め⽅や課題
    「エセ⾃⼰組織化」症候群から脱却し、約束を守るプロフェッショナルなア
    ジャイルチームになるには-アジャイル時代のマネジメント進化論-
    ファクトをベースに判断を助け、
    改善活動を進めるSODA構想
    (Software Outcome Delivery Architecture)
    アウトカムの定義と収集の試み
    2022 2023
    ファクトから始める改善アプローチ EP2
    〜 Four Keys の先にあるアウトカムに向き合ってみた 〜
    4⽉ DevOpsDaysTokyo 2022 1⽉ Regional Scrum Gathering Tokyo 2023 4⽉ DevOpsDaysTokyo 2023
    今回の発表

    View full-size slide

  12. 12
    Software Outcome Delivery Architecture(SODA): BizReach ver.

    View full-size slide

  13. 13
    Software Outcome Delivery Architecture(SODA): BizReach ver.

    View full-size slide

  14. 14
    EP1とEP2のファクトデータ関係性
    プロダクト価値
    Four Keys ケイパビリティ
    パフォーマンス指標
    EP2でお話するファクト
    EP1でお話したファクト
    アウトカム指標

    View full-size slide

  15. アウトカムについて
    15

    View full-size slide

  16. 16
    アウトプットとアウトカム
    顧客に価値のある
    プロダクトを作る
    ぞー!!
    ビズリーチ

    View full-size slide

  17. 17
    アウトプットとアウトカム
    顧客調査
    〜開発
    など
    ビズリーチ
    顧客に価値のある
    プロダクトを作る
    ぞー!!

    View full-size slide

  18. 18
    アウトプットとアウトカム
    プロダクト
    顧客調査
    〜開発
    など
    ビズリーチ
    顧客に価値のある
    プロダクトを作る
    ぞー!!

    View full-size slide

  19. 19
    アウトプットとアウトカム
    プロダクト
    アウトプット
    顧客調査
    〜開発
    など
    ビズリーチ
    顧客に価値のある
    プロダクトを作る
    ぞー!!

    View full-size slide

  20. 20
    アウトプットとアウトカム
    アウトプット
    インプットからアクティビティを通して⽣まれた成果物をアウトプットと⾔う
    プロダクト
    インプット アクティビティ
    顧客調査
    〜開発
    など
    ビズリーチ

    View full-size slide

  21. 21
    アウトプットとアウトカム
    プロダクト(アウトプット)
    顧客
    ビズリーチ

    View full-size slide

  22. 22
    アウトプットとアウトカム
    顧客
    △△や〇〇が
    できるように
    なった!!
    プロダクト(アウトプット)
    ビズリーチ

    View full-size slide

  23. △△や〇〇が
    できるように
    なった!!
    23
    アウトプットとアウトカム
    顧客
    アウトカム
    顧客にもたらした価値や成果をアウトカムと⾔う
    プロダクト(アウトプット)
    ビズリーチ

    View full-size slide

  24. 24
    アウトプットとアウトカム
    顧客
    顧客にもたらした価値や成果を数値化したものを
    アウトカム指標と呼ぶ
    プロダクト(アウトプット)
    ビズリーチ △△や〇〇が
    できるように
    なった!!
    アウトカム

    View full-size slide

  25. 25
    アウトプットとアウトカムのまとめ
    アウトプット アウトカム
    インプットからアクティビティを
    通して⽣み出された成果物
    アウトプット(成果物)によって
    顧客にもたらす価値・成果

    View full-size slide

  26. 27
    アウトカム指標は1つとは限らない
    kyu
    求職者
    求職者を検索
    スカウト
    マッチング
    企業
    某転職サイトにおける企業と求職者の関係

    View full-size slide

  27. 28
    アウトカム指標は1つとは限らない
    例えば某転職サイトにおいて、「レジュメ登録時間を短くすることで、
    ユーザーの離脱を防ぐ」という実験をしているとする
    ※内容は想像です
    ユーザーが離脱する
    のを防ぎたいなあ
    登録時に離脱が
    多いようですね
    登録時間が短く
    なるよう頑張り
    ます!!

    View full-size slide

  28. 29
    アウトカム指標は1つとは限らない
    レジュメ登録時間を短くすることで、ユーザーの離脱を防ぐ
    アウトカム指標①
    レジュメの
    登録時間

    View full-size slide

  29. 30
    アウトカム指標は1つとは限らない
    レジュメの
    登録時間
    ⽉間登録
    ユーザー数
    レジュメ登録時間を短くすることで、ユーザーの離脱を防ぐ
    アウトカム指標②
    アウトカム指標①

    View full-size slide

  30. 31
    アウトカム指標は1つとは限らない
    レジュメの
    登録時間
    ⽉間登録
    ユーザー数
    求職者と企業の
    マッチング数
    レジュメ登録時間を短くすることで、ユーザーの離脱を防ぐ
    (それにより企業とのマッチングを増やす)
    アウトカム① アウトカム② アウトカム指標③
    アウトカム指標②
    アウトカム指標①

    View full-size slide

  31. 32
    アウトカム指標と外部要因
    アウトプットから遠いアウトカム指標ほど、開発組織以外(外部要因)の
    影響を⼤きく受ける可能性が⾼まる。
    レジュメの
    登録時間
    ⽉間登録
    ユーザー数
    ユーザーと企業の
    マッチング数
    アウトカム指標① アウトカム指標② アウトカム指標③
    外部要因

    View full-size slide

  32. 33
    アウトカム指標と外部要因
    アウトプットから遠いアウトカムほど、開発組織以外(外部要因)の
    影響を⼤きく受ける可能性が⾼まる。
    外部要因
    マーケ
    ティング
    施策
    アウトカム指標① アウトカム指標② アウトカム指標③
    レジュメの
    登録時間
    ⽉間登録
    ユーザー数
    ユーザーと企業の
    マッチング数

    View full-size slide

  33. 34
    アウトカム指標と外部要因
    アウトプットから遠いアウトカムほど、開発組織以外(外部要因)の
    影響を⼤きく受ける可能性が⾼まる。
    外部要因
    社会
    情勢
    アウトカム指標① アウトカム指標② アウトカム指標③
    レジュメの
    登録時間
    ⽉間登録
    ユーザー数
    ユーザーと企業の
    マッチング数
    マーケ
    ティング
    施策

    View full-size slide

  34. 37
    アウトカム指標は秘伝のタレになりやすい
    アウトカム指標は各所に点在していることが多い
    プロダクトマネージャ
    エンジニア
    営業
    アウトカム
    指標D
    アウトカム
    指標A
    アウトカム
    指標B
    アウトカム
    指標C

    View full-size slide

  35. 38
    アウトカム指標は秘伝のタレになりやすい
    プロダクトマネージャ
    エンジニア
    営業
    アウトカムD
    アウトカムC
    アウトカム
    指標A
    アウトカム
    指標B

    View full-size slide

  36. 39
    アウトカム指標は秘伝のタレになりやすい
    プロダクトマネージャ
    エンジニア
    営業
    アウトカムA アウトカムB アウトカム
    指標D
    アウトカム
    指標C

    View full-size slide

  37. 40
    アウトカム指標は秘伝のタレになりやすい
    プロダクトマネージャ
    エンジニア
    営業
    アウトカムA アウトカムB
    指標Cの向上を最優先に
    頑張るぞー!!
    頑張りましょう!!
    アウトカム
    指標D
    アウトカム
    指標C

    View full-size slide

  38. 41
    アウトカム指標は秘伝のタレになりやすい
    プロダクトマネージャ
    エンジニア
    営業
    アウトカムD
    アウトカムC
    指標Bの優先度を上げて
    ほしいのに全然やってく
    れない。。
    アウトカム
    指標A
    アウトカム
    指標B

    View full-size slide

  39. 42
    アウトカム指標は秘伝のタレになりやすい
    今回の活動では知る⼈ぞ知るアウトカム指標の可視化を進めていく
    プロダクトマネージャ
    エンジニア
    営業
    アウトカム
    指標D
    アウトカム
    指標A
    アウトカム
    指標B
    アウトカム
    指標C

    View full-size slide

  40. 43
    アウトカム計測の意義について
    実験の結果がわかる
    数値を元に
    議論できるようになる
    1 2

    View full-size slide

  41. 44
    アウトカム計測の意義①:実験の結果がわかる
    ⼤前提、我々が作ったプロダクト(アウトプット)が顧客のニーズを満たした
    (アウトカム達成)対価として信頼・売上を獲得する
    プロダクト(アウトプット)
    信頼・売上
    ビズリーチ 顧客
    アウトカム達成
    UP

    View full-size slide

  42. アウトカム未達成
    45
    アウトカム計測の意義①:実験の結果がわかる
    逆に提供しているプロダクトが顧客のニーズを満たしていない
    (アウトカム未達成)場合、信頼・売上は徐々に低下していく
    プロダクト(アウトプット)
    ビズリーチ 顧客
    信頼・売上
    求めているの
    はこれじゃな
    いんだよなあ
    DOWN

    View full-size slide

  43. 46
    アウトカム計測の意義①:実験の結果がわかる
    アウトカム指標を可視化することで、⾃分たちの実験(プロダクト)が
    顧客の要望やニーズを解決しているか判断できるようになる
    プロダクト(アウトプット)
    ビズリーチ 顧客
    アウトカム指標が上がっ
    ているから、お客様に価
    値があるプロダクトを届
    けられたぞ!
    アウトカム達成

    View full-size slide

  44. 47
    アウトカム計測の意義①:実験の結果がわかる
    アウトカム指標を可視化することで、⾃分たちの実験(プロダクト)が
    顧客の要望やニーズを解決しているか判断できるようになる
    プロダクト(アウトプット)
    ビズリーチ 顧客
    アウトカム指標が上がっ
    ているから、お客様に価
    値があるプロダクトを届
    けられたぞ!
    アウトカム達成
    信頼・売上
    UP

    View full-size slide

  45. アウトカム計測の意義②:数値を元に議論できるようになる
    Problem(問題) Solution(解決策)
    Fact(事実) Opinion(意⾒)
    設計
    デプロイ
    仮説を
    実装する
    仮説を
    動かす
    結果を
    検証する
    仮説
    対策の仮説
    を⽴てる
    計測
    (参考) https://slide.meguro.ryuzee.com/slides/78 吉⽻⿓太郎さん「カイゼンの基本」の図を変更
    仮説を⽴てるには、
    計測データを検証する
    必要がある。
    48

    View full-size slide

  46. アウトカム計測の意義②:数値を元に議論できるようになる
    Problem(問題) Solution(解決策)
    Fact(事実) Opinion(意⾒)
    仮説を
    実装する
    仮説を
    動かす
    結果を
    検証する
    対策の仮説
    を⽴てる
    (参考) https://slide.meguro.ryuzee.com/slides/78 吉⽻⿓太郎さん「カイゼンの基本」の図を変更
    仮説を⽴てるには、
    計測データを検証する
    必要がある。
    49
    設計
    デプロイ
    仮説
    計測

    View full-size slide

  47. アウトカム計測の意義②:数値を元に議論できるようになる
    Problem(問題) Solution(解決策)
    Fact(事実) Opinion(意⾒)
    仮説を
    実装する
    仮説を
    動かす
    結果を
    検証する
    対策の仮説
    を⽴てる
    (参考) https://slide.meguro.ryuzee.com/slides/78 吉⽻⿓太郎さん「カイゼンの基本」の図を変更
    仮説を⽴てるには、
    計測データを検証する
    必要がある。
    50
    設計
    デプロイ
    仮説
    計測

    View full-size slide

  48. アウトカム計測の意義②:数値を元に議論できるようになる
    Problem(問題) Solution(解決策)
    Fact(事実) Opinion(意⾒)
    仮説を
    実装する
    仮説を
    動かす
    結果を
    検証する
    対策の仮説
    を⽴てる
    (参考) https://slide.meguro.ryuzee.com/slides/78 吉⽻⿓太郎さん「カイゼンの基本」の図を変更
    仮説を⽴てるには、
    計測データを検証する
    必要がある。
    51
    設計
    デプロイ
    仮説
    計測

    View full-size slide

  49. 53
    アウトカム計測の意義②:数値を元に議論できるようになる
    実際に⽣み出された成果(アウトカム)ではなく、
    機能の開発とリリースに集中してしまっている状態をビルドトラップ※と⾔う
    誰も
    プロダクト
    を使わない
    ⾜りない
    機能を作る
    顧客に⾜り
    ない機能を
    聞く
    ※「プロダクトマネジメント ビルドトラップを避け顧客に価値を届ける」Melissa Perri著、吉⽻⿓太郎訳 P31
    プロダクトの死のサイクル(デイビッド・ブランド)

    View full-size slide

  50. 54
    アウトカム計測の意義②:数値を元に議論できるようになる
    職種を超えて様々な⼈がアウトカム指標を活⽤することで、
    ビルドトラップに陥っていないかいち早く検知することができる
    誰も
    プロダクト
    を使わない
    ⾜りない
    機能を作る
    顧客に⾜り
    ない機能を
    聞く
    ※「プロダクトマネジメント ビルドトラップを避け顧客に価値を届ける」Melissa Perri著、吉⽻⿓太郎訳 P31
    プロダクトの死のサイクル(デイビッド・ブランド)

    View full-size slide

  51. アウトカムの計測活動について
    55

    View full-size slide

  52. 56
    指標収集にあたって
    無数にある指標の中で、どのような指標を収集するのがいいのだろうか
    プロセス改善
    チーム
    指標A
    指標B
    指標C
    指標D
    指標E
    指標F
    どんな指標を
    収集するのが
    いいのだろうか・・

    View full-size slide

  53. 58
    EBM(エビデンスベースドマネジメント)を活⽤し計測に活かす
    エビデンスベースドマネジメントは、Scrum.org、Professional Scrum Trainer の
    コミュニティ、Ken Schwaber、Christina Schwaberによって共同開発された。
    (参考)Scrum.org エビデンスベースドマネジメント ガイド 改善とアジリティを可能にする価値の計測 IUUQTRSQBQTKQQLNMT 1より引⽤

    View full-size slide

  54. 59
    EBM(エビデンスベースドマネジメント)とは
    •実験・検査・適応を繰り返すことでゴールを洗練させていくフレーム
    •指標(エビデンス)を収集することで検査の精度を⾼める
    (参考)Scrum.org エビデンスベースドマネジメント ガイド 改善とアジリティを可能にする価値の計測 IUUQTRSQBQTKQQLNMT 1より引⽤

    View full-size slide

  55. 60
    指標となりうる2つの要素
    市場価値
    組織的な能⼒

    View full-size slide

  56. 61
    組織的な能⼒について
    プロダクト組織は⾃組織の能⼒について様々なメトリクスを⽤いて
    可視化を⾏なっている
    組織的な能⼒(⼀例)
    デプロイ
    頻度
    インシデ
    ント数
    変更リー
    ドタイム
    変更
    失敗率
    サイクル
    タイム
    技術的
    負債
    ビルド
    時間
    平均サー
    ビス回復
    時間

    View full-size slide

  57. 62
    市場価値について
    組織的な能⼒を向上させることで、市場価値を⾼めていこうとしている
    市場価値
    組織的な能⼒(⼀例)
    デプロイ
    頻度
    インシデ
    ント数
    変更リー
    ドタイム
    変更
    失敗率
    サイクル
    タイム
    技術的
    負債
    ビルド
    時間
    平均サー
    ビス回復
    時間

    View full-size slide

  58. 63
    4つの重要価値領域
    EBM (エビデンスベースドマネジメント)では組織的な能⼒と市場価値について
    対象となる指標群を定義している
    組織的な能⼒
    イノベーショ
    ンの能⼒
    (効果性)
    A2I: Ability to
    Innovate
    市場に出すま
    での時間
    (反応性)
    T2M: Time to
    Market

    View full-size slide

  59. 64
    4つの重要価値領域
    EBM (エビデンスベースドマネジメント)では組織的な能⼒と市場価値について
    4つの重要価値領域を定義している
    市場価値
    現在の価値
    CV: Current Value
    未実現の価値
    UV: Unrealized
    Value
    組織的な能⼒
    イノベーショ
    ンの能⼒
    (効果性)
    A2I: Ability to
    Innovate
    市場に出すま
    での時間
    (反応性)
    T2M: Time to
    Market

    View full-size slide

  60. 65
    4つの重要価値領域
    EBM (エビデンスベースドマネジメント)を活⽤し、
    ⾃分たちはどこの領域を計測しているか・計測していないかを認識する
    市場価値
    現在の価値
    CV: Current Value
    未実現の価値
    UV: Unrealized
    Value
    組織的な能⼒
    イノベーショ
    ンの能⼒
    (効果性)
    A2I: Ability to
    Innovate
    市場に出すま
    での時間
    (反応性)
    T2M: Time to
    Market

    View full-size slide

  61. 66
    組織的な能⼒と市場価値
    ビズリーチでは組織的な能⼒についてFour Keysの計測を開始している
    組織的な能⼒(⼀例)
    デプロイ
    頻度
    インシデ
    ント数
    変更リー
    ドタイム
    変更
    失敗率
    サイクル
    タイム
    技術的
    負債
    ビルド
    時間
    平均サー
    ビス回復
    時間
    Four Keys

    View full-size slide

  62. 67
    組織的な能⼒と市場価値
    今回は市場価値に着⽬し計測を⾏なっていく
    組織的な能⼒(⼀例)
    デプロイ
    頻度
    インシデ
    ント数
    変更リー
    ドタイム
    変更
    失敗率
    サイクル
    タイム
    技術的
    負債
    ビルド
    時間
    平均サー
    ビス回復
    時間
    ??
    ??
    市場価値

    View full-size slide

  63. 69
    詳しい⼈に話を聞きにいく
    •『⼊⾨ 監視』ではビジネスKPIの可視化のために、関係者(詳しい⼈)に話を聞き
    に⾏くことが必要だと述べている
    •アウトカム指標を⾒つけるために、詳しい⼈(プロダクトマネージャー)にインタ
    ビューを実施することにした
    (参考)⼊⾨ 監視 ―モダンなモニタリングのためのデザインパターン Mike Julian (著), 松浦 隼⼈ (翻訳) オライリージャパン 2019/1/17 P73
    “どのようにアプリケーションが動いていて、何を計測するのが
    重要かを理解できるよう、間違いない⽅法を教えます。
    それは、⼈と話すことです。
    (中略)
    では誰に話しかけたらよいのでしょうか。
    まず話すべきはプロダクトマネージャーです。”

    View full-size slide

  64. 70
    プロダクトマネージャーへインタビューを実施
    インタビューでは、ロードマップを深堀りしながら以下をヒアリング
    1. ロードマップとアウトカムの結びつき
    2. どのようなアウトカム指標を設定しているか
    3. データは誰が収集しているか
    プロセス改善
    チーム
    プロダクトマネージャ

    View full-size slide

  65. 71
    プロダクトマネージャーへインタビューを実施
    インタビューでは、ロードマップを深堀りしながら以下をヒアリング
    1. ロードマップとアウトカムの結びつき
    2. どのようなアウトカム指標を設定しているか
    3. データは誰が収集しているか
    プロセス改善
    チーム
    プロダクトマネージャ
    ロードマップの内容
    はどういった背景で
    これになったのか?
    アウトカム指標に
    ついて誰(どこ)が
    収集しているか?

    View full-size slide

  66. 72
    プロダクトマネージャーへインタビューを実施
    インタビューでは、ロードマップを深堀りしながら以下をヒアリング
    1. ロードマップとアウトカムの結びつき
    2. どのようなアウトカム指標を設定しているか
    3. データは誰が収集しているか
    プロセス改善
    チーム
    プロダクトマネージャ
    今は〇〇の理由で
    ☆☆領域に注⼒して
    いるし△△な指標を
    活⽤しているよ
    指標は企画チー
    ムの〇〇さんが
    収集しているよ

    View full-size slide

  67. 73
    データ収集メンバーにインタビューを実施
    プロセス改善
    チーム
    企画チーム〇〇さん
    アウトカム指標を可視化し
    職種を超えた様々な⼈が活⽤
    できるようにしたいです!!

    View full-size slide

  68. 74
    データ収集メンバーにインタビューを実施
    プロセス改善
    チーム
    企画チーム〇〇さん
    実は、とある指標が
    低下し続けてのにな
    かなか原因がわから
    なかったんだよね。

    View full-size slide

  69. 75
    データ収集メンバーにインタビューを実施
    プロセス改善
    チーム
    企画チーム〇〇さん
    実は、とある指標が
    低下し続けてのにな
    かなか原因がわから
    なかったんだよね。
    だけど、エンジニア
    にこのことを共有し
    たら原因調査の優先
    順位が上がってすぐ
    に解決できたよ!!

    View full-size slide

  70. 76
    データ収集メンバーにインタビューを実施
    データ収集をしているメンバーにインタビューする中で分かったこと
    •現状アウトカム指標は⼀部の⼈しか活⽤できていない
    •多くの⼈にアウトカム指標が周知されることで、顧客により良い価値を届けられ
    る伸び代がある
    プロセス改善
    チーム
    企画チーム〇〇さん

    View full-size slide

  71. 77
    アウトカム計測の実施ステップ
    インタビュー
    開発パフォーマンス
    指標との相関発⾒
    計測指標の選定
    指標の計測と
    可視化
    STEP1 STEP2 STEP3 STEP4
    これまでの活動を通してSTEP1とSTEP2を実施

    View full-size slide

  72. 78
    アウトカム計測の実施ステップ
    インタビュー
    開発パフォーマンス
    指標との相関発⾒
    計測指標の選定
    指標の計測と
    可視化
    STEP1 STEP2 STEP3 STEP4
    今後STEP3とSTEP4を実施予定

    View full-size slide

  73. 今後の展望
    79

    View full-size slide

  74. 80
    今後の展望
    アウトカムマップの
    作成
    アウトカム指標の
    可視化
    指標同⼠の相関性の
    発⾒
    1 2 3

    View full-size slide

  75. 81
    ①アウトカムマップの作成
    アウトカム同⼠の関連性を⾒つけ可視化を⾏なっていく
    アウト
    カムA
    アウト
    カムB
    アウト
    カムC
    アウト
    カムD
    アウト
    カムE
    アウト
    カムF
    アウト
    カムG
    アウト
    カムH
    アウト
    カムI
    アウト
    カムJ
    アウト
    カムK
    アウト
    カムL

    View full-size slide

  76. 82
    ①アウトカムマップの作成
    アウトカム同⼠の関連性を⾒つけ可視化を⾏なっていく
    アウト
    カムA
    アウト
    カムB
    アウト
    カムC
    アウト
    カムI
    アウト
    カムD
    アウト
    カムE
    アウト
    カムJ
    アウト
    カムF
    アウト
    カムG
    アウト
    カムH
    アウト
    カムK

    View full-size slide

  77. 83
    ①アウトカムマップの作成
    アウトカム指標の中には、トレードオフな関係も存在する
    (必ずしもツリー構造になるとは限らない)
    レジュメの
    登録時間
    ⽉間登録
    ユーザー数
    求職者と企業の
    マッチング数
    アウトカム指標① アウトカム指標② アウトカム指標③

    View full-size slide

  78. 84
    ①アウトカムマップの作成
    アウトカム指標の中には、トレードオフな関係も存在する
    (必ずしもツリー構造になるとは限らない)
    レジュメ充⾜率
    求職者検索
    ヒット数
    求職者と企業の
    マッチング数
    アウトカム④ アウトカム⑤ アウトカム③
    アウトカム指標④ アウトカム指標⑤ アウトカム指標③

    View full-size slide

  79. 85
    ①アウトカムマップの作成
    アウトカム指標の中には、トレードオフな関係も存在する
    (必ずしもツリー構造になるとは限らない)
    レジュメの
    登録時間
    ⽉間登録
    ユーザー数
    求職者と企業の
    マッチング数
    レジュメ充⾜率
    アウトカム指標④
    求職者検索
    ヒット数
    アウトカム指標⑤
    アウトカム指標① アウトカム指標② アウトカム指標③

    View full-size slide

  80. 86
    ①アウトカムマップの作成
    アウトカム指標の中には、トレードオフな関係も存在する
    (必ずしもツリー構造になるとは限らない)
    レジュメの
    登録時間
    ⽉間登録
    ユーザー数
    求職者と企業の
    マッチング率
    アウトカム指標② アウトカム指標③
    レジュメ充⾜率
    求職者検索
    ヒット数
    アウトカム指標⑤
    アウトカム指標④
    アウトカム指標①

    View full-size slide

  81. 87
    ①アウトカムマップの作成
    アウトカム指標の中には、トレードオフな関係も存在する
    (必ずしもツリー構造になるとは限らない)
    レジュメの
    登録時間
    ⽉間登録
    ユーザー数
    求職者と企業の
    マッチング率
    レジュメ充⾜率
    求職者検索
    ヒット数
    2つの指標は
    トレードオフ
    アウトカム指標④
    アウトカム指標① アウトカム指標② アウトカム指標③
    アウトカム指標⑤

    View full-size slide

  82. 88
    ②アウトカム指標の可視化
    開発
    営業
    PO 経営者

    View full-size slide

  83. 89
    ②アウトカム指標の可視化
    ⽣⿂
    https://unsplash.com/ja/%E5%86%99%E7%9C%9F/xp3xtQW3pqs?utm_source=unsplash&utm_medium=referral&utm_content=creditShareLink

    View full-size slide

  84. 90
    ②アウトカム指標の可視化
    ⽣⿂ お寿司
    https://unsplash.com/ja/%E5%86%99%E7%9C%9F/xp3xtQW3pqs?utm_source=unsplash&utm_medium=referral&utm_content=creditShareLink
    https://unsplash.com/ja/%E5%86%99%E7%9C%9F/KFpId47qaH4?utm_source=unsplash&utm_medium=referral&utm_content=creditShareLink
    https://unsplash.com/ja/%E5%86%99%E7%9C%9F/mFgv9LmaTBk?utm_source=unsplash&utm_medium=referral&utm_content=creditShareLink
    https://unsplash.com/ja/%E5%86%99%E7%9C%9F/EHK-EH1SRzQ?utm_source=unsplash&utm_medium=referral&utm_content=creditShareLink
    https://unsplash.com/ja/%E5%86%99%E7%9C%9F/6QyoveETulU?utm_source=unsplash&utm_medium=referral&utm_content=creditShareLink

    View full-size slide

  85. 91
    ②アウトカム指標の可視化
    ⽣⿂
    ? ? ! ?
    ⽣のデータ
    https://unsplash.com/ja/%E5%86%99%E7%9C%9F/xp3xtQW3pqs?utm_source=unsplash&utm_medium=referral&utm_content=creditShareLink

    View full-size slide

  86. 92
    ②アウトカム指標の可視化
    • 収集データをそのまま共有するのではなく、グラフに「加⼯」したり、レベル分け
    するなどデータに「意味づけ」をする
    • 意味づけすることで、経験や職種に関係なく状況や課題感を共有することができる
    閲覧者がデータを理解できるように
    加⼯・意味づけの「可視化」をして共有する
    High
    Medium
    Low

    View full-size slide

  87. 指標B
    93
    ③指標同⼠の相関関係の発⾒
    Four Keys ケイパビリティ
    パフォーマンス指標
    アウトカム指標
    プロダクト価値
    指標D
    指標E
    指標A
    指標C
    指標F
    指標G

    View full-size slide

  88. 94
    ③指標同⼠の相関関係の発⾒
    企業
    事業
    サービス
    プロダクト
    プロジェクト
    開発チーム
    プロダクト開発を起点とした時の縦の繋がり。
    各ブロックが複数指標を保有。
    さらに各ブロックの指標やアウトカムが下層から上層
    へ影響を及ぼすと考えられる。
    縦の繋がり
    今はこの辺りに注⼒して活動

    View full-size slide

  89. 95
    ③指標同⼠の相関関係の発⾒
    企業
    事業
    サービス
    プロダクト
    プロジェクト
    開発チーム
    営業
    マーケティング
    顧客が認識している「サービス」に
    影響を及ぼす範囲から
    顧客が認識している「サービス」を
    起点とした時の横の繋がり。
    横の繋がり

    View full-size slide

  90. 96
    ③指標同⼠の相関関係の発⾒
    • 指標・順序は実際と異なります
    • 複数指標を組み合わせた相関関係を表す
    ことがあります
    アウトカム指標はプロダクト単位で変わります。
    また、1〜複数存在します。
    アウトカム指標
    利益 売上 市場占有率 顧客満⾜度
    ⼊社⼈数
    営業指標 マーケティング指標 プロダクト開発指標
    メッセージ送信数
    求⼈数
    契約企業数
    アポイント数 開発ツール費
    スコープ達成率
    障害 開発パフォーマンス スコープ 予算
    時間
    年齢
    開発チーム組成
    評価グレード
    ケイパビリティ
    職位
    e-NPS
    勤怠
    パルスサーベイ
    勤務年数
    ⾏動特性
    内定承諾率
    求⼈応募数
    レジュメ充⾜率
    登録ユーザー数
    広告クリック率
    計画リリース率
    緊急リリース率
    Four Keys
    オンプロダクト指標
    進捗率
    マイルストーン達成率
    デリバリーの変更率 ⼈件費
    固定費
    品質維持・品質向上 開発進捗
    開発チームの能⼒・コンディション
    指標相関関係(サービス以下)

    View full-size slide

  91. 97
    ③指標同⼠の相関関係の発⾒
    • 指標・順序は実際と異なります
    • 複数指標を組み合わせた相関関係を表す
    ことがあります
    アウトカム指標はプロダクト単位で変わります。
    また、1〜複数存在します。
    アウトカム指標
    利益 売上 市場占有率 顧客満⾜度
    ⼊社⼈数
    営業指標 マーケティング指標 プロダクト開発指標
    メッセージ送信数
    求⼈数
    契約企業数
    アポイント数 開発ツール費
    スコープ達成率
    障害 開発パフォーマンス スコープ 予算
    時間
    年齢
    開発チーム組成
    評価グレード
    ケイパビリティ
    職位
    e-NPS
    勤怠
    パルスサーベイ
    勤務年数
    ⾏動特性
    内定承諾率
    求⼈応募数
    レジュメ充⾜率
    登録ユーザー数
    広告クリック率
    計画リリース率
    緊急リリース率
    Four Keys
    オンプロダクト指標
    進捗率
    マイルストーン達成率
    デリバリーの変更率 ⼈件費
    固定費
    品質維持・品質向上 開発進捗
    開発チームの能⼒・コンディション
    指標相関関係(サービス以下)
    kyu
    企業 求職者
    求職者を検索
    メッセージ
    マッチング
    広告
    CRM

    View full-size slide

  92. 98
    ③指標同⼠の相関関係の発⾒
    • 指標・順序は実際と異なります
    • 複数指標を組み合わせた相関関係を表す
    ことがあります
    アウトカム指標はプロダクト単位で変わります。
    また、1〜複数存在します。
    アウトカム指標
    利益 売上 市場占有率 顧客満⾜度
    ⼊社⼈数
    営業指標 マーケティング指標 プロダクト開発指標
    メッセージ送信数
    求⼈数
    契約企業数
    アポイント数 開発ツール費
    スコープ達成率
    障害 開発パフォーマンス スコープ 予算
    時間
    年齢
    開発チーム組成
    評価グレード
    ケイパビリティ
    職位
    e-NPS
    勤怠
    パルスサーベイ
    勤務年数
    ⾏動特性
    内定承諾率
    求⼈応募数
    レジュメ充⾜率
    登録ユーザー数
    広告クリック率
    計画リリース率
    緊急リリース率
    Four Keys
    オンプロダクト指標
    進捗率
    マイルストーン達成率
    デリバリーの変更率 ⼈件費
    固定費
    品質維持・品質向上 開発進捗
    開発チームの能⼒・コンディション
    指標相関関係(サービス以下)

    View full-size slide

  93. 99
    ③指標同⼠の相関関係の発⾒
    • 指標・順序は実際と異なります
    • 複数指標を組み合わせた相関関係を表す
    ことがあります
    アウトカム指標はプロダクト単位で変わります。
    また、1〜複数存在します。
    アウトカム指標
    利益 売上 市場占有率 顧客満⾜度
    ⼊社⼈数
    営業指標 マーケティング指標 プロダクト開発指標
    メッセージ送信数
    求⼈数
    契約企業数
    アポイント数 開発ツール費
    スコープ達成率
    障害 開発パフォーマンス スコープ 予算
    時間
    年齢
    開発チーム組成
    評価グレード
    ケイパビリティ
    職位
    e-NPS
    勤怠
    パルスサーベイ
    勤務年数
    ⾏動特性
    内定承諾率
    求⼈応募数
    レジュメ充⾜率
    登録ユーザー数
    広告クリック率
    計画リリース率
    緊急リリース率
    Four Keys
    オンプロダクト指標
    進捗率
    マイルストーン達成率
    デリバリーの変更率 ⼈件費
    固定費
    品質維持・品質向上 開発進捗
    開発チームの能⼒・コンディション
    指標相関関係(サービス以下)

    View full-size slide

  94. 100
    ③指標同⼠の相関関係の発⾒
    • 指標・順序は実際と異なります
    • 複数指標を組み合わせた相関関係を表す
    ことがあります
    アウトカム指標はプロダクト単位で変わります。
    また、1〜複数存在します。
    アウトカム指標
    利益 売上 市場占有率 顧客満⾜度
    ⼊社⼈数
    営業指標 マーケティング指標 プロダクト開発指標
    メッセージ送信数
    求⼈数
    契約企業数
    アポイント数 開発ツール費
    スコープ達成率
    障害 開発パフォーマンス スコープ 予算
    時間
    年齢
    開発チーム組成
    評価グレード
    ケイパビリティ
    職位
    e-NPS
    勤怠
    パルスサーベイ
    勤務年数
    ⾏動特性
    内定承諾率
    求⼈応募数
    レジュメ充⾜率
    登録ユーザー数
    広告クリック率
    計画リリース率
    緊急リリース率
    Four Keys
    オンプロダクト指標
    進捗率
    マイルストーン達成率
    デリバリーの変更率 ⼈件費
    固定費
    品質維持・品質向上 開発進捗
    開発チームの能⼒・コンディション
    指標相関関係(サービス以下)

    View full-size slide

  95. 101
    ③指標同⼠の相関関係の発⾒
    • 指標・順序は実際と異なります
    • 複数指標を組み合わせた相関関係を表す
    ことがあります
    アウトカム指標はプロダクト単位で変わります。
    また、1〜複数存在します。
    アウトカム指標
    利益 売上 市場占有率 顧客満⾜度
    ⼊社⼈数
    営業指標 マーケティング指標 プロダクト開発指標
    メッセージ送信数
    求⼈数
    契約企業数
    アポイント数 開発ツール費
    スコープ達成率
    障害 開発パフォーマンス スコープ 予算
    時間
    年齢
    開発チーム組成
    評価グレード
    ケイパビリティ
    職位
    e-NPS
    勤怠
    パルスサーベイ
    勤務年数
    ⾏動特性
    内定承諾率
    求⼈応募数
    レジュメ充⾜率
    登録ユーザー数
    広告クリック率
    計画リリース率
    緊急リリース率
    Four Keys
    オンプロダクト指標
    進捗率
    マイルストーン達成率
    デリバリーの変更率 ⼈件費
    固定費
    品質維持・品質向上 開発進捗
    開発チームの能⼒・コンディション
    指標相関関係(サービス以下)

    View full-size slide

  96. 102
    ③指標同⼠の相関関係の発⾒
    • 指標・順序は実際と異なります
    • 複数指標を組み合わせた相関関係を表す
    ことがあります
    アウトカム指標はプロダクト単位で変わります。
    また、1〜複数存在します。
    アウトカム指標
    利益 売上 市場占有率 顧客満⾜度
    ⼊社⼈数
    営業指標 マーケティング指標 プロダクト開発指標
    メッセージ送信数
    求⼈数
    契約企業数
    アポイント数 開発ツール費
    スコープ達成率
    障害 開発パフォーマンス スコープ 予算
    時間
    年齢
    開発チーム組成
    評価グレード
    ケイパビリティ
    職位
    e-NPS
    勤怠
    パルスサーベイ
    勤務年数
    ⾏動特性
    内定承諾率
    求⼈応募数
    レジュメ充⾜率
    登録ユーザー数
    広告クリック率
    計画リリース率
    緊急リリース率
    Four Keys
    オンプロダクト指標
    進捗率
    マイルストーン達成率
    デリバリーの変更率 ⼈件費
    固定費
    品質維持・品質向上 開発進捗
    開発チームの能⼒・コンディション
    指標相関関係(サービス以下)

    View full-size slide

  97. 103
    ③指標同⼠の相関関係の発⾒
    • 指標・順序は実際と異なります
    • 複数指標を組み合わせた相関関係を表す
    ことがあります
    アウトカム指標はプロダクト単位で変わります。
    また、1〜複数存在します。
    アウトカム指標
    利益 売上 市場占有率 顧客満⾜度
    ⼊社⼈数
    営業指標 マーケティング指標 プロダクト開発指標
    メッセージ送信数
    求⼈数
    契約企業数
    アポイント数 開発ツール費
    スコープ達成率
    障害 開発パフォーマンス スコープ 予算
    時間
    年齢
    開発チーム組成
    評価グレード
    ケイパビリティ
    職位
    e-NPS
    勤怠
    パルスサーベイ
    勤務年数
    ⾏動特性
    内定承諾率
    求⼈応募数
    レジュメ充⾜率
    登録ユーザー数
    広告クリック率
    計画リリース率
    緊急リリース率
    Four Keys
    オンプロダクト指標
    進捗率
    マイルストーン達成率
    デリバリーの変更率 ⼈件費
    固定費
    品質維持・品質向上 開発進捗
    開発チームの能⼒・コンディション
    指標相関関係(サービス以下)
    アウトカム指標
    市場占有率 顧客満⾜度

    View full-size slide

  98. 104
    ③指標同⼠の相関関係の発⾒
    • 指標・順序は実際と異なります
    • 複数指標を組み合わせた相関関係を表す
    ことがあります
    アウトカム指標はプロダクト単位で変わります。
    また、1〜複数存在します。
    アウトカム指標
    利益 売上 市場占有率 顧客満⾜度
    ⼊社⼈数
    営業指標 マーケティング指標 プロダクト開発指標
    メッセージ送信数
    求⼈数
    契約企業数
    アポイント数 開発ツール費
    スコープ達成率
    障害 開発パフォーマンス スコープ 予算
    時間
    年齢
    開発チーム組成
    評価グレード
    ケイパビリティ
    職位
    e-NPS
    勤怠
    パルスサーベイ
    勤務年数
    ⾏動特性
    内定承諾率
    求⼈応募数
    レジュメ充⾜率
    登録ユーザー数
    広告クリック率
    計画リリース率
    緊急リリース率
    Four Keys
    オンプロダクト指標
    進捗率
    マイルストーン達成率
    デリバリーの変更率 ⼈件費
    固定費
    品質維持・品質向上 開発進捗
    開発チームの能⼒・コンディション
    指標相関関係(サービス以下)
    アウトカム指標
    市場占有率 顧客満⾜度
    契約企業数

    View full-size slide

  99. 105
    ③指標同⼠の相関関係の発⾒
    • 指標・順序は実際と異なります
    • 複数指標を組み合わせた相関関係を表す
    ことがあります
    アウトカム指標はプロダクト単位で変わります。
    また、1〜複数存在します。
    アウトカム指標
    利益 売上 市場占有率 顧客満⾜度
    ⼊社⼈数
    営業指標 マーケティング指標 プロダクト開発指標
    メッセージ送信数
    求⼈数
    契約企業数
    アポイント数 開発ツール費
    スコープ達成率
    障害 開発パフォーマンス スコープ 予算
    時間
    年齢
    開発チーム組成
    評価グレード
    ケイパビリティ
    職位
    e-NPS
    勤怠
    パルスサーベイ
    勤務年数
    ⾏動特性
    内定承諾率
    求⼈応募数
    レジュメ充⾜率
    登録ユーザー数
    広告クリック率
    計画リリース率
    緊急リリース率
    Four Keys
    オンプロダクト指標
    進捗率
    マイルストーン達成率
    デリバリーの変更率 ⼈件費
    固定費
    品質維持・品質向上 開発進捗
    開発チームの能⼒・コンディション
    指標相関関係(サービス以下)
    アウトカム指標
    市場占有率 顧客満⾜度
    契約企業数
    デリバリーの変更率

    View full-size slide

  100. 106
    ③指標同⼠の相関関係の発⾒
    • 指標・順序は実際と異なります
    • 複数指標を組み合わせた相関関係を表す
    ことがあります
    アウトカム指標はプロダクト単位で変わります。
    また、1〜複数存在します。
    アウトカム指標
    利益 売上 市場占有率 顧客満⾜度
    ⼊社⼈数
    営業指標 マーケティング指標 プロダクト開発指標
    メッセージ送信数
    求⼈数
    契約企業数
    アポイント数 開発ツール費
    スコープ達成率
    障害 開発パフォーマンス スコープ 予算
    時間
    年齢
    開発チーム組成
    評価グレード
    ケイパビリティ
    職位
    e-NPS
    勤怠
    パルスサーベイ
    勤務年数
    ⾏動特性
    内定承諾率
    求⼈応募数
    レジュメ充⾜率
    登録ユーザー数
    広告クリック率
    計画リリース率
    緊急リリース率
    Four Keys
    オンプロダクト指標
    進捗率
    マイルストーン達成率
    デリバリーの変更率 ⼈件費
    固定費
    品質維持・品質向上 開発進捗
    開発チームの能⼒・コンディション
    指標相関関係(サービス以下)
    アウトカム指標
    市場占有率 顧客満⾜度
    契約企業数
    デリバリーの変更率
    オンプロダクト指標 マイルストーン達成率
    (プロダクト価値に費やした⼯数割合)

    View full-size slide

  101. 107
    ③指標同⼠の相関関係の発⾒
    • 指標・順序は実際と異なります
    • 複数指標を組み合わせた相関関係を表す
    ことがあります
    アウトカム指標はプロダクト単位で変わります。
    また、1〜複数存在します。
    アウトカム指標
    利益 売上 市場占有率 顧客満⾜度
    ⼊社⼈数
    営業指標 マーケティング指標 プロダクト開発指標
    メッセージ送信数
    求⼈数
    契約企業数
    アポイント数 開発ツール費
    スコープ達成率
    障害 開発パフォーマンス スコープ 予算
    時間
    年齢
    開発チーム組成
    評価グレード
    ケイパビリティ
    職位
    e-NPS
    勤怠
    パルスサーベイ
    勤務年数
    ⾏動特性
    内定承諾率
    求⼈応募数
    レジュメ充⾜率
    登録ユーザー数
    広告クリック率
    計画リリース率
    緊急リリース率
    Four Keys
    オンプロダクト指標
    進捗率
    マイルストーン達成率
    デリバリーの変更率 ⼈件費
    固定費
    品質維持・品質向上 開発進捗
    開発チームの能⼒・コンディション
    指標相関関係(サービス以下)
    アウトカム指標
    市場占有率 顧客満⾜度
    契約企業数
    デリバリーの変更率
    開発チーム組成
    オンプロダクト指標 マイルストーン達成率
    (プロダクト価値に費やした⼯数割合)

    View full-size slide

  102. 108
    ③指標同⼠の相関関係の発⾒
    • 指標・順序は実際と異なります
    • 複数指標を組み合わせた相関関係を表す
    ことがあります
    アウトカム指標はプロダクト単位で変わります。
    また、1〜複数存在します。
    アウトカム指標
    利益 売上 市場占有率 顧客満⾜度
    ⼊社⼈数
    営業指標 マーケティング指標 プロダクト開発指標
    メッセージ送信数
    求⼈数
    契約企業数
    アポイント数 開発ツール費
    スコープ達成率
    障害 開発パフォーマンス スコープ 予算
    時間
    年齢
    開発チーム組成
    評価グレード
    ケイパビリティ
    職位
    e-NPS
    勤怠
    パルスサーベイ
    勤務年数
    ⾏動特性
    内定承諾率
    求⼈応募数
    レジュメ充⾜率
    登録ユーザー数
    広告クリック率
    計画リリース率
    緊急リリース率
    Four Keys
    オンプロダクト指標
    進捗率
    マイルストーン達成率
    デリバリーの変更率 ⼈件費
    固定費
    品質維持・品質向上 開発進捗
    開発チームの能⼒・コンディション
    指標相関関係(サービス以下)
    アウトカム指標
    市場占有率 顧客満⾜度
    契約企業数
    デリバリーの変更率
    開発チーム組成
    オンプロダクト指標 マイルストーン達成率
    もしプロダクト開発指標が
    可視化されていない・ブラックボックス
    だったら打ち⼿が間違ってる可能性がある
    かもしれない。

    View full-size slide

  103. 110
    Blogで関連記事を公開しています!
    https://engineering.visional.inc/blog/

    View full-size slide

  104. 112
    EBMの重要価値指標の例
    KVM Measuring
    従業員1⼈あたりの収益
    この⽐率(総収益 / 従業員数)は業界内の主要な競争
    指標である。業界によって⼤きく異なる。
    プロダクトコスト⽐率
    計測対象のプロダクトやシステムにかかる総費⽤およ
    びコスト。運⽤コストも含まれる。
    従業員満⾜度
    従業員のエンゲージメント、エネルギー、熱意を計測
    するのに役⽴つ感情分析の⼀種。
    顧客満⾜度 プロダクトに
    対する顧客のエンゲージメ
    ントと幸福度を計測す
    プロダクトに対する顧客のエンゲージメントと幸福度
    を計測するのに役⽴つ感情分析の⼀種。
    顧客使⽤指標
    機能別の利⽤状況を計測して、顧客がプロダクトをど
    の程度有益だと思っているかを推測する。また、機能
    にかける実際の使⽤時間が、期待と⼀致しているかを
    確認する。
    現在の価値(CV)
    未実現の価値(UV)
    KVM Measuring
    市場占有率
    プロダクトが市場を占める相対的な割合。顧客
    のニーズをよりよく満たした場合、そのプロダ
    クトが達成できるであろう潜在的な市場シェア。
    顧客(ユーザー)満⾜度ギャップ
    顧客またはユーザーが望む体験と実際の体験の
    格差。
    望ましい顧客体験または満⾜度 顧客が望んでいる体験を⽰す指標。
    KVM Measuring
    ビルドと統合の頻度
    単位時間あたりのビルド(統合されてテストされたもの)の回数。
    頻繁にあるいは継続的にリリースしているチームであれば、実際のリ
    リース回数を計測する。
    リリースの頻度
    単位時間あたり(継続的、⽇次、週次、⽉次、四半期ごとなど)のリ
    リース回数。これは、新規的で競争⼒のあるプロダクトにおいて、顧
    客を満⾜させるために必要な時間を評価するのに役⽴つ。
    リリースの安定期間
    開発者がリリースの準備ができたと⾔ったときから、プロダクトの問
    題を修正して、実際に顧客にリリースされるまでにかかった時間。こ
    れは、貧弱な開発プラクティス、その基盤となる設計やコードベース
    の影響を表すのに役⽴つ。
    平均修復時間
    エラーが発⾒されてから修正されるまでの平均時間。これは、組織が
    エラーを修正するときの効率性を明らかにする。
    顧客サイクルタイム
    リリース作業に着⼿してから実際にリリースするまでの時間。組織が
    顧客にリーチするための能⼒を計測するのに役⽴つ。
    リードタイム
    アイデアが提案されて仮説が形成されてから、顧客がそのアイデアを
    享受できるようになるまでの時間。顧客やプロダクトによって、この
    指標は⼤きく異なる。顧客満⾜度の要因でもある。
    変更のリードタイム
    コードがコミットされてから本番環境で正常に実⾏されるまでの時間。
    Four Keysのひとつ。
    デプロイ頻度
    組織がプロダクトの新規バージョンを顧客またはユーザーにデプロイ
    (またはリリース)する回数。Four Keysのひとつ。
    サービス復元時間
    サービスの停⽌が開始されてからサービスの可⽤性が完全に回復する
    までの時間。Four Keysのひとつ。
    学習時間
    アイデアや改善をスケッチして、構築して、ユーザーに提供して、そ
    の利⽤を学習するまでにかかる時間。
    障害物除去時間
    障害物が発⽣してから解決さるまでの平均時間。リードタイムや従業
    員満⾜度の要因でもある。
    ピボットまでの時間
    真のビジネスアジリティの指標で、組織がフィードバックや新しい情
    報を得てから、そのフィードバックに対応するまでの経過時間を表す。
    例えば、競合他社が新たな市場獲得のための機能を提供したことを
    知ってから、組織が顧客体験を計測できるほどに改善する新機能ある
    いはそれを超える機能を提供したりするまでの時間。
    市場に出すまでの時間(T2M)
    KVM Measuring
    イノベーション率
    新しいプロダクトの機能に費やした労⼒やコストを、すべてのプロダ
    クトに費やした労⼒やコストで割ったもの。新しいプロダクトの機能
    を提供する組織のキャパシティについてのインサイトが
    得られる。
    ⽋陥のトレンド
    前回の計測から⽋陥の変化を計測したもの。⽋陥とは、顧客、ユー
    ザー、組織にとってのプロダクトの価値を低下させるものである。⼀
    般的には、意図したとおりに動作しないことを指す。
    オンプロダクト指標
    チームがプロダクトと価値に費やす時間の割合。
    インストールされた
    バージョンの指標
    現在サポートしているプロダクトのバージョン数。これは、組織が古
    いバージョンのサポートや保守にかけている労⼒を表している。
    技術的負債
    プログラミングにおける概念であり、「クイック・アンド・ダー
    ティ」なソリューションをあとで修正することになったときに発⽣す
    る。追加の開発やテストの作業を表したもの。価値の提供に
    望ましくない影響を与え、回避可能な無駄とリスクの増加を⽣み出す。
    本番環境のインシデ
    ントの数
    インストールされたプロダクトの問題を修正するために開発チームが
    特定の期間中断された回数。本番環境でのインシデントの回数は、本
    番環境の安定性を⽰すのに役⽴つ。
    プロダクト(コー
    ド)のアクティブな
    ブランチ数
    プロダクトやサービスの異なるバージョン(または種類)の数。変更
    による潜在的な影響とそれに伴う作業の複雑さについてのインサイト
    が得られる。
    ブランチ間でコード
    をマージする時間
    プロダクトやサービスの異なるバーション間で変更を適⽤するために
    費やした時間。変更による潜在的な影響とそれに伴う作業の複雑さに
    ついてのインサイトが得られる。
    コンテキストスイッ
    チにかかる時間
    例えば、ミーティングや電話による中断された時間、タスクの切り替
    えに費やした時間、チームメンバーがチーム外の⼈を助けるために中
    断された時間がある。問題の規模を把握するのに役⽴
    つ。
    変更失敗率
    リリースされたプロダクトのうち、サービスが低下し、修正を⾏う必
    要が⽣じた割合(例: ホットフィックス、ロールバック、パッチ)。
    Four Keysのひとつ。
    イノベーションの能⼒(A2I)
    (参考) Scrum.org ⻑沢智治、⾓征典(翻訳)“Evidence-Based Management Guide” 2020-9 p.13-P.16 https://www.scrum.org/resources/evidence-based-management-guide (参照2023-1-10)

    View full-size slide

  105. 113
    EBMの重要価値指標の例
    KVM Measuring
    従業員1⼈あたりの収益
    この⽐率(総収益 / 従業員数)は業界内の主要な競争
    指標である。業界によって⼤きく異なる。
    プロダクトコスト⽐率
    計測対象のプロダクトやシステムにかかる総費⽤およ
    びコスト。運⽤コストも含まれる。
    従業員満⾜度
    従業員のエンゲージメント、エネルギー、熱意を計測
    するのに役⽴つ感情分析の⼀種。
    顧客満⾜度 プロダクトに
    対する顧客のエンゲージメ
    ントと幸福度を計測す
    プロダクトに対する顧客のエンゲージメントと幸福度
    を計測するのに役⽴つ感情分析の⼀種。
    顧客使⽤指標
    機能別の利⽤状況を計測して、顧客がプロダクトをど
    の程度有益だと思っているかを推測する。また、機能
    にかける実際の使⽤時間が、期待と⼀致しているかを
    確認する。
    現在の価値(CV)
    未実現の価値(UV)
    KVM Measuring
    市場占有率
    プロダクトが市場を占める相対的な割合。顧客
    のニーズをよりよく満たした場合、そのプロダ
    クトが達成できるであろう潜在的な市場シェア。
    顧客(ユーザー)満⾜度ギャップ
    顧客またはユーザーが望む体験と実際の体験の
    格差。
    望ましい顧客体験または満⾜度 顧客が望んでいる体験を⽰す指標。
    KVM Measuring
    ビルドと統合の頻度
    単位時間あたりのビルド(統合されてテストされたもの)の回数。
    頻繁にあるいは継続的にリリースしているチームであれば、実際のリ
    リース回数を計測する。
    リリースの頻度
    単位時間あたり(継続的、⽇次、週次、⽉次、四半期ごとなど)のリ
    リース回数。これは、新規的で競争⼒のあるプロダクトにおいて、顧
    客を満⾜させるために必要な時間を評価するのに役⽴つ。
    リリースの安定期間
    開発者がリリースの準備ができたと⾔ったときから、プロダクトの問
    題を修正して、実際に顧客にリリースされるまでにかかった時間。こ
    れは、貧弱な開発プラクティス、その基盤となる設計やコードベース
    の影響を表すのに役⽴つ。
    平均修復時間
    エラーが発⾒されてから修正されるまでの平均時間。これは、組織が
    エラーを修正するときの効率性を明らかにする。
    顧客サイクルタイム
    リリース作業に着⼿してから実際にリリースするまでの時間。組織が
    顧客にリーチするための能⼒を計測するのに役⽴つ。
    リードタイム
    アイデアが提案されて仮説が形成されてから、顧客がそのアイデアを
    享受できるようになるまでの時間。顧客やプロダクトによって、この
    指標は⼤きく異なる。顧客満⾜度の要因でもある。
    変更のリードタイム
    コードがコミットされてから本番環境で正常に実⾏されるまでの時間。
    Four Keysのひとつ。
    デプロイ頻度
    組織がプロダクトの新規バージョンを顧客またはユーザーにデプロイ
    (またはリリース)する回数。Four Keysのひとつ。
    サービス復元時間
    サービスの停⽌が開始されてからサービスの可⽤性が完全に回復する
    までの時間。Four Keysのひとつ。
    学習時間
    アイデアや改善をスケッチして、構築して、ユーザーに提供して、そ
    の利⽤を学習するまでにかかる時間。
    障害物除去時間
    障害物が発⽣してから解決さるまでの平均時間。リードタイムや従業
    員満⾜度の要因でもある。
    ピボットまでの時間
    真のビジネスアジリティの指標で、組織がフィードバックや新しい情
    報を得てから、そのフィードバックに対応するまでの経過時間を表す。
    例えば、競合他社が新たな市場獲得のための機能を提供したことを
    知ってから、組織が顧客体験を計測できるほどに改善する新機能ある
    いはそれを超える機能を提供したりするまでの時間。
    市場に出すまでの時間(T2M)
    KVM Measuring
    イノベーション率
    新しいプロダクトの機能に費やした労⼒やコストを、すべてのプロダ
    クトに費やした労⼒やコストで割ったもの。新しいプロダクトの機能
    を提供する組織のキャパシティについてのインサイトが
    得られる。
    ⽋陥のトレンド
    前回の計測から⽋陥の変化を計測したもの。⽋陥とは、顧客、ユー
    ザー、組織にとってのプロダクトの価値を低下させるものである。⼀
    般的には、意図したとおりに動作しないことを指す。
    オンプロダクト指標
    チームがプロダクトと価値に費やす時間の割合。
    インストールされた
    バージョンの指標
    現在サポートしているプロダクトのバージョン数。これは、組織が古
    いバージョンのサポートや保守にかけている労⼒を表している。
    技術的負債
    プログラミングにおける概念であり、「クイック・アンド・ダー
    ティ」なソリューションをあとで修正することになったときに発⽣す
    る。追加の開発やテストの作業を表したもの。価値の提供に
    望ましくない影響を与え、回避可能な無駄とリスクの増加を⽣み出す。
    本番環境のインシデ
    ントの数
    インストールされたプロダクトの問題を修正するために開発チームが
    特定の期間中断された回数。本番環境でのインシデントの回数は、本
    番環境の安定性を⽰すのに役⽴つ。
    プロダクト(コー
    ド)のアクティブな
    ブランチ数
    プロダクトやサービスの異なるバージョン(または種類)の数。変更
    による潜在的な影響とそれに伴う作業の複雑さについてのインサイト
    が得られる。
    ブランチ間でコード
    をマージする時間
    プロダクトやサービスの異なるバーション間で変更を適⽤するために
    費やした時間。変更による潜在的な影響とそれに伴う作業の複雑さに
    ついてのインサイトが得られる。
    コンテキストスイッ
    チにかかる時間
    例えば、ミーティングや電話による中断された時間、タスクの切り替
    えに費やした時間、チームメンバーがチーム外の⼈を助けるために中
    断された時間がある。問題の規模を把握するのに役⽴
    つ。
    変更失敗率
    リリースされたプロダクトのうち、サービスが低下し、修正を⾏う必
    要が⽣じた割合(例: ホットフィックス、ロールバック、パッチ)。
    Four Keysのひとつ。
    イノベーションの能⼒(A2I)
    (参考) Scrum.org ⻑沢智治、⾓征典(翻訳)“Evidence-Based Management Guide” 2020-9 p.13-P.16 https://www.scrum.org/resources/evidence-based-management-guide (参照2023-1-10)

    View full-size slide

  106. 114
    EBMで定義されている4つの重要価値領域
    市場に出すまでの時間(反応性)
    (T2M: Time to Market)
    新しい能⼒、サービス、製品を迅速
    に提供する能⼒
    イノベーションの能⼒(効果性)
    (A2I: Ability to Innovate)
    顧客やユーザーのニーズにより良く
    応えられるような新しい能⼒を提供
    する能⼒
    現在の価値
    (CV: Current Value)
    現在、顧客やユーザーに提供された
    価値
    未実現の価値
    (UV: Unrealized Value)
    顧客やユーザーの潜在的なニーズを
    すべて満たすことによって実現し
    うる価値










    View full-size slide

  107. 115
    EBMで定義されている4つの重要価値領域
    市場に出すまでの時間(反応性)
    (T2M: Time to Market)
    新しい能⼒、サービス、製品を迅速
    に提供する能⼒
    イノベーションの能⼒(効果性)
    (A2I: Ability to Innovate)
    顧客やユーザーのニーズにより良く
    応えられるような新しい能⼒を提供
    する能⼒
    現在の価値
    (CV: Current Value)
    現在、顧客やユーザーに提供された
    価値
    未実現の価値
    (UV: Unrealized Value)
    顧客やユーザーの潜在的なニーズを
    すべて満たすことによって実現し
    うる価値










    4つの価値領域は
    それぞれ関係しあっている

    View full-size slide

  108. 116
    EBMで定義されている4つの重要価値領域
    市場に出すまでの時間(反応性)
    (T2M: Time to Market)
    新しい能⼒、サービス、製品を迅速
    に提供する能⼒
    イノベーションの能⼒(効果性)
    (A2I: Ability to Innovate)
    顧客やユーザーのニーズにより良く
    応えられるような新しい能⼒を提供
    する能⼒
    現在の価値
    (CV: Current Value)
    現在、顧客やユーザーに提供された
    価値
    未実現の価値
    (UV: Unrealized Value)
    顧客やユーザーの潜在的なニーズを
    すべて満たすことによって実現し
    うる価値










    • CVが低い=投資価値あり
    • CVが⾼い&市場独占=投資価値なし
    =放っても儲かる(⾦のなる⽊)

    View full-size slide

  109. 117
    EBMで定義されている4つの重要価値領域
    市場に出すまでの時間(反応性)
    (T2M: Time to Market)
    新しい能⼒、サービス、製品を迅速
    に提供する能⼒
    イノベーションの能⼒(効果性)
    (A2I: Ability to Innovate)
    顧客やユーザーのニーズにより良く
    応えられるような新しい能⼒を提供
    する能⼒
    現在の価値
    (CV: Current Value)
    現在、顧客やユーザーに提供された
    価値
    未実現の価値
    (UV: Unrealized Value)
    顧客やユーザーの潜在的なニーズを
    すべて満たすことによって実現し
    うる価値










    • A2Iが低い=顧客の要望に応えるのが
    遅い
    • T2Mが低い=実験スピードが遅いの
    でライバルに出し抜かれる可能性あり

    View full-size slide

  110. 118
    EBMで定義されている4つの重要価値領域
    市場に出すまでの時間(反応性)
    (T2M: Time to Market)
    新しい能⼒、サービス、製品を迅速
    に提供する能⼒
    イノベーションの能⼒(効果性)
    (A2I: Ability to Innovate)
    顧客やユーザーのニーズにより良く
    応えられるような新しい能⼒を提供
    する能⼒
    現在の価値
    (CV: Current Value)
    現在、顧客やユーザーに提供された
    価値
    未実現の価値
    (UV: Unrealized Value)
    顧客やユーザーの潜在的なニーズを
    すべて満たすことによって実現し
    うる価値









    値 CV が低い&T2Mが下がっている=
    実験スピードが遅いことが提供価値を
    下げている可能性あり

    View full-size slide

  111. 119
    EBMで定義されている4つの重要価値領域
    市場に出すまでの時間(反応性)
    (T2M: Time to Market)
    新しい能⼒、サービス、製品を迅速
    に提供する能⼒
    イノベーションの能⼒(効果性)
    (A2I: Ability to Innovate)
    顧客やユーザーのニーズにより良く
    応えられるような新しい能⼒を提供
    する能⼒
    現在の価値
    (CV: Current Value)
    現在、顧客やユーザーに提供された
    価値
    未実現の価値
    (UV: Unrealized Value)
    顧客やユーザーの潜在的なニーズを
    すべて満たすことによって実現し
    うる価値










    UVとCVにまだまだギャップがある=
    現在の体験と顧客の期待とに差がある

    View full-size slide