Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥

OKRと「測りすぎ」 〜なりたい姿を、「測りすぎ」ないようにしながらどう追いかけるか〜/OKR...

KAKEHASHI
May 11, 2024
16k

OKRと「測りすぎ」 〜なりたい姿を、「測りすぎ」ないようにしながらどう追いかけるか〜/OKR and the tyranny of metrics

KAKEHASHI

May 11, 2024
Tweet

More Decks by KAKEHASHI

Transcript

  1. 小田中 育生(おだなか いくお) 株式会社ナビタイムジャパンでVP of Engineeringを務め、 2023年10月にエンジニアリングマネージャーとして株式会社カケ ハシにジョイン。 薬局DXを支えるVertical SaaS「Musubi」をコアプロダクトに位置

    づけ、「しなやかな医療体験」を実現するべく新規事業のプロダ クト開発にコミットしている。 著書: • いちばんやさしいアジャイル開発の教本 • アジャイルチームによる目標づくりガイドブック ブログ: • dora_e_m|note
  2. © KAKEHASHI Inc. Overview OKRの基本を おさえる KRは更新する ものだと知る OKRに潜む 「測りすぎ」の

    罠を知る 「測りすぎ」な いOKRとの 付き合い方を知 る 「測りすぎ」を 検査する 方法を知る
  3. © KAKEHASHI Inc. Overview OKRの基本を おさえる KRは更新する ものだと知る OKRに潜む 「測りすぎ」の

    罠を知る 「測りすぎ」な いOKRとの 付き合い方を知 る 「測りすぎ」を 検査する 方法を知る
  4. © KAKEHASHI Inc. OKR Objectives(目標)とKey Results(主要成果) Key Results • 何を目指したいのか?と

    いう問いに対する答え • 気後れするくらいの高い レベル • 3-5個に絞る • 目標までの到達度を測定 する指標 • 定量的で計測可能なもの • 1つのObjectiveに対し3個 ほど設定 Objectives
  5. © KAKEHASHI Inc. OKRの例 O-1: 顧客にワォ!を届ける高速 な仮説検証サイクルの実現 O-2: 目指したいプロダクト開発 チームの日本代表になる

    KR-1-1: 顧客のコンテンツ利用率を 週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロ イ回数 KR-1-3: チームのエンゲージメント スコアが90以上 KR-2-1: tech blogによる発信を 年間24件以上 KR-2-2: 外部メディア経由の発信を 年間10件以上 ※顧客にワォ!が届いている  は顧客満足度が高い状態を示す
  6. © KAKEHASHI Inc. 大切なのはObjectivesにコミットすること KRはOの到達に向かっていることを示すだろう、という仮説 状況に合わせ見直し、更新していく Key Results • 何を目指したいのか?と

    いう問いに対する答え • 気後れするくらいの高い レベル • 3-5個に絞る • 目標までの到達度を測定 する指標 • 定量的で計測可能なもの • 1つのObjectiveに対し3個 ほど設定 Objectives
  7. © KAKEHASHI Inc. CFR OKRを組織に浸透させる循環装置 Conversation Recognition Feedback 対話する フィードバックする

    承認・称賛する ジョン・ドーア(2018) Measure What Matters 伝説のベンチャー投資家がGoogleに教 えた成功手法 OKR 日本経済新聞社 第15章より引用 パフォーマンス向上を目的に、 マネジャーとコントリビュー ターのあいだで行われる真摯で 深みのある意見交換。 プロセスを評価し、将来の改善 につなげるための、同僚との双 方向あるいはネットワーク型の コミュニケーション。 大小さまざまな貢献に対して、 しかるべき個人に感謝を伝え る。
  8. © KAKEHASHI Inc. 先の見えない道のりをスクラムで突き進む ①スプリントで生み出す価値、  検証したい仮説を明確にする ②どうやって価値を生み出すか  検討し実行する ③毎日、検査と適応を繰り返 しながら価値創出を目指す

    ④生み出した価値を検査する ⑤スプリントで得た学びに適応し 新たな仮説を得る 外側のループ weekly 内側のループ daily OKRが機能するのに、スクラムというフレームワークが役に立つ
  9. © KAKEHASHI Inc. Overview OKRの基本を おさえる KRは更新する ものだと知る OKRに潜む 「測りすぎ」の

    罠を知る 「測りすぎ」な いOKRとの 付き合い方を知 る 「測りすぎ」を 検査する 方法を知る
  10. © KAKEHASHI Inc. KR100%は必ずしもOの達成を意味しない KR-1-1: 顧客のコンテンツ利用率を 週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロ イ回数

    KR-1-3: チームのエンゲージメント スコアが90以上 O-1: 顧客にワォ!を届ける高速 な仮説検証サイクルの実現
  11. © KAKEHASHI Inc. 指標としての妥当性が不足しているケース KR-1-1: 顧客のコンテンツ利用率を 週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロ イ回数

    KR-1-3: チームのエンゲージメント スコアが90以上 O-1: 顧客にワォ!を届ける高速 な仮説検証サイクルの実現 コンテンツ利用率が高い=顧客にワォ!が届いてる(満足度が 高い)という仮説だったが、いざ向上させてみたら因果関係が ないと判明
  12. © KAKEHASHI Inc. 副作用があるケース KR-1-1: 顧客のコンテンツ利用率を 週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロ イ回数

    KR-1-3: チームのエンゲージメント スコアが90以上 O-1: 顧客にワォ!を届ける高速 な仮説検証サイクルの実現 デプロイ数のみに着目することで変更障害率が上がってしまう などの副作用が観測される
  13. © KAKEHASHI Inc. Oとの結びつきが弱いケース KR-1-1: 顧客のコンテンツ利用率を 週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロ イ回数

    KR-1-3: チームのエンゲージメント スコアが90以上 O-1: 顧客にワォ!を届ける高速 な仮説検証サイクルの実現 チームとしては大切にしているエンゲージメントスコアだが、 顧客にワォを届けること、高速な仮説検証サイクルを実現する こととの関連がいまいち説明できない
  14. © KAKEHASHI Inc. ユーチューブはKRを視聴回数から視聴時間に変えた ジョン・ドーア(2018) Measure What Matters 伝説のベンチャー投資家がGoogleに教 えた成功手法 OKR

    日本経済新聞社 第14章より引用 “これはユーチューブの視聴回数を大幅に増やす 可能性を秘めていた。しかし私たちが本当に増や したいのは、視聴回数だろうか? 〜中略〜 ユーチューブにとって最も重要なのは、視聴回数 やクリック数ではなかった。視聴時間である。”
  15. © KAKEHASHI Inc. Overview OKRの基本を おさえる KRは更新する ものだと知る OKRに潜む 「測りすぎ」の

    罠を知る 「測りすぎ」な いOKRとの 付き合い方を知 る 「測りすぎ」を 検査する 方法を知る
  16. © KAKEHASHI Inc. 「測りすぎ」への警鐘 ジェリー・Z・ミュラー (著), 松本 裕 (翻訳) 測りすぎ――なぜパフォーマンス評価は失敗す

    るのか? みすず書房 数値で計測するということ。 状態を正しく把握するために有用。 けれど、数値自体を目標とすると、有害さ を発揮してしまいます。 書籍「測りすぎ」では、重大な犯罪の発生 率を抑えるために本来重犯罪であるべき事 案が軽犯罪扱いされる、といった実際にあ る弊害について紹介されています。
  17. © KAKEHASHI Inc. Key Resultsは定量的で計測可能なもの Objectives(目標)とKey Results(主要成果) Key Results •

    何を目指したいのか?と いう問いに対する答え • 気後れするくらいの高い レベル • 3-5個に絞る • 目標までの到達度を測定 する指標 • 定量的で計測可能なもの • 1つのObjectiveに対し3個 ほど設定 Objectives
  18. © KAKEHASHI Inc. 直接追いづらいOと追いやすいKR O-1: 顧客にワォ!を届ける高速 な仮説検証サイクルの実現 O-2: 目指したいプロダクト開発 チームの日本代表になる

    KR-1-1: 顧客のコンテンツ利用率を 週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロ イ回数 KR-1-3: チームのエンゲージメント スコアが90以上 KR-2-1: tech blogによる発信を 年間24件以上 KR-2-2: 外部メディア経由の発信を 年間10件以上
  19. © KAKEHASHI Inc. KR1-1がOに寄与しない指標だとする KR-1-1: 顧客のコンテンツ利用率を 週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロ イ回数

    KR-1-3: チームのエンゲージメント スコアが90以上 O-1: 顧客にワォ!を届ける高速 な仮説検証サイクルの実現 コンテンツ利用率が高い=顧客にワォ!が届いてる(満足度が 高い)という仮説だったが、いざ向上させてみたら因果関係が ないと判明
  20. © KAKEHASHI Inc. 全部100%達成した!けれども… KR-1-1: 顧客のコンテンツ利用率を 週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロ イ回数

    KR-1-3: チームのエンゲージメント スコアが90以上 100%! 100%! 100%! 解約率は例年と変わらず… 「ワォ!が届いてる」とは いえないですね
  21. © KAKEHASHI Inc. 結局は、Oに効くかどうか KR-1-1: 顧客のコンテンツ利用率を 週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロ イ回数

    KR-1-3: チームのエンゲージメント スコアが90以上 O-1: 顧客にワォ!を届ける高速 な仮説検証サイクルの実現 顧客のワォ!につながっていれば、仮説検証サイクル がまわっていれば、これらは有効な指標。 そうでなければバニティメトリクス。
  22. © KAKEHASHI Inc. 手段を選ばずKRの数値を上げて、Oはどうなる? KR-1-1: 顧客のコンテンツ利用率を 週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロ イ回数

    KR-1-3: チームのエンゲージメント スコアが90以上 O-1: 顧客にワォ!を届ける高速 な仮説検証サイクルの実現 なりたい姿のためではなく設定された数値を達成する ために行動してしまっては、Oには近づけない
  23. © KAKEHASHI Inc. O-1: 顧客にワォ!を届ける高速 な仮説検証サイクルの実現 O-2: 目指したいプロダクト開発 チームの日本代表になる KR-1-1:

    顧客のコンテンツ利用率を 週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロ イ回数 KR-1-3: チームのエンゲージメント スコアが90以上 KR-2-1: tech blogによる発信を 年間24件以上 KR-2-2: 外部メディア経由の発信を 年間10件以上 だからKRを経由して目標と向き合っている
  24. © KAKEHASHI Inc. リスクのある取り組みは止めよう、となる KR達 成 状 況 経 過

    時 間 現状は可視化されているが未来の展望が不明なとき は、リスク回避の判断に倒れやすい
  25. © KAKEHASHI Inc. Key Resultsを計測すること自体は良い事 Objectives(目標)とKey Results(主要成果) Key Results •

    何を目指したいのか?と いう問いに対する答え • 気後れするくらいの高い レベル • 3-5個に絞る • 目標までの到達度を測定 する指標 • 定量的で計測可能なもの • 1つのObjectiveに対し3個 ほど設定 Objectives
  26. © KAKEHASHI Inc. 「測りすぎ」にならず、Oと向き合うには Objectives(目標)とKey Results(主要成果) Key Results • 何を目指したいのか?と

    いう問いに対する答え • 気後れするくらいの高い レベル • 3-5個に絞る • 目標までの到達度を測定 する指標 • 定量的で計測可能なもの • 1つのObjectiveに対し3個 ほど設定 Objectives
  27. © KAKEHASHI Inc. Overview OKRの基本を おさえる KRは更新する ものだと知る OKRに潜む 「測りすぎ」の

    罠を知る 「測りすぎ」な いOKRとの 付き合い方を知 る 「測りすぎ」を 検査する 方法を知る
  28. © KAKEHASHI Inc. OKRの基礎知識を身につける 本を読んだり… ジョン・ドーア (著), 土方奈美 (翻訳) メジャー・ホワット・マターズ 伝説のベンチャー投資家

    がGoogleに教えた成功手法OKR 日本経済新聞出版社 スライドを見たり… https://speakerdeck.com/navitimejapan/okrhaturidehanai
  29. © KAKEHASHI Inc. こういうConversationが大切 O-1: 顧客にワォ!を届ける高速 な仮説検証サイクルの実現 O-2: 目指したいプロダクト開発 チームの日本代表になる

    KR-1-1: 顧客のコンテンツ利用率を 週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロ イ回数 KR-1-3: チームのエンゲージメント スコアが90以上 KR-2-1: tech blogによる発信を 年間24件以上 KR-2-2: 外部メディア経由の発信を 年間10件以上 週次50%を目指している 理由が知りたい! コンテンツを利用→プロダ クトを必要としていると考 えると、半数の顧客にとっ て必要なプロダクトになっ ているという仮説。 なるほど、それくらい使っ てくれてたら顧客に 「ワォ!」が届いてる、 っていう想定なのね
  30. © KAKEHASHI Inc. どんなときに見直すとよいか 見直しのアクション いつ? KRの上方修正 Oの達成にKRが有効で、かつ上積みするほど達成に 近づくと判明した場合 KRの下方修正

    よりOの達成に寄与するKRが存在する場合 KRの追加 Oの達成に有効な手段が新たに見つかった場合 KRの削除 そのKRがOの達成に有効でないと判明した場合 Oの変更・追加・削除 戦略的意思決定が行われた場合などに限定される
  31. © KAKEHASHI Inc. 理解を得やすい見直しのアクション 見直しのアクション いつ? KRの上方修正 Oの達成にKRが有効で、かつ上積みするほど達成に 近づくと判明した場合 KRの下方修正

    よりOの達成に寄与するKRが存在する場合 KRの追加 Oの達成に有効な手段が新たに見つかった場合 KRの削除 そのKRがOの達成に有効でないと判明した場合 Oの変更・追加・削除 戦略的意思決定が行われた場合などに限定される
  32. © KAKEHASHI Inc. 理解が得られにくい見直しのアクション 見直しのアクション いつ? KRの上方修正 Oの達成にKRが有効で、かつ上積みするほど達成に 近づくと判明した場合 KRの下方修正

    よりOの達成に寄与するKRが存在する場合 KRの追加 Oの達成に有効な手段が新たに見つかった場合 KRの削除 そのKRがOの達成に有効でないと判明した場合 Oの変更・追加・削除 戦略的意思決定が行われた場合などに限定される
  33. © KAKEHASHI Inc. 見込みがわかっていれば、待てる KR達 成 状 況 経 過

    時 間 但し、言ったことはやるだろうと信頼してもらってることが前提
  34. © KAKEHASHI Inc. Objectivesの達成にこだわり抜きたい Objectives(目標)とKey Results(主要成果) Key Results • 何を目指したいのか?と

    いう問いに対する答え • 気後れするくらいの高い レベル • 3-5個に絞る • 目標までの到達度を測定 する指標 • 定量的で計測可能なもの • 1つのObjectiveに対し3個 ほど設定 Objectives
  35. © KAKEHASHI Inc. Key Resultsに振り回されないためには? Objectives(目標)とKey Results(主要成果) Key Results •

    何を目指したいのか?と いう問いに対する答え • 気後れするくらいの高い レベル • 3-5個に絞る • 目標までの到達度を測定 する指標 • 定量的で計測可能なもの • 1つのObjectiveに対し3個 ほど設定 Objectives
  36. © KAKEHASHI Inc. Qごとにアップデートしてみたり Q1 Q2 Q3 Q4 O KR1

    KR2 KR3 KR1 KR2 KR3 KR4 KR1’ KR3’ KR4 KR1’ KR3’ KR4
  37. © KAKEHASHI Inc. KRの生存期間を短くする O-2: 目指したいプロダクト開発 チームの日本代表になる KR-2-1: tech blogによる発信を

    年間24件以上 KR-2-2: 外部メディア経由の発信を 年間10件以上 Qごとの件数に変更すれば 強制的に見直しする 機会を得る
  38. © KAKEHASHI Inc. KRは、設定はするが高頻度には見ない O-1: 顧客にワォ!を届ける高速 な仮説検証サイクルの実現 KR-1-1: 顧客のコンテンツ利用率を 週次10%から50%に上げる

    KR-1-2: 年間100回を超えるデプロ イ回数 KR-1-3: チームのエンゲージメント スコアが90以上 Oを実現するためには?を考えて開発に取り組む
  39. © KAKEHASHI Inc. 観察はする O-1: 顧客にワォ!を届ける高速 な仮説検証サイクルの実現 観察はしてそこから学び行動するけれど、 「デプロイ数を上げるためには?」というアプ ローチはとらない。今のデプロイ数だと目指した

    い仮説検証サイクルのスピードにはまだまだだ ね、という判断にのみ使用 KR-1-1: 顧客のコンテンツ利用率を 週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロ イ回数 KR-1-3: チームのエンゲージメント スコアが90以上
  40. © KAKEHASHI Inc. やりかた:観察者を置く インクリメント スプリント バックログ O KR KR

    KR チーム 観察者 フィードバック チーム ・O、スプリントに集中 観察者 ・OKR全体を観察 ・フィードバック
  41. © KAKEHASHI Inc. Q.やっぱりチームでKR見たほうがよくない? O • もちろん、NGではありません • KRを確認したときに、それ自体を目的化 しないチームなら確認することはメリット

    のほうが大きいでしょう • ただ、思ったより数値の引力は強いです インクリメント スプリント バックログ KR KR KR チーム
  42. © KAKEHASHI Inc. 数値がもつ引力 その1 O-2: 目指したいプロダクト開発 チームの日本代表になる KR-2-1: tech

    blogによる発信を 年間24件以上 KR-2-2: 外部メディア経由の発信を 年間10件以上 KRに集中するということはKRの積み上げに貢献しない選択肢を 切り捨てることでもある。KR→Oの貢献が確からしいものなら よいが、そうでないなら探索の選択肢はもっておきたい KR-2-3: ????????
  43. © KAKEHASHI Inc. 数値がもつ引力 その2 O-2: 目指したいプロダクト開発 チームの日本代表になる KR-2-1: tech

    blogによる発信を 年間24件以上 KR-2-2: 外部メディア経由の発信を 年間10件以上 KRとして表現されていないことはスコープ外になる。下記例で いうとtech blog/外部メディア経由発信の件数は考慮している が、その品質や実際に訴求したかについては考慮していない
  44. © KAKEHASHI Inc. 「意義」を欠損しない仕組みをつくる O-2: 目指したいプロダクト開発 チームの日本代表になる KR-2-1: tech blogによる発信を

    年間24件以上 KR-2-2: 外部メディア経由の発信を 年間10件以上 事前: レビューでOに寄与する品質のものであることを担保 事後: 公開一週間でのview数などからOへのインパクトを推定 Oをにらんだ品質担保 Oへのインパクトを踏まえ アップデート
  45. © KAKEHASHI Inc. Overview OKRの基本を おさえる KRは更新する ものだと知る OKRに潜む 「測りすぎ」の

    罠を知る 「測りすぎ」な いOKRとの 付き合い方を知 る 「測りすぎ」を 検査する 方法を知る
  46. © KAKEHASHI Inc. 測りすぎチェックリスト ❏ OKRの進捗を確認するときにKRの話だけしている ❏ KRの達成率を上げる施策の副作用は考慮から外している ❏ 現状の数値からわかる保守的な意思決定をしている

    ❏ 年間を通じてKRを更新せず同じ指標を追い続けている ❏ KRの達成率が個人の評価に強く紐づいている →KR達成にフォーカスするインセンティブになってしまう ❏ その目標がなければ採用されない施策が採用される →利用率を上げるためにプッシュ通知を毎日送る、など 現場のOKRで以下に当てはまるものがあるなら、 このスライドで紹介した取り組みを試してみてください
  47. © KAKEHASHI Inc. OKRがOとKRに分かれている理由 分離していることで、定量的な指標への「測りすぎ」を防げる Key Results • 何を目指したいのか?と いう問いに対する答え

    • 気後れするくらいの高い レベル • 3-5個に絞る • 目標までの到達度を測定 する指標 • 定量的で計測可能なもの • 1つのObjectiveに対し3個 ほど設定 Objectives
  48. © KAKEHASHI Inc. だから、OKRを知ろう 本を読んだり… ジョン・ドーア (著), 土方奈美 (翻訳) メジャー・ホワット・マターズ 伝説のベンチャー投資家

    がGoogleに教えた成功手法OKR 日本経済新聞出版社 スライドを見たり… https://speakerdeck.com/navitimejapan/okrhaturidehanai
  49. © KAKEHASHI Inc. あえてKRを見ないやり方もある インクリメント スプリント バックログ O KR KR

    KR チーム 観察者 フィードバック チーム ・O、スプリントに集中 観察者 ・OKR全体を観察 ・フィードバック
  50. © KAKEHASHI Inc. 測りすぎてないか? ❏ OKRの進捗を確認するときにKRの話だけしている ❏ KRの達成率を上げる施策の副作用は考慮から外している ❏ 現状の数値からわかる保守的な意思決定をしている

    ❏ 年間を通じてKRを更新せず同じ指標を追い続けている ❏ KRの達成率が個人の評価に強く紐づいている →KR達成にフォーカスするインセンティブになってしまう ❏ その目標がなければ採用されない施策が採用される →利用率を上げるためにプッシュ通知を毎日送る、など 「測りすぎ」チェックリストで現状把握してみましょう