OKRと「測りすぎ」〜なりたい姿を、「測りすぎ」ないようにしながらどう追いかけるか〜/OKR and the tyranny of metrics

by kakehashi

Slide 1

Slide 1 text

OKRと「測りすぎ」〜なりたい姿を、「測りすぎ」ないようにしながらどう追いかけるか〜株式会社カケハシ　小田中育生 2024.05.11

Slide 2

Slide 2 text

小田中育生(おだなかいくお) 株式会社ナビタイムジャパンでVP of Engineeringを務め、 2023年10月にエンジニアリングマネージャーとして株式会社カケハシにジョイン。テクノロジーとドメインに関する深い知識や経験をもって高速に仮説検証のサイクルを回すチームづくりとチームを起点にした事業価値最大化に確約・集中・公開・尊敬・勇気している。著書に『いちばんやさしいアジャイル開発の教本人気講師が教えるDXを支える開発手法』（2020年、インプレス、共著）がある。ブログ: dora_e_m｜note

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

OKRとは

Slide 7

Slide 7 text

Slide 8

Slide 8 text

© KAKEHASHI Inc. OKRの例 O-1: 顧客にワォ！を届ける高速な仮説検証サイクルの実現 O-2: 目指したいプロダクト開発チームの日本代表になる KR-1-1: 顧客のコンテンツ利用率を週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロイ回数 KR-1-3: チームのエンゲージメントスコアが90以上 KR-2-1: tech blogによる発信を年間24件以上 KR-2-2: 外部メディア経由の発信を年間10件以上 ※顧客にワォ！が届いている　は顧客満足度が高い状態を示す

Slide 9

Slide 9 text

© KAKEHASHI Inc. 大切なのはObjectivesにコミットすること KRはOの到達に向かっていることを示すだろう、という仮説状況に合わせ見直し、更新していく Key Results ● 何を目指したいのか？という問いに対する答え ● 気後れするくらいの高いレベル ● 3-5個に絞る ● 目標までの到達度を測定する指標 ● 定量的で計測可能なもの ● 1つのObjectiveに対し3個ほど設定 Objectives

Slide 10

Slide 10 text

© KAKEHASHI Inc. CFR OKRを組織に浸透させる循環装置 Conversation Recognition Feedback 対話するフィードバックする承認・称賛するジョン・ドーア(2018) Measure What Matters 伝説のベンチャー投資家がGoogleに教えた成功手法　OKR 日本経済新聞社第15章より引用パフォーマンス向上を目的に、マネジャーとコントリビューターのあいだで行われる真摯で深みのある意見交換。プロセスを評価し、将来の改善につなげるための、同僚との双方向あるいはネットワーク型のコミュニケーション。大小さまざまな貢献に対して、しかるべき個人に感謝を伝える。

Slide 11

Slide 11 text

なぜスクラムフェスで OKRの話をするのか

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

© KAKEHASHI Inc. 先の見えない道のりをスクラムで突き進む ①スプリントで生み出す価値、　検証したい仮説を明確にする ②どうやって価値を生み出すか　検討し実行する ③毎日、検査と適応を繰り返しながら価値創出を目指す ④生み出した価値を検査する ⑤スプリントで得た学びに適応し新たな仮説を得る外側のループ weekly 内側のループ daily OKRが機能するのに、スクラムというフレームワークが役に立つ

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

O≠KR

Slide 18

Slide 18 text

Slide 19

Slide 19 text

© KAKEHASHI Inc. 指標としての妥当性が不足しているケース KR-1-1: 顧客のコンテンツ利用率を週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロイ回数 KR-1-3: チームのエンゲージメントスコアが90以上 O-1: 顧客にワォ！を届ける高速な仮説検証サイクルの実現コンテンツ利用率が高い＝顧客にワォ！が届いてる（満足度が高い）という仮説だったが、いざ向上させてみたら因果関係がないと判明

Slide 20

Slide 20 text

Slide 21

Slide 21 text

© KAKEHASHI Inc. Oとの結びつきが弱いケース KR-1-1: 顧客のコンテンツ利用率を週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロイ回数 KR-1-3: チームのエンゲージメントスコアが90以上 O-1: 顧客にワォ！を届ける高速な仮説検証サイクルの実現チームとしては大切にしているエンゲージメントスコアだが、顧客にワォを届けること、高速名仮説検証サイクルを実現することとの関連がいまいち説明できない

Slide 22

Slide 22 text

© KAKEHASHI Inc. ユーチューブはKRを視聴回数から視聴時間に変えたジョン・ドーア(2018) Measure What Matters 伝説のベンチャー投資家がGoogleに教えた成功手法　OKR 日本経済新聞社第14章より引用 “これはユーチューブの視聴回数を大幅に増やす可能性を秘めていた。しかし私たちが本当に増やしたいのは、視聴回数だろうか？〜中略〜ユーチューブにとって最も重要なのは、視聴回数やクリック数ではなかった。視聴時間である。”

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

OKRと「測りすぎ」

Slide 26

Slide 26 text

© KAKEHASHI Inc. 「測りすぎ」への警鐘ジェリー・Z・ミュラー (著), 松本裕 (翻訳) 測りすぎ――なぜパフォーマンス評価は失敗するのか? みすず書房数値で計測するということ。状態を正しく把握するために有用。けれど、数値自体を目標とすると、有害さを発揮してしまいます。書籍「測りすぎ」では、重大な犯罪の発生率を抑えるために本来重犯罪であるべき事案が軽犯罪扱いされる、といった実際にある弊害について紹介されています。

Slide 27

Slide 27 text

© KAKEHASHI Inc. Key Resultsは定量的で計測可能なもの Objectives(目標)とKey Results(主要成果) Key Results ● 何を目指したいのか？という問いに対する答え ● 気後れするくらいの高いレベル ● 3-5個に絞る ● 目標までの到達度を測定する指標 ● 定量的で計測可能なもの ● 1つのObjectiveに対し3個ほど設定 Objectives

Slide 28

Slide 28 text

© KAKEHASHI Inc. 直接追いづらいOと追いやすいKR O-1: 顧客にワォ！を届ける高速な仮説検証サイクルの実現 O-2: 目指したいプロダクト開発チームの日本代表になる KR-1-1: 顧客のコンテンツ利用率を週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロイ回数 KR-1-3: チームのエンゲージメントスコアが90以上 KR-2-1: tech blogによる発信を年間24件以上 KR-2-2: 外部メディア経由の発信を年間10件以上

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

© KAKEHASHI Inc. KR1-1がOに寄与しない指標だとする KR-1-1: 顧客のコンテンツ利用率を週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロイ回数 KR-1-3: チームのエンゲージメントスコアが90以上 O-1: 顧客にワォ！を届ける高速な仮説検証サイクルの実現コンテンツ利用率が高い＝顧客にワォ！が届いてる（満足度が高い）という仮説だったが、いざ向上させてみたら因果関係がないと判明

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

© KAKEHASHI Inc. 結局は、Oに効くかどうか KR-1-1: 顧客のコンテンツ利用率を週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロイ回数 KR-1-3: チームのエンゲージメントスコアが90以上 O-1: 顧客にワォ！を届ける高速な仮説検証サイクルの実現顧客のワォ！につながっていれば、仮説検証サイクルがまわっていれば、これらは有効な指標。そうでなければバニティメトリクス。

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

© KAKEHASHI Inc. 手段を選ばずKRの数値を上げて、Oはどうなる？ KR-1-1: 顧客のコンテンツ利用率を週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロイ回数 KR-1-3: チームのエンゲージメントスコアが90以上 O-1: 顧客にワォ！を届ける高速な仮説検証サイクルの実現なりたい姿のためではなく設定された数値を達成するために行動してしまっては、Oには近づけない

Slide 49

Slide 49 text

なぜ私達は「測りすぎ」るのか

Slide 50

Slide 50 text

Slide 51

Slide 51 text

© KAKEHASHI Inc. O-1: 顧客にワォ！を届ける高速な仮説検証サイクルの実現 O-2: 目指したいプロダクト開発チームの日本代表になる KR-1-1: 顧客のコンテンツ利用率を週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロイ回数 KR-1-3: チームのエンゲージメントスコアが90以上 KR-2-1: tech blogによる発信を年間24件以上 KR-2-2: 外部メディア経由の発信を年間10件以上だからKRを経由して目標と向き合っている

Slide 52

Slide 52 text

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Slide 55

Slide 55 text

Slide 56

Slide 56 text

Slide 57

Slide 57 text

Slide 58

Slide 58 text

Slide 59

Slide 59 text

Slide 60

Slide 60 text

Slide 61

Slide 61 text

Slide 62

Slide 62 text

Slide 63

Slide 63 text

Slide 64

Slide 64 text

© KAKEHASHI Inc. Key Resultsを計測すること自体は良い事 Objectives(目標)とKey Results(主要成果) Key Results ● 何を目指したいのか？という問いに対する答え ● 気後れするくらいの高いレベル ● 3-5個に絞る ● 目標までの到達度を測定する指標 ● 定量的で計測可能なもの ● 1つのObjectiveに対し3個ほど設定 Objectives

Slide 65

Slide 65 text

Slide 66

Slide 66 text

Slide 67

Slide 67 text

OKRを知る

Slide 68

Slide 68 text

Slide 69

Slide 69 text

Slide 70

Slide 70 text

Slide 71

Slide 71 text

Slide 72

Slide 72 text

Slide 73

Slide 73 text

Slide 74

Slide 74 text

Slide 75

Slide 75 text

Slide 76

Slide 76 text

成果指標と透明性

Slide 77

Slide 77 text

Slide 78

Slide 78 text

Slide 79

Slide 79 text

Slide 80

Slide 80 text

Slide 81

Slide 81 text

© KAKEHASHI Inc. こういうConversationが大切 O-1: 顧客にワォ！を届ける高速な仮説検証サイクルの実現 O-2: 目指したいプロダクト開発チームの日本代表になる KR-1-1: 顧客のコンテンツ利用率を週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロイ回数 KR-1-3: チームのエンゲージメントスコアが90以上 KR-2-1: tech blogによる発信を年間24件以上 KR-2-2: 外部メディア経由の発信を年間10件以上週次50％を目指している理由が知りたい！コンテンツを利用→プロダクトを必要としていると考えると、半数の顧客にとって必要なプロダクトになっているという仮説。なるほど、それくらい使ってくれてたら顧客に「ワォ！」が届いてる、っていう想定なのね

Slide 82

Slide 82 text

Slide 83

Slide 83 text

Slide 84

Slide 84 text

Slide 85

Slide 85 text

© KAKEHASHI Inc. どんなときに見直すとよいか見直しのアクションいつ？ KRの上方修正 Oの達成にKRが有効で、かつ上積みするほど達成に近づくと判明した場合 KRの下方修正よりOの達成に寄与するKRが存在する場合 KRの追加 Oの達成に有効な手段が新たに見つかった場合 KRの削除そのKRがOの達成に有効でないと判明した場合 Oの変更・追加・削除戦略的意思決定が行われた場合などに限定される

Slide 86

Slide 86 text

© KAKEHASHI Inc. 理解を得やすい見直しのアクション見直しのアクションいつ？ KRの上方修正 Oの達成にKRが有効で、かつ上積みするほど達成に近づくと判明した場合 KRの下方修正よりOの達成に寄与するKRが存在する場合 KRの追加 Oの達成に有効な手段が新たに見つかった場合 KRの削除そのKRがOの達成に有効でないと判明した場合 Oの変更・追加・削除戦略的意思決定が行われた場合などに限定される

Slide 87

Slide 87 text

© KAKEHASHI Inc. 理解が得られにくい見直しのアクション見直しのアクションいつ？ KRの上方修正 Oの達成にKRが有効で、かつ上積みするほど達成に近づくと判明した場合 KRの下方修正よりOの達成に寄与するKRが存在する場合 KRの追加 Oの達成に有効な手段が新たに見つかった場合 KRの削除そのKRがOの達成に有効でないと判明した場合 Oの変更・追加・削除戦略的意思決定が行われた場合などに限定される

Slide 88

Slide 88 text

Slide 89

Slide 89 text

Slide 90

Slide 90 text

Slide 91

Slide 91 text

Slide 92

Slide 92 text

Slide 93

Slide 93 text

Slide 94

Slide 94 text

Slide 95

Slide 95 text

Slide 96

Slide 96 text

Slide 97

Slide 97 text

Slide 98

Slide 98 text

Slide 99

Slide 99 text

Slide 100

Slide 100 text

Objectivesへの集中

Slide 101

Slide 101 text

© KAKEHASHI Inc. Objectivesの達成にこだわり抜きたい Objectives(目標)とKey Results(主要成果) Key Results ● 何を目指したいのか？という問いに対する答え ● 気後れするくらいの高いレベル ● 3-5個に絞る ● 目標までの到達度を測定する指標 ● 定量的で計測可能なもの ● 1つのObjectiveに対し3個ほど設定 Objectives

Slide 102

Slide 102 text

© KAKEHASHI Inc. Key Resultsに振り回されないためには？ Objectives(目標)とKey Results(主要成果) Key Results ● 何を目指したいのか？という問いに対する答え ● 気後れするくらいの高いレベル ● 3-5個に絞る ● 目標までの到達度を測定する指標 ● 定量的で計測可能なもの ● 1つのObjectiveに対し3個ほど設定 Objectives

Slide 103

Slide 103 text

Slide 104

Slide 104 text

Slide 105

Slide 105 text

Slide 106

Slide 106 text

Slide 107

Slide 107 text

Slide 108

Slide 108 text

Slide 109

Slide 109 text

© KAKEHASHI Inc. 観察はする O-1: 顧客にワォ！を届ける高速な仮説検証サイクルの実現観察はしてそこから学び行動するけれど、「デプロイ数を上げるためには？」というアプローチはとらない。今のデプロイ数だと目指したい仮説検証サイクルのスピードにはまだまだだね、という判断にのみ使用 KR-1-1: 顧客のコンテンツ利用率を週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロイ回数 KR-1-3: チームのエンゲージメントスコアが90以上

Slide 110

Slide 110 text

Slide 111

Slide 111 text

Slide 112

Slide 112 text

© KAKEHASHI Inc. 数値がもつ引力その1 O-2: 目指したいプロダクト開発チームの日本代表になる KR-2-1: tech blogによる発信を年間24件以上 KR-2-2: 外部メディア経由の発信を年間10件以上 KRに集中するということはKRの積み上げに貢献しない選択肢を切り捨てることでもある。KR→Oの貢献が確からしいものならよいが、そうでないなら探索の選択肢はもっておきたい KR-2-3: ????????

Slide 113

Slide 113 text

© KAKEHASHI Inc. 数値がもつ引力その2 O-2: 目指したいプロダクト開発チームの日本代表になる KR-2-1: tech blogによる発信を年間24件以上 KR-2-2: 外部メディア経由の発信を年間10件以上 KRとして表現されていないことはスコープ外になる。下記例でいうとtech blog/外部メディア経由発信の件数は考慮しているが、その品質や実際に訴求したかについては考慮していない

Slide 114

Slide 114 text

© KAKEHASHI Inc. 「意義」を欠損しない仕組みをつくる O-2: 目指したいプロダクト開発チームの日本代表になる KR-2-1: tech blogによる発信を年間24件以上 KR-2-2: 外部メディア経由の発信を年間10件以上事前: レビューでOに寄与する品質のものであることを担保事後: 公開一週間でのview数などからOへのインパクトを推定 Oをにらんだ品質担保 Oへのインパクトを踏まえアップデート

Slide 115

Slide 115 text

Slide 116

Slide 116 text

© KAKEHASHI Inc. 測りすぎチェックリスト ❏ OKRの進捗を確認するときにKRの話だけしている ❏ KRの達成率を上げる施策の副作用は考慮から外している ❏ 現状の数値からわかる保守的な意思決定をしている ❏ 年間を通じてKRを更新せず同じ指標を追い続けている ❏ KRの達成率が個人の評価に強く紐づいている →KR達成にフォーカスするインセンティブになってしまう ❏ その目標がなければ採用されない施策が採用される →利用率を上げるためにプッシュ通知を毎日送る、など現場のOKRで以下に当てはまるものがあるなら、このスライドで紹介した取り組みを試してみてください

Slide 117

Slide 117 text

まとめ

Slide 118

Slide 118 text

Slide 119

Slide 119 text

Slide 120

Slide 120 text

Slide 121

Slide 121 text

Slide 122

Slide 122 text

Slide 123

Slide 123 text

© KAKEHASHI Inc. 測りすぎてないか？ ❏ OKRの進捗を確認するときにKRの話だけしている ❏ KRの達成率を上げる施策の副作用は考慮から外している ❏ 現状の数値からわかる保守的な意思決定をしている ❏ 年間を通じてKRを更新せず同じ指標を追い続けている ❏ KRの達成率が個人の評価に強く紐づいている →KR達成にフォーカスするインセンティブになってしまう ❏ その目標がなければ採用されない施策が採用される →利用率を上げるためにプッシュ通知を毎日送る、など「測りすぎ」チェックリストで現状把握してみましょう