Share
Embed
OKRと「測りすぎ」 〜なりたい姿を、「測りすぎ」ないようにしながらどう追いかけるか〜/OKR and the tyranny of metrics
Transcript
126 slides
-
小田中 育生(おだなか いくお) 株式会社ナビタイムジャパンでVP of Engineeringを務め、 2023年10月にエンジニアリングマネージャーとして株式会社カケ ハシにジョイン。 薬局DXを支えるVertical SaaS「Musubi」をコアプロダクトに位置
づけ、「しなやかな医療体験」を実現するべく新規事業のプロダ クト開発にコミットしている。 著書: • いちばんやさしいアジャイル開発の教本 • アジャイルチームによる目標づくりガイドブック ブログ: • dora_e_m|note -
© KAKEHASHI Inc. Overview OKRの基本を おさえる KRは更新する ものだと知る OKRに潜む 「測りすぎ」の
罠を知る 「測りすぎ」な いOKRとの 付き合い方を知 る 「測りすぎ」を 検査する 方法を知る -
© KAKEHASHI Inc. Overview OKRの基本を おさえる KRは更新する ものだと知る OKRに潜む 「測りすぎ」の
罠を知る 「測りすぎ」な いOKRとの 付き合い方を知 る 「測りすぎ」を 検査する 方法を知る -
© KAKEHASHI Inc. OKR Objectives(目標)とKey Results(主要成果) Key Results • 何を目指したいのか?と
いう問いに対する答え • 気後れするくらいの高い レベル • 3-5個に絞る • 目標までの到達度を測定 する指標 • 定量的で計測可能なもの • 1つのObjectiveに対し3個 ほど設定 Objectives -
© KAKEHASHI Inc. OKRの例 O-1: 顧客にワォ!を届ける高速 な仮説検証サイクルの実現 O-2: 目指したいプロダクト開発 チームの日本代表になる
KR-1-1: 顧客のコンテンツ利用率を 週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロ イ回数 KR-1-3: チームのエンゲージメント スコアが90以上 KR-2-1: tech blogによる発信を 年間24件以上 KR-2-2: 外部メディア経由の発信を 年間10件以上 ※顧客にワォ!が届いている は顧客満足度が高い状態を示す -
© KAKEHASHI Inc. 大切なのはObjectivesにコミットすること KRはOの到達に向かっていることを示すだろう、という仮説 状況に合わせ見直し、更新していく Key Results • 何を目指したいのか?と
いう問いに対する答え • 気後れするくらいの高い レベル • 3-5個に絞る • 目標までの到達度を測定 する指標 • 定量的で計測可能なもの • 1つのObjectiveに対し3個 ほど設定 Objectives -
© KAKEHASHI Inc. CFR OKRを組織に浸透させる循環装置 Conversation Recognition Feedback 対話する フィードバックする
承認・称賛する ジョン・ドーア(2018) Measure What Matters 伝説のベンチャー投資家がGoogleに教 えた成功手法 OKR 日本経済新聞社 第15章より引用 パフォーマンス向上を目的に、 マネジャーとコントリビュー ターのあいだで行われる真摯で 深みのある意見交換。 プロセスを評価し、将来の改善 につなげるための、同僚との双 方向あるいはネットワーク型の コミュニケーション。 大小さまざまな貢献に対して、 しかるべき個人に感謝を伝え る。 -
© KAKEHASHI Inc. 先の見えない道のりをスクラムで突き進む ①スプリントで生み出す価値、 検証したい仮説を明確にする ②どうやって価値を生み出すか 検討し実行する ③毎日、検査と適応を繰り返 しながら価値創出を目指す
④生み出した価値を検査する ⑤スプリントで得た学びに適応し 新たな仮説を得る 外側のループ weekly 内側のループ daily OKRが機能するのに、スクラムというフレームワークが役に立つ -
© KAKEHASHI Inc. OKRがスクラムチームの灯台になる スクラムチームが向かう先をOKRが示してくれる O KR KR KR プロダクト
バックログ インクリメント スプリント バックログ -
© KAKEHASHI Inc. Overview OKRの基本を おさえる KRは更新する ものだと知る OKRに潜む 「測りすぎ」の
罠を知る 「測りすぎ」な いOKRとの 付き合い方を知 る 「測りすぎ」を 検査する 方法を知る -
© KAKEHASHI Inc. KR100%は必ずしもOの達成を意味しない KR-1-1: 顧客のコンテンツ利用率を 週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロ イ回数
KR-1-3: チームのエンゲージメント スコアが90以上 O-1: 顧客にワォ!を届ける高速 な仮説検証サイクルの実現 -
© KAKEHASHI Inc. 指標としての妥当性が不足しているケース KR-1-1: 顧客のコンテンツ利用率を 週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロ イ回数
KR-1-3: チームのエンゲージメント スコアが90以上 O-1: 顧客にワォ!を届ける高速 な仮説検証サイクルの実現 コンテンツ利用率が高い=顧客にワォ!が届いてる(満足度が 高い)という仮説だったが、いざ向上させてみたら因果関係が ないと判明 -
© KAKEHASHI Inc. 副作用があるケース KR-1-1: 顧客のコンテンツ利用率を 週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロ イ回数
KR-1-3: チームのエンゲージメント スコアが90以上 O-1: 顧客にワォ!を届ける高速 な仮説検証サイクルの実現 デプロイ数のみに着目することで変更障害率が上がってしまう などの副作用が観測される -
© KAKEHASHI Inc. Oとの結びつきが弱いケース KR-1-1: 顧客のコンテンツ利用率を 週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロ イ回数
KR-1-3: チームのエンゲージメント スコアが90以上 O-1: 顧客にワォ!を届ける高速 な仮説検証サイクルの実現 チームとしては大切にしているエンゲージメントスコアだが、 顧客にワォを届けること、高速な仮説検証サイクルを実現する こととの関連がいまいち説明できない -
© KAKEHASHI Inc. ユーチューブはKRを視聴回数から視聴時間に変えた ジョン・ドーア(2018) Measure What Matters 伝説のベンチャー投資家がGoogleに教 えた成功手法 OKR
日本経済新聞社 第14章より引用 “これはユーチューブの視聴回数を大幅に増やす 可能性を秘めていた。しかし私たちが本当に増や したいのは、視聴回数だろうか? 〜中略〜 ユーチューブにとって最も重要なのは、視聴回数 やクリック数ではなかった。視聴時間である。” -
© KAKEHASHI Inc. KRにフォーカスしつつ必要に応じて更新 O KR KR KR プロダクト バックログ
インクリメント スプリント バックログ -
© KAKEHASHI Inc. Overview OKRの基本を おさえる KRは更新する ものだと知る OKRに潜む 「測りすぎ」の
罠を知る 「測りすぎ」な いOKRとの 付き合い方を知 る 「測りすぎ」を 検査する 方法を知る -
© KAKEHASHI Inc. 「測りすぎ」への警鐘 ジェリー・Z・ミュラー (著), 松本 裕 (翻訳) 測りすぎ――なぜパフォーマンス評価は失敗す
るのか? みすず書房 数値で計測するということ。 状態を正しく把握するために有用。 けれど、数値自体を目標とすると、有害さ を発揮してしまいます。 書籍「測りすぎ」では、重大な犯罪の発生 率を抑えるために本来重犯罪であるべき事 案が軽犯罪扱いされる、といった実際にあ る弊害について紹介されています。 -
© KAKEHASHI Inc. Key Resultsは定量的で計測可能なもの Objectives(目標)とKey Results(主要成果) Key Results •
何を目指したいのか?と いう問いに対する答え • 気後れするくらいの高い レベル • 3-5個に絞る • 目標までの到達度を測定 する指標 • 定量的で計測可能なもの • 1つのObjectiveに対し3個 ほど設定 Objectives -
© KAKEHASHI Inc. 直接追いづらいOと追いやすいKR O-1: 顧客にワォ!を届ける高速 な仮説検証サイクルの実現 O-2: 目指したいプロダクト開発 チームの日本代表になる
KR-1-1: 顧客のコンテンツ利用率を 週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロ イ回数 KR-1-3: チームのエンゲージメント スコアが90以上 KR-2-1: tech blogによる発信を 年間24件以上 KR-2-2: 外部メディア経由の発信を 年間10件以上 -
© KAKEHASHI Inc. KR KR KR プロダクト バックログ インクリメント スプリント
バックログ 日々の活動はKRにフォーカス -
© KAKEHASHI Inc. KR1-1がOに寄与しない指標だとする KR-1-1: 顧客のコンテンツ利用率を 週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロ イ回数
KR-1-3: チームのエンゲージメント スコアが90以上 O-1: 顧客にワォ!を届ける高速 な仮説検証サイクルの実現 コンテンツ利用率が高い=顧客にワォ!が届いてる(満足度が 高い)という仮説だったが、いざ向上させてみたら因果関係が ないと判明 -
© KAKEHASHI Inc. 全部100%達成した!けれども… KR-1-1: 顧客のコンテンツ利用率を 週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロ イ回数
KR-1-3: チームのエンゲージメント スコアが90以上 100%! 100%! 100%! 解約率は例年と変わらず… 「ワォ!が届いてる」とは いえないですね -
© KAKEHASHI Inc. これらはバニティメトリクスか? KR-1-1: 顧客のコンテンツ利用率を 週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロ イ回数
KR-1-3: チームのエンゲージメント スコアが90以上 -
© KAKEHASHI Inc. 結局は、Oに効くかどうか KR-1-1: 顧客のコンテンツ利用率を 週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロ イ回数
KR-1-3: チームのエンゲージメント スコアが90以上 O-1: 顧客にワォ!を届ける高速 な仮説検証サイクルの実現 顧客のワォ!につながっていれば、仮説検証サイクル がまわっていれば、これらは有効な指標。 そうでなければバニティメトリクス。 -
© KAKEHASHI Inc. KRの達成自体が目標になると何が起こる? KR-1-1: 顧客のコンテンツ利用率を 週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロ イ回数
KR-1-3: チームのエンゲージメント スコアが90以上 -
© KAKEHASHI Inc. 手段を選ばずKRの数値を上げて、Oはどうなる? KR-1-1: 顧客のコンテンツ利用率を 週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロ イ回数
KR-1-3: チームのエンゲージメント スコアが90以上 O-1: 顧客にワォ!を届ける高速 な仮説検証サイクルの実現 なりたい姿のためではなく設定された数値を達成する ために行動してしまっては、Oには近づけない -
© KAKEHASHI Inc. O-1: 顧客にワォ!を届ける高速 な仮説検証サイクルの実現 O-2: 目指したいプロダクト開発 チームの日本代表になる KR-1-1:
顧客のコンテンツ利用率を 週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロ イ回数 KR-1-3: チームのエンゲージメント スコアが90以上 KR-2-1: tech blogによる発信を 年間24件以上 KR-2-2: 外部メディア経由の発信を 年間10件以上 だからKRを経由して目標と向き合っている -
© KAKEHASHI Inc. リスクのある取り組みは止めよう、となる KR達 成 状 況 経 過
時 間 現状は可視化されているが未来の展望が不明なとき は、リスク回避の判断に倒れやすい -
© KAKEHASHI Inc. Key Resultsを計測すること自体は良い事 Objectives(目標)とKey Results(主要成果) Key Results •
何を目指したいのか?と いう問いに対する答え • 気後れするくらいの高い レベル • 3-5個に絞る • 目標までの到達度を測定 する指標 • 定量的で計測可能なもの • 1つのObjectiveに対し3個 ほど設定 Objectives -
© KAKEHASHI Inc. 「測りすぎ」にならず、Oと向き合うには Objectives(目標)とKey Results(主要成果) Key Results • 何を目指したいのか?と
いう問いに対する答え • 気後れするくらいの高い レベル • 3-5個に絞る • 目標までの到達度を測定 する指標 • 定量的で計測可能なもの • 1つのObjectiveに対し3個 ほど設定 Objectives -
© KAKEHASHI Inc. Overview OKRの基本を おさえる KRは更新する ものだと知る OKRに潜む 「測りすぎ」の
罠を知る 「測りすぎ」な いOKRとの 付き合い方を知 る 「測りすぎ」を 検査する 方法を知る -
© KAKEHASHI Inc. OKRの基礎知識を身につける 本を読んだり… ジョン・ドーア (著), 土方奈美 (翻訳) メジャー・ホワット・マターズ 伝説のベンチャー投資家
がGoogleに教えた成功手法OKR 日本経済新聞出版社 スライドを見たり… https://speakerdeck.com/navitimejapan/okrhaturidehanai -
© KAKEHASHI Inc. こういうConversationが大切 O-1: 顧客にワォ!を届ける高速 な仮説検証サイクルの実現 O-2: 目指したいプロダクト開発 チームの日本代表になる
KR-1-1: 顧客のコンテンツ利用率を 週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロ イ回数 KR-1-3: チームのエンゲージメント スコアが90以上 KR-2-1: tech blogによる発信を 年間24件以上 KR-2-2: 外部メディア経由の発信を 年間10件以上 週次50%を目指している 理由が知りたい! コンテンツを利用→プロダ クトを必要としていると考 えると、半数の顧客にとっ て必要なプロダクトになっ ているという仮説。 なるほど、それくらい使っ てくれてたら顧客に 「ワォ!」が届いてる、 っていう想定なのね -
© KAKEHASHI Inc. チームの学びをもとにKRを更新する O KR KR KR プロダクト バックログ
インクリメント スプリント バックログ -
© KAKEHASHI Inc. どんなときに見直すとよいか 見直しのアクション いつ? KRの上方修正 Oの達成にKRが有効で、かつ上積みするほど達成に 近づくと判明した場合 KRの下方修正
よりOの達成に寄与するKRが存在する場合 KRの追加 Oの達成に有効な手段が新たに見つかった場合 KRの削除 そのKRがOの達成に有効でないと判明した場合 Oの変更・追加・削除 戦略的意思決定が行われた場合などに限定される -
© KAKEHASHI Inc. 理解を得やすい見直しのアクション 見直しのアクション いつ? KRの上方修正 Oの達成にKRが有効で、かつ上積みするほど達成に 近づくと判明した場合 KRの下方修正
よりOの達成に寄与するKRが存在する場合 KRの追加 Oの達成に有効な手段が新たに見つかった場合 KRの削除 そのKRがOの達成に有効でないと判明した場合 Oの変更・追加・削除 戦略的意思決定が行われた場合などに限定される -
© KAKEHASHI Inc. 理解が得られにくい見直しのアクション 見直しのアクション いつ? KRの上方修正 Oの達成にKRが有効で、かつ上積みするほど達成に 近づくと判明した場合 KRの下方修正
よりOの達成に寄与するKRが存在する場合 KRの追加 Oの達成に有効な手段が新たに見つかった場合 KRの削除 そのKRがOの達成に有効でないと判明した場合 Oの変更・追加・削除 戦略的意思決定が行われた場合などに限定される -
© KAKEHASHI Inc. エンジニアには、少し先が見えてるかもしれない KR達 成 状 況 経 過
時 間 リファクタした未来 リファクタしない未来 -
© KAKEHASHI Inc. その予測をステークホルダーは知らないかもしれない KR達 成 状 況 経 過
時 間 リファクタした未来 リファクタしない未来 -
© KAKEHASHI Inc. 見込みがわかっていれば、待てる KR達 成 状 況 経 過
時 間 但し、言ったことはやるだろうと信頼してもらってることが前提 -
© KAKEHASHI Inc. Objectivesの達成にこだわり抜きたい Objectives(目標)とKey Results(主要成果) Key Results • 何を目指したいのか?と
いう問いに対する答え • 気後れするくらいの高い レベル • 3-5個に絞る • 目標までの到達度を測定 する指標 • 定量的で計測可能なもの • 1つのObjectiveに対し3個 ほど設定 Objectives -
© KAKEHASHI Inc. Key Resultsに振り回されないためには? Objectives(目標)とKey Results(主要成果) Key Results •
何を目指したいのか?と いう問いに対する答え • 気後れするくらいの高い レベル • 3-5個に絞る • 目標までの到達度を測定 する指標 • 定量的で計測可能なもの • 1つのObjectiveに対し3個 ほど設定 Objectives -
© KAKEHASHI Inc. KRはアップデートされるという認識をもつ O KR KR KR プロダクト バックログ
インクリメント スプリント バックログ -
© KAKEHASHI Inc. Qごとにアップデートしてみたり Q1 Q2 Q3 Q4 O KR1
KR2 KR3 KR1 KR2 KR3 KR4 KR1’ KR3’ KR4 KR1’ KR3’ KR4 -
© KAKEHASHI Inc. KRの生存期間を短くする O-2: 目指したいプロダクト開発 チームの日本代表になる KR-2-1: tech blogによる発信を
年間24件以上 KR-2-2: 外部メディア経由の発信を 年間10件以上 Qごとの件数に変更すれば 強制的に見直しする 機会を得る -
© KAKEHASHI Inc. Oにフォーカスしたチーム運営 O KR KR KR プロダクト バックログ
インクリメント スプリント バックログ -
© KAKEHASHI Inc. KRは、設定はするが高頻度には見ない O-1: 顧客にワォ!を届ける高速 な仮説検証サイクルの実現 KR-1-1: 顧客のコンテンツ利用率を 週次10%から50%に上げる
KR-1-2: 年間100回を超えるデプロ イ回数 KR-1-3: チームのエンゲージメント スコアが90以上 Oを実現するためには?を考えて開発に取り組む -
© KAKEHASHI Inc. 観察はする O-1: 顧客にワォ!を届ける高速 な仮説検証サイクルの実現 観察はしてそこから学び行動するけれど、 「デプロイ数を上げるためには?」というアプ ローチはとらない。今のデプロイ数だと目指した
い仮説検証サイクルのスピードにはまだまだだ ね、という判断にのみ使用 KR-1-1: 顧客のコンテンツ利用率を 週次10%から50%に上げる KR-1-2: 年間100回を超えるデプロ イ回数 KR-1-3: チームのエンゲージメント スコアが90以上 -
© KAKEHASHI Inc. やりかた:観察者を置く インクリメント スプリント バックログ O KR KR
KR チーム 観察者 フィードバック チーム ・O、スプリントに集中 観察者 ・OKR全体を観察 ・フィードバック -
© KAKEHASHI Inc. Q.やっぱりチームでKR見たほうがよくない? O • もちろん、NGではありません • KRを確認したときに、それ自体を目的化 しないチームなら確認することはメリット
のほうが大きいでしょう • ただ、思ったより数値の引力は強いです インクリメント スプリント バックログ KR KR KR チーム -
© KAKEHASHI Inc. 数値がもつ引力 その1 O-2: 目指したいプロダクト開発 チームの日本代表になる KR-2-1: tech
blogによる発信を 年間24件以上 KR-2-2: 外部メディア経由の発信を 年間10件以上 KRに集中するということはKRの積み上げに貢献しない選択肢を 切り捨てることでもある。KR→Oの貢献が確からしいものなら よいが、そうでないなら探索の選択肢はもっておきたい KR-2-3: ???????? -
© KAKEHASHI Inc. 数値がもつ引力 その2 O-2: 目指したいプロダクト開発 チームの日本代表になる KR-2-1: tech
blogによる発信を 年間24件以上 KR-2-2: 外部メディア経由の発信を 年間10件以上 KRとして表現されていないことはスコープ外になる。下記例で いうとtech blog/外部メディア経由発信の件数は考慮している が、その品質や実際に訴求したかについては考慮していない -
© KAKEHASHI Inc. 「意義」を欠損しない仕組みをつくる O-2: 目指したいプロダクト開発 チームの日本代表になる KR-2-1: tech blogによる発信を
年間24件以上 KR-2-2: 外部メディア経由の発信を 年間10件以上 事前: レビューでOに寄与する品質のものであることを担保 事後: 公開一週間でのview数などからOへのインパクトを推定 Oをにらんだ品質担保 Oへのインパクトを踏まえ アップデート -
© KAKEHASHI Inc. Overview OKRの基本を おさえる KRは更新する ものだと知る OKRに潜む 「測りすぎ」の
罠を知る 「測りすぎ」な いOKRとの 付き合い方を知 る 「測りすぎ」を 検査する 方法を知る -
© KAKEHASHI Inc. 測りすぎチェックリスト ❏ OKRの進捗を確認するときにKRの話だけしている ❏ KRの達成率を上げる施策の副作用は考慮から外している ❏ 現状の数値からわかる保守的な意思決定をしている
❏ 年間を通じてKRを更新せず同じ指標を追い続けている ❏ KRの達成率が個人の評価に強く紐づいている →KR達成にフォーカスするインセンティブになってしまう ❏ その目標がなければ採用されない施策が採用される →利用率を上げるためにプッシュ通知を毎日送る、など 現場のOKRで以下に当てはまるものがあるなら、 このスライドで紹介した取り組みを試してみてください -
© KAKEHASHI Inc. OKRがOとKRに分かれている理由 分離していることで、定量的な指標への「測りすぎ」を防げる Key Results • 何を目指したいのか?と いう問いに対する答え
• 気後れするくらいの高い レベル • 3-5個に絞る • 目標までの到達度を測定 する指標 • 定量的で計測可能なもの • 1つのObjectiveに対し3個 ほど設定 Objectives -
© KAKEHASHI Inc. だから、OKRを知ろう 本を読んだり… ジョン・ドーア (著), 土方奈美 (翻訳) メジャー・ホワット・マターズ 伝説のベンチャー投資家
がGoogleに教えた成功手法OKR 日本経済新聞出版社 スライドを見たり… https://speakerdeck.com/navitimejapan/okrhaturidehanai -
© KAKEHASHI Inc. あえてKRを見ないやり方もある インクリメント スプリント バックログ O KR KR
KR チーム 観察者 フィードバック チーム ・O、スプリントに集中 観察者 ・OKR全体を観察 ・フィードバック -
© KAKEHASHI Inc. 測りすぎてないか? ❏ OKRの進捗を確認するときにKRの話だけしている ❏ KRの達成率を上げる施策の副作用は考慮から外している ❏ 現状の数値からわかる保守的な意思決定をしている
❏ 年間を通じてKRを更新せず同じ指標を追い続けている ❏ KRの達成率が個人の評価に強く紐づいている →KR達成にフォーカスするインセンティブになってしまう ❏ その目標がなければ採用されない施策が採用される →利用率を上げるためにプッシュ通知を毎日送る、など 「測りすぎ」チェックリストで現状把握してみましょう