局所最適は悪ではない。壊れているのは指標です。量と質を同時に見る先行指標の設計

2026/10/23に、pmconf 2026で発表した立花の資料になります。

Transcript

1. 局所最適は悪ではない。 壊れているのは指標です。 量と質を同時に見る先行指標の設計 株式会社リクルート 立花 優也 pmconf 2026 福岡｜2026.10.23
2. 立花 優也 住まい領域プロダクトデザイン1部 部長 プロダクトマネージャー 『SUUMO』のプロダクト戦略・組織戦略をリード し、事業全体の成長と、各プロダクトチームの日々 の判断をつなぐ役割を担っています。 【経歴】 東京大学大学院にてシステム量子工学を専攻。 NTTドコモでのAI R&D・複数の大規模サービスの事業開発を経て 現職。現在は『SUUMO』の中長期プロダクト戦略立案を主導し、 Web・アプリ・リアル接点を統合したUX戦略を推進する。 「システム思考」を武器にビジネスの多目的最適化問題を解くことを 信条とし、「論理と情緒」を統合した意思決定の実現に向け、AI活用 やデータ基盤の刷新、組織の構造変革をリードしている。 2
3. Agenda テーマ 各チームのKPI改善を、事業全体の成長にどうつなげるか？ 課題 各チームは真剣にKPIを改善している。 それでも、事業全体の成長につながるか説明しきれない。 持ち帰り 質の先行指標を設計し、活用するための要件と手順。 1 KPIとビジネス成果がずれる構造 2 質の先行指標に求める3要件 3 質の先行指標を定義する3つの手順 4 施策評価と、計測指標の見直し 3
4. 1章 KPIとビジネス成果がずれる構造 4
5. 1 KPIとビジネス成果がずれる構造 『SUUMO』のお客様は、ユーザーとクライアントの二者 ユーザーからクライアントへの問い合わせの数を、KPIでは「反響数」と呼んでいます。 ユーザー 住まいを探す人 『SUUMO』 住まい探しのサービス クライアント 不動産会社 『SUUMO』はユーザーとクライアントの双方に、価値を届けます。 5
6. 1 KPIとビジネス成果がずれる構造 反響数の改善を、ビジネス成果につなげるには？ 量のKPIの先にある、二つのビジネス成果とのつながりを図にしています。 量のKPI ？ 反響数 実際に伸びていた クライアントの ビジネス成果 『SUUMO』の ビジネス成果 来場・成約など 自社の事業成長 本発表で扱う接続 提供価値への評価 継続利用・投資 この接続を、日々の施策で評価するための指標を設計します。 ※接続の考え方を示すイメージ図です。自社の業績推移や、因果関係を実証した図ではありません。 ※本登壇では説明のためクライアントのビジネス成果を例としていますが、自社のビジネス成果へつなげる場合も同様の考え方 で設計できます。 6
7. 1 KPIとビジネス成果がずれる構造 「事業全体を見てほしい」だけでは、つながりません 指標を設計する側と各プロダクトチームでは、見ているスケールとスピードが違います。 指標を設計する側 各プロダクトチーム 事業全体のビジネス成果 担当領域のプロダクトKPI マクロな視点と数か月単位の評価 ミクロな視点と日々の改善 スケールとスピードが違う二つの判断を、先行指標でつなぎます。 7
8. 直したのはチームの姿勢ではなく、 測る対象でした。 量のKPIに質の先行指標を加え、 各チームが、両方を日々の施策評価に使えるようにしました。 求める質：提供したい価値を、ユーザーの体験で実現したい状態として言葉にしたもの 質の先行指標：その状態をどれだけ実現できているかを、結果指標より早く評価する指標 8
9. 1 KPIとビジネス成果がずれる構造 局所最適の追求そのものは悪ではありません 担当領域に集中し、素早く検証・改善できることは、役割を分ける強みです。 量のKPIだけに 集中して改善 質の変化を 見落としやすい 全体の質を都度 確認し改善 質を都度、定義し直 す分だけ、遅くなる 担当KPIの 改善に集中 定義済の量と質を合わ せて指標で施策を評価 質を評価する 指標がない 質も評価できる 指標を設計 速さと質を両立する 負担が各チームに委ねら れる 全体との接続を検証する 構造を設計できる 全体の価値につながる指標を設計し、検証するのは、設計する側の責任です。 ※グッドハートの法則〔本発表での要約〕：指標が達成目標になると、その数値を改善する行動が優先され、本来計測したかった価値 を示す指標として機能しにくくなることがある、という法則です。 9
10. 1 KPIとビジネス成果がずれる構造 KPIとビジネス成果のずれは、構造の問題 各施策がビジネス成果につながったかを、直接確かめようとすると2つの難しさがあります。 見分けにくさ 遅さ 全体のビジネス成果だけでは、 どの施策が効いたかを 見分けにくい プロダクトKPIを確認できてか ら、ビジネス成果を確認できるま でに時間差がある 10
11. 1 KPIとビジネス成果がずれる構造 来場・成約は、問い合わせの後に時間差で確認できる結果指標です 検索から成約までの流れと、『SUUMO』上のログで計測できる範囲です。 『SUUMO』上の行動 検索・比較 問い合わせ 『SUUMO』の外でのやり取り 連絡・やり取り 量のKPI：反響数 来場・内見 成約・契約 結果指標：来場・成約など 行動ログだけでは直接観測できない 来場・成約を確認するまで、数週間から数か月 結果指標の確認を待つだけでは、日々の施策評価に時間がかかります。 ※発表のために簡略化しています。量のKPIも細分化して計測しています。 11
12. 2章 量の隣に置く、質の先行指標の3要件 12
13. 2 量の隣に置く、質の先行指標の3要件 質の先行指標に求める要件は、3つ 質の先行指標とは、求める質をどれだけ実現できているかを、結果指標より早く評価する指標です。 1 2 3 結果指標より 早く動くこと 量のKPIと同じ 改善サイクルで 評価できること 求める質を捉える 根拠があること 来場・成約などの結果指標が 確認できる前に、施策を評価 チームが日々の施策評価で、 量と質を合わせて判断 結果指標との関係と、 観測した行動の意味を確認 1と2だけなら、反響数でも満たせます。だから3を確かめます。 13
14. 2 量の隣に置く、質の先行指標の3要件 要件 1 / 3 ① 結果指標より早く動くこと 結果指標の確定を待たずに、施策を評価するための要件です。 施策を実施 質の先行指標を評価 結果指標を確認 来場・成約など 数週間から数か月 他事業での例：SaaS 継続利用を支援する施策を、契約更新を待たずに、利用状況の変化から評価 結果指標の確定を待たずに、その施策を評価できます。 ※質の先行指標による評価は、後から確認する結果指標と突き合わせ、必要に応じて見直します。 14
15. 2 量の隣に置く、質の先行指標の3要件 要件 2 / 3 ② 量のKPIと同じ改善サイクルで評価できること 同じ施策の振り返りと改善判断で、量と質を一緒に見られることを確かめます。 量のKPI 質の先行指標 施策を評価し、 改善に使う 日々の振り返りで、量と質を合わせて評価し、改善に使えるようにします。 ※量は量、質は質で、別々に判断すると、質は量の改善を抑止する圧力になってしまうことがあります。 15
16. 2 量の隣に置く、質の先行指標の3要件 要件 3 / 3 ③ 求める質を捉える根拠があること 結果指標との関係と、観測した行動の意味。二つの根拠を確かめます。 結果指標との関係 観測した行動の意味 来場・成約などの結果指標と、 候補の指標の関係を 定量データで確認する どのような目的・状態を示すか を、定量データと定性情報から 説明できる 落とし穴：結果指標と相関するだけで、質の先行指標として採用する 相関だけで採らず、行動を増やしても同じ意味を持つかを確かめます。 16
17. 3章 質の先行指標を定義する3つの手順 17
18. 3 質の先行指標を定義する3つの手順 質を言葉にしてから、行動、データへ 1. 求める質を、言葉で定義する 2. 結果指標との関係から、行動の候補を選ぶ 3. データで定義し、求める質を捉えられるか検証する 言葉から始めるのは、取れるデータに合わせて、 求める質を決めてしまわないためです。 18
19. 3 質の先行指標を定義する3つの手順 手順 1 / 3 1. 求める質を、言葉で定義する 実運用では具体化していますが、本発表では抽象化して事例を紹介します。 求める質 納得感のある 問い合わせ 何のために問い合わせるかが決まっ ていて、その目的に合った方法で問 い合わせている状態 観測する行動 その先の成果 ユーザー 求める質を 示す行動データ 納得できる住まい探し クライアント ビジネス成果 求める質と、観測する行動と、その先の成果は、分けて扱います。 ※ 社内で施策を判断するための物差しです。問い合わせを選別するものではありません 19
20. 3 質の先行指標を定義する3つの手順 手順 2 / 3 2. 結果指標との関係から、行動の候補を選ぶ 候補を選ぶときに起きやすい、二つの取り違えです。 量の増加を、質の改善とみなす 一つの行動から、状態を決める 量が増えただけの変化を、 質が高まったと解釈する 異なる状態でも起きる行動を、 単独で質の高さとみなす 量の増減や別の状態を、取り違えていないかを確かめます。 20
21. 3 質の先行指標を定義する3つの手順 手順2の実例 同じ検索行動でも、問い合わせの目的は違うことがあります 手順2で検討した候補の一つを、採らなかった理由とともに示します。 着目した行動：検索条件が固まっている 問い合わせる目的を示す手がかりになるか？ 検討が深まり、 自分の検索条件が定まっている 検討を始めたばかりで、 まずは知っている駅やエリアに 条件を固定して探している あり得る目的の例：実物を見学して確かめたい あり得る目的の例：まず詳しい情報を知りたい 目的に合った問い合わせかを判断できず、この単純な形では採りませんでした。 ※目的は説明用の例です。検討段階で一意には決まらず、目的の違いは質の高低ではありません。 21
22. 3 質の先行指標を定義する3つの手順 手順 3 / 3 3. データで定義し、求める質を捉えられるか検証する 選んだ行動をデータで定義し、求める質を捉えられるかを確かめます。 既存ログで定義可能 選んだ行動を、 データで定義する 候補の指標で、 求める質を捉えられるか検証する 既存ログで定義不可 ログを仕込む、オフラインの 接点で取る。取得の仕組みか ら設計する 質を捉えられなければ、手順2へ戻り、候補を選び直す 計測できるデータに合わせて、求める質の定義を曲げることはしません。 22
23. 4章 質の先行指標で判断し、学び続ける 23
24. 4 質の先行指標で判断し、学び続ける 量が伸びただけでは、成功と決めません 質の先行指標を日々の判断に使い、守る質と判断条件を、施策の前に決めます。 質の先行指標の役割 確かめること 改善の目標として追う 質のKPI 期待した方向に、求める質が変わったか 悪化を防ぐために見る 質のガードレール 求める質が損なわれていないか 必要に応じて、自由記述・インタビュー・窓口の声などの定性情報も使います。 質を評価できる指標を先に設計し、各チームが改善に集中できるようにします。 24
25. 4 質の先行指標で判断し、学び続ける 動かないときは、施策の仮説と計測の仮説を分けて点検します 改善を期待した指標が動かなかったら、計測の正しさ・観測期間・データ量を確認します。 施策の仮説 計測の仮説 この施策で、 求める質を実現できたか その変化を、 質の先行指標で捉えられたか 計測を疑う場合も、何を確認すれば確かめられるかを明示します。 「質の先行指標が動かない」と「求める質を実現できていない」は別です。 25
26. 4 質の先行指標で判断し、学び続ける 判断基準は、施策の前に決めます 何を検証し、どの条件で判断するかを先に決め、次の仮説検証へつなげます。 判断基準を後から決める 判断基準を事前に決める 計測した後に、 成功・撤退の基準を議論する 何を確かめ、どの条件で 判断するかを決めておく 都合のよい解釈が入りやすい 基準と検証内容を照合できる 事前に決めた基準に沿って、撤退させた施策があります。 計測の見直しと、当初の施策を成功扱いすることは分けます。 何が分かり、何を見直すべきかを、次の仮説検証へ返せます。 26
27. 4 質の先行指標で判断し、学び続ける 仮説検証の学びを、次の改善へ 計測して分かったことを、施策の仮説と計測指標の見直しに返します。 計測・検証 する 仮説を立てる 施策を試す 何が分かったか 何を確かめ直すか 同じ前提のまま繰り返さず、 更新した理解を持って進む 仮説と指標を 更新 次の検証へ 新しい体験と、その提供価値の確かめ方を、一緒に設計します。 27
28. まとめ 28
29. 何を測るかを決めることは、 何を価値と呼ぶかを決めることです。 29
30. まとめ 本日の持ち帰り：価値とセットで、指標と測り方を設計し、見直し続ける 本日の流れをそのまま持ち帰れるように、章ごとに要約しています。 2章｜設計する 3章｜定義する 4章｜実践する 質の先行指標の3要件 質の先行指標を定義する3つの手順 日々の判断と、指標の見直し ① 結果指標より早く動くこと ② 量のKPIと同じ改善サイクルで評価でき ること ③ 求める質を捉える根拠があること 1. 求める質を、言葉で定義する 2. 結果指標との関係から、行動の候補を選 ぶ 3. データで定義し、求める質を捉えられる か検証する ・役割（質のKPI／質のガードレール）と 判断条件を、施策の前に決める ・施策の仮説と計測の仮説を、分けて点検 する ・結果指標と突き合わせ、指標も見直し続 ける 【問い】ご自身のチームのKPIは、いまの価値を測れているでしょうか？ 30
31. プロダクトマネジメントは、もっと面白い。 『SUUMO』はいま、住まい探しの体験向上を目指し、 AIとテクノロジーを活用した非連続なチャレンジに取り組んでいます。 『SUUMO』のプロダクトマネジメントは、 もっともっと面白くなっていく。 31
32. Thank You ! 32
33. Appendix｜質疑・配布用の補足 Appendix｜質疑・配布用の補足 A1 本発表での用語と評価対象 A2 先行評価と結果指標を突き合わせる A3 事前の判断基準と、計測の見直しを分ける A4 質の先行指標を設計する記入シート A5 マッチング事業の変遷〔公開決算資料〕 A6 他事業への当てはめ例 A7 本発表で触れた概念の出典 33
34. Appendix｜質疑・配布用の補足 A1 本発表での用語と評価対象 量のKPI 問い合わせの量を評価する指標。事例では「反響数」 クライアントのビジネス成果 不動産会社の来場・成約など 自社のビジネス成果 『SUUMO』の事業成長。クライアントのビジネス成果と区別 結果指標 本編では、来場・成約などのビジネス成果を確認する指標 求める質 提供したい価値を、対象の体験で実現したい状態として具体化 質の先行指標 求める質をどれだけ実現できているかを、 結果指標より早く評価する指標 ※本発表内の使い分けです。KPIと結果指標が、一般に排他的な分類という意味ではありません。 34
35. Appendix｜質疑・配布用の補足 A2 先行評価と結果指標を突き合わせる 評価する時点と、結果指標を確認する時点を分けて設計します 1 日々の施策評価 2 後からの照合 量のKPI ＋ 質の先行指標 結果指標 ＋ 定性情報 確認する観点（一般化した整理） 対象・観測期間を 比較できるか 結果指標との関係が 保たれているか 観測した行動の意味が 定性情報と整合するか ずれがあれば、施策の仮説と計測の仮説を分けて検証します。 本編の実運用：新しい施策・影響の大きい施策・全体で照合。相関だけで因果関係を確定しません。 35
36. Appendix｜質疑・配布用の補足 A3 事前の判断基準と、計測の見直しを分ける 本編の考え方を、判断の流れとして一般化しています 施策を始める前 評価できる場合 計測に疑いがある場合 何を検証するか 何を計測するか どの条件で判断するか 事前の基準と 検証内容を照合し、 継続・改善・撤退を判断 計測・観測条件を確認 再検証する内容を明示 必要なら指標を見直す 指標を変えて、当初の施策を成功扱いにはしません ガードレールは「悪化を防ぐために見る役割」です。 変化を検出できないことを、質が保たれた証拠として即断しません。 36
37. Appendix｜質疑・配布用の補足 A4 質の先行指標を設計する記入シート 一つの施策と量のKPIを選び、未確認の点も残したまま書き始めます 1.提供したい価値 誰の、どのような体験を改善したいか 2.求める質 その体験で実現したい状態は何か 3.観測する行動 候補は何か。別の状態でも起きないか 4.データと取得方法 何を、どの接点で、いつ取得・計測するか 5.評価・判断の条件 量のKPIとどう評価し、どの条件で判断するか 6.結果指標との照合 何と、いつ、どの範囲で突き合わせるか ※自チームで使うための一般化したシートです。『SUUMO』の社内帳票ではありません。 37
38. Appendix｜質疑・配布用の補足 A5 マッチング事業の変遷〔公開決算資料〕 出典：リクルートホールディングス 2026年3月期 第3四半期決算説明 https://recruit-holdings.com/ja/ir/library/upload/recruit_202603Q3_presentation_ jp/ 38
39. Appendix｜質疑・配布用の補足 A6 他事業への当てはめ例：候補の取り違えを見つけ、検証し直す 架空のレポート作成SaaSで、手順1〜3をたどった説明例です。特定の企業・製品ではありません。 1 提供したい価値 2 求める質 3 行動の候補 4 別の解釈 5 確認方法 業務レポートを、短時 間で作れること 作ったレポートが、そ のまま業務で使われて いる状態 レポートの出力回数 （結果指標＝契約更新 と相関が見える） 不備による作り直しで も、出力回数は増える （量の別名／別の状 態） 出力後の修正の有無、 再出力までの間隔、利 用者インタビューで意 味を確かめる 出力回数だけでは、業務で使われたかを判断できません。実際の利用を確認 する情報も含めて候補を見直し、検証します。 ※出力回数を採る／採らないを一般に決める例ではありません。候補を見つけてから、何を確認するかを示すための説明例です。記 入はA4のシートを使います。 39
40. Appendix｜質疑・配布用の補足 A7 本発表で触れた概念の出典 グッドハートの法則（本発表での要約の元） Goodhart, C. A. E. (1975). オーストラリア準備銀行の会議（シドニー）での講演論文。Papers in Monetary Economics, Vol. I, Reserve Bank of Australia. 再録：Goodhart, C. A. E. (1984). Monetary Theory and Practice: The UK Experience. Macmillan. 原文の趣旨：観測された統計的な規則性は、管理の目的で圧力をかけると、崩れる傾向があります。 「指標が目標になると、よい指標ではなくなる」という言い方の出典 Strathern, M. (1997). 'Improving ratings': audit in the British University system. European Review, 5(3), 305–321 （該当箇所はp.308）。 Goodhart本人の言葉ではなく、Strathernによる要約。本発表のP9の要約も、この二つの趣旨を本発表の文脈に当てはめた ものです。 ※1975年の論文名は資料によって表記が分かれるため、年と会議の記載にとどめています。 40