良い仮説を評価する技術

『仮説行動』という書籍で扱っているトピックから、仮説の評価に関する内容を紹介しています。

💡関連スライド
・ 仮説のマップ・ループ・リープ
・ ふわっとした考えを仮説にするまでのステップ
・良い仮説を評価する技術
・行動なしに良い仮説思考はできない

Transcript

1. http://takaumada.com/ Takaaki Umada / 馬田隆明 http://takaumada.com/ 良い仮説を 評価する技術
2. 2 仮説の評価は 門番のようなもの
3. 3 評価します 評価します 次の段階 生成された仮説は 「評価」を通して 次に進めるかどうか判断される
4. 4 評価が上手であれば良い仮説しか通さない 良い仮説 悪い仮説 いい仮説ですね！ 検証に移りましょう 筋が悪いので 練り直してください
5. 5 評価が上手であれば良い仮説しか通さない でも下手だと筋の悪い仮説を通してしまう 悪い仮説 良い仮説 筋の悪い仮説なので 駄目です 筋が良さそうなので 通って良いです しめしめ えっ…
6. 仮説の評価が下手な場合は時間を浪費しがち 仮説の評価が下手な人は時間を無駄に使ってしまいがちです。 6 仮説の評価が下手な人 • 筋の悪い仮説に取り組み、 時間を浪費してしまう • どんな仮説でも検証に回し てしまい、時間を使う • リスクだけを気にして全て の仮説を通さず何もしない • 仮説が小さくまとまる 選んだ仮説がいまいちで成果も出 ないし、変な仮説ばかり検証して 時間を無駄にしてしまう…
7. 仮説の評価が上手だと色々とはかどる 仮説の評価が上手だと、筋の良い仮説を選べるだけではなく、 検証するべき仮説やリスクなども素早く選定できます。 7 仮説の評価が下手な人 • 筋の悪い仮説に取り組み、 時間を浪費してしまう • どんな仮説でも検証に回し てしまい、時間を使う • リスクだけを気にして全て の仮説を通さず何もしない • 仮説が小さくまとまる 仮説の評価がうまい人 • 筋の悪い仮説を思いついて もすぐに捨てられる • 検証に値する仮説だけを検 証のループに回せる • 適切なタイミングで仮説検 証のループを止められる • 良いリスクを取れる 悪い仮説はすぐ捨てられるし、 筋の良い仮説を検証して さらに筋の良い仮説にできる！
8. 8 「評価」はとても大事なのに 多くの人は注意を払わないし 説明（言語化）もできない
9. 9 （例） とある上司と部下の 仮説についてのやりとり
10. 10 前にお願いしていた、売上をもっと増や すための施策の仮説はできた？
11. 11 前にお願いしていた、売上をもっと増や すための施策の仮説はできた？ とりあえず営業部の資料作成を支援して 効率化する施策を実行しようと思います
12. 12 前にお願いしていた、売上をもっと増や すための施策の仮説はできた？ とりあえず営業部の資料作成を支援して 効率化する施策を実行しようと思います うーん、小さくまとまってるし、筋が悪 そうだね。もっと良い仮説はないの？
13. 13 前にお願いしていた、売上をもっと増や すための施策の仮説はできた？ とりあえず営業部の資料作成を支援して 効率化する施策を実行しようと思います うーん、小さくまとまってるし、筋が悪 そうだね。もっと良い仮説はないの？ （もっと良い仮説って言われても…）
14. 14 前にお願いしていた、売上をもっと増や すための施策の仮説はできた？ とりあえず営業部の資料作成を支援して 効率化する施策を実行しようと思います うーん、小さくまとまってるし、筋が悪 そうだね。もっと良い仮説はないの？ （もっと良い仮説って言われても…） どんな仮説が良い仮説なんですか？
15. 15 前にお願いしていた、売上をもっと増や すための施策の仮説はできた？ とりあえず営業部の資料作成を支援して 効率化する施策を実行しようと思います うーん、小さくまとまってるし、筋が悪 そうだね。もっと良い仮説はないの？ （もっと良い仮説って言われても…） どんな仮説が良い仮説なんですか？ 仮説の良し悪しは直感的に分かるよね。 早くもっと良い仮説を持ってきて
16. 16 直感と言われても いったいどうすれば…
17. 仮説の評価がうまくない人の良くあるパターン 仮説の評価がうまくない人にはいくつかのパターンがあります。 これらを乗り越えることで良い評価ができるようになります。 17 仮説の評価軸が 曖昧 優先度の高い 評価軸を見誤る 見えづらい評価 軸を軽視する （機会損失など） 特定の評価軸を 過度に重視する （リスクなど） 評価軸を用いた 測り方が下手 十分性や制約 条件に無頓着 全部「直感」 で済ませる 仮説の潜在的な 可能性を見ない
18. Q. 18 仮説の評価能力を 高めるには？
19. A. 19 経験と技術
20. A. 20 経験と技術 スキル/技術は 言語化することで 身につけやすくなる
21. 仮説を評価する技術をステップに分解する 意識されづらい仮説の評価を言語化すると、以下のようなス テップのように整理できます。 21 評価軸を 設定する 評価軸を使って 仮説を”測る” 異なる評価軸の 評価を統合する 1 2 3
22. 評価軸を設定するところから始める 22 評価軸を 設定する 評価軸を使って 仮説を”測る” 異なる評価軸の 評価を統合する 1 2 3
23. ① 評価軸を設定する 23
24. 評価軸の設定次第で選び方が変わる 私たちは普段から様々な評価軸を用意して評価しています。 重視する評価軸が違えば異なる選択が行われます。 24 コスパは？ 大きさは？ IoT 機能は？ スペックは？ 発売日は？ 価格は？ 冷凍庫の容量は？ 取り出しやすさは？ 色は？ 大きさは？ 安全性は？
25. 25 仮説の種類と状況に応じた 適切な評価軸 を設定できるかが 仮説の評価の巧拙を決める
26. Q. 26 ビジネスの仮説の 標準的な評価軸は？
27. A. 27 基本的には 影響度 と 確信度
28. (1) 仮説の持つ「影響度」を考える 28 影響度 仮説の正誤が事業に与える 影響（インパクト）の大きさ
29. (2) 仮説の「確信度」を考える 仮説が正解だと思う度合いが確信度です。確度や精度とも言わ れます。 29 影響度 確信度 「仮説が正解である自信」 が高い＝確信度が高い
30. 「影響度」と「確信度」を基本にして仮説を評価する この 2 つを仮説の評価軸の基本とすると仮説を評価しやすくな ります。 30 影響度 確信度
31. それぞれの仮説の影響度と確信度を評価してみると… それぞれの仮説を影響度と確信度で評価してプロットすると以 下のような図になります。 31 影響度 確信度 仮説 1 仮説 2 仮説 3 仮説 4 仮説 5 仮説 6
32. 確信度と影響度が高ければ今すぐやるべき 両方が高い仮説は、検証などは必要なく、今すぐ実行しても問 題ない仮説だと言えます。 32 影響度 確信度 仮説 1 仮説 2 仮説 3 仮説 4 仮説 5 仮説 6 検証する必要はなく 今すぐやるべき仮説
33. 確信度と影響度が低い仮説は棄却するべき仮説 両方とも低い仮説は、仮説検証すら必要もなく、すぐに棄却す るべき仮説です。 33 影響度 確信度 仮説 1 仮説 2 仮説 3 仮説 4 仮説 5 仮説 6 検証をする必要も無く 棄却する仮説 （確信度を上げても効果が小さい）
34. 確信度は高いけれど、影響度は小さい仮説 やれば恐らく効果は出るものの、大きな効果が出ない仮説です。 いわゆる「小さくまとまっている仮説」とも言われます。 34 影響度 確信度 仮説 1 仮説 2 仮説 3 仮説 4 仮説 5 仮説 6 小さくまとまっている 仮説 （確実だがやっても効果が小さい）
35. 確信度が低いけれど影響度が高い仮説は検証する 確信度が低いけれど影響度が大きい場合は、仮説検証をして仮 説の正誤を確かめます。 35 影響度 確信度 仮説 1 仮説 2 仮説 3 仮説 4 仮説 5 仮説 6 検証して確信度を 上げるべき仮説
36. 4 象限で仮説を評価して次のアクションを考える 4 象限に分けて仮説を評価することで、次のアクションを考え やすくなります。 36 影響度 確信度 仮説 1 仮説 2 仮説 3 仮説 4 仮説 5 仮説 6 【確信度:低 影響度:高】 検証して確信度を 上げるべき仮説 【確信度:高 影響度:高】 検証する必要はなく 今すぐやるべき仮説 【確信度:高 影響度:低】 小さくまとまっている 仮説 （確実だがやっても効果が小さい） 【確信度:低 影響度:低】 検証をする必要も無く 棄却する仮説 （確信度を上げても効果が小さい）
37. 特に重要なのは左上の象限 左上の象限の仮説を中心に検証することで、事業への影響度の 高い仮説の正誤を判別できます。 37 影響度 確信度 仮説 1 仮説 2 仮説 3 仮説 4 仮説 5 仮説 6 【確信度:低 影響度:高】 検証して確信度を 上げるべき仮説 【確信度:高 影響度:高】 検証する必要はなく 今すぐやるべき仮説 【確信度:高 影響度:低】 小さくまとまっている 仮説 （確実だがやっても効果が小さい） 【確信度:低 影響度:低】 検証をする必要も無く 棄却する仮説 （確信度を上げても効果が小さい）
38. 仮説検証を通して仮説の確信度を上げる 仮説を検証することで、仮説の確信度が変わります。仮説検証 の方法については別のスライドをご覧ください。 38 影響度 確信度 仮説 1 仮説 2 仮説 3 仮説 4 仮説 6 仮説 5 検証のループを回す
39. 39 ただし目的や領域によって 適切な評価軸は変わるので 使い分けていく
40. 様々な種類の評価軸 目的や領域ごとに異なる評価軸が用いられます。適した評価軸 を用いるようにしましょう。独自の評価軸の開発もお勧めです。 RICE: https://www.intercom.com/blog/rice-simple-prioritization-for-product-managers/ FINE: 『医学的研究のデザイン 推論の質を高める系統的アプローチ 第5版』 40 RICE (PdM 向け) Intercom によるプロダク トマネージャ向けの優先順 位付けフレームワーク 狩野モデル 品質と顧客満足度の関係性 を捉えるモデル FINE (論文向け) 臨床研究の論文の評価軸 Reach 影響する範囲 Impact 影響の度合い （影響度） Confidence 自信の度合い （確信度） Effort 労力や工数 当たり前品質 あって当然、 ないと不満 一元的品質 あると嬉しい、 ないと不満 魅力的品質 あると嬉しい、 なくても OK 無関心品質 影響がない 逆品質 あると不満、 ないと嬉しい Feasible 実行可能性 Important 重要性 Novel 新規性 Ethical 倫理性 FINER が使われる 場合もあります
41. 評価軸を整理して評価の準備をする 自分たちの評価軸を意識したうえで、仮説を評価するようにし てみましょう。そうすることで評価が少しうまくなります。 41 確信度 影響度 緊急度 予算 工数 低 高 評価軸 の例
42. 評価軸をある程度合意しておくと良い どういう評価軸で評価をするべきか議論することで、何を持っ て「良い」仮説かどうかを事前にすりあわせることができます。 42 確信度 影響度 緊急度 予算 工数 低 高 どういう評価軸で仮説の良し悪しを判断 すればいいですか？ 今回は確信度、影響度、予算、工数あた りは考えて評価したいな
43. 43 ＋ 汎用的な仮説のチェックリストとして でチェックする バイブス
44. 仮説を VIBES でチェックする 影響度＋確信度に加えて VIBES で Yes/No をチェックすると、 仮説を選びやすくなるはずです（VIBES は「ノリ」などの意味を持つ言葉） 44 Verifiable & Viable 検証可能であり、実行可能か Interesting 興味深いか Bold 大胆か Ethical 倫理的か Sharp シャープ (明晰かつシンプル) か
45. 45 評価軸の選定で 「仮説の良し悪し」 の多くが決まる
46. 46 評価軸の選定で 「仮説の良し悪し」 の多くが決まる 評価軸が一般的だと 他組織と同じ仮説を 高く評価＆選択する
47. 47 独自の仮説を選びたいなら 独自の評価軸を設定する
48. ② 仮説を測る 48
49. 仮説の評価のステップ 意識されづらい仮説の評価を言語化すると、以下のようなス テップで評価されています。 49 評価軸を 設定する 評価軸を使って 仮説を”測る” 異なる評価軸の 評価を統合する 1 2 3
50. 用意した評価軸で作った仮説を評価する 1つの仮説に対して、用意した評価軸で仮説を評価します（数値 化するべき場合とそうでない場合があります） 50 低 高 確信度 影響度 緊急度 予算 工数
51. 程度の評価も難しいので注意 ただし測るのは難しく、評価自体も仮説であることが多いです。 またチームでの合意も難しいことには注意してください。 51 低 高 確信度 影響度 緊急度 予算 工数 チームでの工数の見積もり方法は 『プランニングポーカー』 などの手法もあります 影響度等の評価には 最後にリーダーによる判断が 求められることも多いです
52. 程度の上限と下限に気をつける 「どの程度で十分か」「絶対に超えないといけないか」は場合 によって異なるので注意してください。 52 予算の上限があるため お金がかかる仮説は NG 10 倍以上の性能がないと競合に勝てないため 一定以上の影響度が必要 低 高 確信度 影響度 緊急度 予算 工数
53. 程度の十分さをすりあわせる 仮説の良し悪しを判断するときにも、こうした程度の問題を事 前にすりあわせておくことで、評価しやすくなります。 53 低 高 確信度 影響度 緊急度 予算 工数 最低限どの程度の影響度が欲しいです か？ 売上が 1 億円以上伸びる施策を、2000 万円以内の予算でやってほしいかな
54. 駄目な仮説のパターンを知っておく あまり良い仮説にならないパターンを知っておくと、評価の時 間を削減できます。 54 駄目な仮説になりがち • 一般的すぎる（他の仮説でも同じ ことが言える） • 抽象的すぎる • シンプルすぎる 注意するべき仮説 • 感情面が含まれる（不安、使い やすい、など） • 極論 • 頻繁に見かける
55. 評価軸をうまく使うにも「慣れ」が必要 評価軸があったとしても、その評価軸をうまく使えるようにな るためにはある程度の慣れが必要です。 55 Feasible 実行可能性 Important 重要性 Novel 新規性 Ethical 倫理性 自分の研究の新規性の程度は 既存の研究を広く知ってないと 判断できないのでは？ Reach 影響する範囲 Impact 影響の度合い Confidence 自信の度合い Effort 労力や工数 特定の施策（仮説）に どれぐらいの工数がかかるかは ある程度経験がないと 分からないのでは？ RICE の場合 FINE の場合
56. 56 評価は訓練でうまくなる 結果からフィードバックを得て 評価の技術を磨いていく
57. (3) 評価軸の統合 57
58. 仮説の評価のステップ 意識されづらい仮説の評価を言語化すると、以下のようなス テップで評価されています。 58 評価軸を 設定する 評価軸を使って 仮説を”測る” 異なる評価軸の 評価を統合する 1 2 3
59. 複数の評価軸を総合的に判断する 仮説の各評価軸での評価を見ながら、「どの仮説が最も優れて いるか」を判断し、検証や決断に向かう必要があります。 59 仮説 A 仮説 B 仮説 C 全部の評価軸で良し悪しが異なる場合 どの仮説が一番良い？
60. 評価軸に重み付けする 各評価軸の重み付けをしながら、最終的に複数の仮説の中で優 れた仮説を選びます（もしくは新しく作り直します） 60 確信度 影響度 緊急度 予算 工数 低 高 × 5 × 2 × 1 × 1 × 2 何を重視するかに 組織の色が出やすい
61. 評価軸の重み付けをある程度言語化する 各評価軸の重み付けは状況によって変わることもあります。ど ういった評価軸を重視するかを聞くのも一案です。 （ただし重み付けは言語化が難しい場合も多いので注意しましょう） 61 確信度 影響度 緊急度 予算 工数 低 高 どういう評価軸を重視して仮説の良し悪 しを判断しますか？ うーん、今回は影響度の大きな仮説が欲 しいかな。確信度は低くてもいいよ
62. 見えづらい＆評価しづらい評価軸にも気を配る 見えづらく評価しづらい評価軸は低く評価されがちなので、そ うならないように気をつける必要があります。 62 見えやすく評価しやすいため、 高く評価されがちな評価軸の例 • 確信度 • お金 • サンクコスト • 過去 • ダウンサイドリスク 見えづらく評価しづらいため、 低く評価されがちな評価軸の例 • 影響度 • 時間 • 機会損失 • 未来 • アップサイドリスク 高く評価されがちな項目 低く評価されがちな項目
63. リスクの評価・統合にばらつきが出がち 63 見えやすく評価しやすいため、 高く評価されがちな評価軸の例 • 確信度 • お金 • サンクコスト • 過去 • ダウンサイドリスク 見えづらく評価しづらいため、 低く評価されがちな評価軸の例 • 影響度 • 時間 • 機会損失 • 未来 • アップサイドリスク 高く評価されがちな項目 低く評価されがちな項目
64. 64 多くの人は 「ダウンサイドリスク」を重視 「アップサイドリスク」を軽視 する傾向にあるので、損失リスクがある仮説を避けやすい ダウンサイド アップサイド
65. 事業においてダウンサイドリスクを把握する目的 しかしリスクを把握するのは、適切にリスクに対処し、リスク を取って「成功する」ためなので注意しましょう。 65 最終目的 失敗しない 成功する 短期的な目標 失敗の可能性を下げる 機会や利益を最大化する リスク把握の目的 リスクを可能な限りゼロにする 適切なリスクを取る準備をする リスクへの対処 リスクを指摘して却下する リスクを緩和する 十分なリスクを取れていなければ 決断が遅すぎる可能性も
66. リスクについての駄目な会話 失敗を避けるためにダウンサイドリスクを過剰に指摘する人は、 リスクを「有無」で考えがちで、どんなに他の評価軸で良い仮 説でも却下しがちです。 66 この仮説にはダウンサイドのリスクがあるよね！ えっ、そうですね… リスクがあったら駄目でしょう！ やりなおし！
67. ダウンサイドリスクを過剰に指摘する人への対処 本来リスクは「マネージ」するものなので、リスクの程度と許 容可能なラインを議論することでよりよい会話になり得ます。 67 この仮説の実行にはダウンサイドのリスクがあるよね はい、◦◦リスクを認識してますが、他にありますか？ どの程度のリスクや損失であれば許容可能でしょうか？ またリスクをより緩和する方法があれば教えてください 今のうちのチームだと、1000 万円は失ってもいいから、 その範囲の損失に収めてくれると嬉しい。 緩和する方法は◦◦という方法があるかも……
68. 確信度は高く評価され、影響度は低く評価されやすい リスクと同様に、確信度と影響度は評価が分かれやすい評価軸 です。 68 見えやすく評価しやすいため、 高く評価されがちな評価軸の例 • 確信度 • お金 • サンクコスト • 過去 • ダウンサイドリスク 見えづらく評価しづらいため、 低く評価されがちな評価軸の例 • 影響度 • 時間 • 機会損失 • 未来 • アップサイドリスク 高く評価されがちな項目 低く評価されがちな項目
69. 69 多くの人は 「確信度」を重視 「影響度」を軽視 する傾向にあるので、仮説が『小さくまとまり』やすい 確信度 影響度
70. 「影響度」に重み付けすることをお勧め 確信度を重視してしまいがちなので、影響度にバイアスをかけ て仮説を総合的に評価することをお勧めします。 70 影響度 確信度
71. 可能性を見極める批評眼が必要になる 影響度の高さを見定めるには、仮説の可能性に気づく必要があ ります。それは確信度の判断よりもっと難しいことです。 71 影響度 確信度 仮説の可能性を見出す 「批評眼」が必要
72. Photo by Dave Thomas, released under the Attribution Creative Commons license. http://www.paulgraham.com/bio.html 72 創業者が正しいこと をしたら、どのくら い大きな会社に成長 するだろうか？ 初期のスタートアップにするべき質問として - Paul Graham Do things that don’t scale スケールしないことをしよう https://paulgraham.com/ds.html
73. 73 確信度だけを重視して仮説を小さくまとめずに 仮説の可能性を積極的に見出して 大胆な仮説を 高く評価しよう （確信度は後で上げられるが影響度は上げづらいので）
74. 参考）プレイヤーによっても異なる評価軸の重み その他、組織の性質上、評価軸の重みが異なるときもあります。 場合によってはその重力にあらがう必要もあります。 74 大企業や官僚組織の場合 組織として『失敗しない』ことを重 視する傾向になるため、 • 確信度: 高 • 影響度: 低～中 あたりを高く評価することが多い。 ベンチャーキャピタル等の場合 リターンの構造的に、 • 確信度: 低 • 影響度: 超高 という仮説を高く評価する。しかし 並大抵の影響度の大きさでは投資し ないことになる。
75. 75 ただし分析的に行える評価には限界があるため 最後は決断というリープが必要 マップ ループ リープ 1 2 3 (跳躍)
76. まとめ 76
77. 77 仮説の評価は 門番のようなもの
78. 仮説の評価のステップ 仮説の評価のステップを言語化し解説しました。より詳細な評 価方法については書籍『仮説行動』を参照してください。 78 評価軸を 設定する 評価軸を使って 仮説を”測る” 異なる評価軸の 評価を統合する 1 2 3
79. 79 確信度だけを重視して仮説を小さくまとめずに 仮説の可能性を積極的に見出して 大胆な仮説を 高く評価しよう （確信度は後で上げられるが影響度は上げづらいので）
80. 80 仮説の評価がうまくなることで 仮説検証や仮説マップも効率的に進む マップ ループ リープ 良い仮説マップを 最初から作れる 仮説生成と検証の ループの回転が速い 適切なリスクを取る 決断ができる 1 2 3
81. 詳細は書籍をご参照ください 『解像度を上げる』の姉妹本 『仮説行動』発売中 81 第1部 仮説行動を理解する なぜ仮説は重要なのか 仮説行動の全体像 第2部 仮説を強くする 仮説を生成する 仮説を検証する 仮説マップを生成／統合する ループの停滞を回避する 第3部 仮説を現実にする 仮説を評価する 決断する 仮説を実行する 第4部 大胆な未来を実現する 影響度の大きな仮説を目指す 目次 本スライドは 主にこの章の内容