良い仮説を評価する技術

by Takaaki Umada / 馬田隆明

Slide 1

Slide 1 text

http://takaumada.com/ Takaaki Umada / 馬田隆明 http://takaumada.com/ 良い仮説を評価する技術

Slide 2

Slide 2 text

2 仮説の評価は門番のようなもの

Slide 3

Slide 3 text

3 評価します評価します次の段階生成された仮説は「評価」を通して次に進めるかどうか判断される

Slide 4

Slide 4 text

4 評価が上手であれば良い仮説しか通さない良い仮説悪い仮説いい仮説ですね！検証に移りましょう筋が悪いので練り直してください

Slide 5

Slide 5 text

5 評価が上手であれば良い仮説しか通さないでも下手だと筋の悪い仮説を通してしまう悪い仮説良い仮説筋の悪い仮説なので駄目です筋が良さそうなので通って良いですしめしめえっ…

Slide 6

Slide 6 text

仮説の評価が下手な場合は時間を浪費しがち仮説の評価が下手な人は時間を無駄に使ってしまいがちです。 6 仮説の評価が下手な人 • 筋の悪い仮説に取り組み、時間を浪費してしまう • どんな仮説でも検証に回してしまい、時間を使う • リスクだけを気にして全ての仮説を通さず何もしない • 仮説が小さくまとまる選んだ仮説がいまいちで成果も出ないし、変な仮説ばかり検証して時間を無駄にしてしまう…

Slide 7

Slide 7 text

仮説の評価が上手だと色々とはかどる仮説の評価が上手だと、筋の良い仮説を選べるだけではなく、検証するべき仮説やリスクなども素早く選定できます。 7 仮説の評価が下手な人 • 筋の悪い仮説に取り組み、時間を浪費してしまう • どんな仮説でも検証に回してしまい、時間を使う • リスクだけを気にして全ての仮説を通さず何もしない • 仮説が小さくまとまる仮説の評価がうまい人 • 筋の悪い仮説を思いついてもすぐに捨てられる • 検証に値する仮説だけを検証のループに回せる • 適切なタイミングで仮説検証のループを止められる • 良いリスクを取れる悪い仮説はすぐ捨てられるし、筋の良い仮説を検証してさらに筋の良い仮説にできる！

Slide 8

Slide 8 text

8 「評価」はとても大事なのに多くの人は注意を払わないし説明（言語化）もできない

Slide 9

Slide 9 text

9 （例）とある上司と部下の仮説についてのやりとり

Slide 10

Slide 10 text

10 前にお願いしていた、売上をもっと増やすための施策の仮説はできた？

Slide 11

Slide 11 text

11 前にお願いしていた、売上をもっと増やすための施策の仮説はできた？とりあえず営業部の資料作成を支援して効率化する施策を実行しようと思います

Slide 12

Slide 12 text

12 前にお願いしていた、売上をもっと増やすための施策の仮説はできた？とりあえず営業部の資料作成を支援して効率化する施策を実行しようと思いますうーん、小さくまとまってるし、筋が悪そうだね。もっと良い仮説はないの？

Slide 13

Slide 13 text

13 前にお願いしていた、売上をもっと増やすための施策の仮説はできた？とりあえず営業部の資料作成を支援して効率化する施策を実行しようと思いますうーん、小さくまとまってるし、筋が悪そうだね。もっと良い仮説はないの？（もっと良い仮説って言われても…）

Slide 14

Slide 14 text

14 前にお願いしていた、売上をもっと増やすための施策の仮説はできた？とりあえず営業部の資料作成を支援して効率化する施策を実行しようと思いますうーん、小さくまとまってるし、筋が悪そうだね。もっと良い仮説はないの？（もっと良い仮説って言われても…）どんな仮説が良い仮説なんですか？

Slide 15

Slide 15 text

15 前にお願いしていた、売上をもっと増やすための施策の仮説はできた？とりあえず営業部の資料作成を支援して効率化する施策を実行しようと思いますうーん、小さくまとまってるし、筋が悪そうだね。もっと良い仮説はないの？（もっと良い仮説って言われても…）どんな仮説が良い仮説なんですか？仮説の良し悪しは直感的に分かるよね。早くもっと良い仮説を持ってきて

Slide 16

Slide 16 text

16 直感と言われてもいったいどうすれば…

Slide 17

Slide 17 text

仮説の評価がうまくない人の良くあるパターン仮説の評価がうまくない人にはいくつかのパターンがあります。これらを乗り越えることで良い評価ができるようになります。 17 仮説の評価軸が曖昧優先度の高い評価軸を見誤る見えづらい評価軸を軽視する（機会損失など）特定の評価軸を過度に重視する（リスクなど）評価軸を用いた測り方が下手十分性や制約条件に無頓着全部「直感」で済ませる仮説の潜在的な可能性を見ない

Slide 18

Slide 18 text

Q. 18 仮説の評価能力を高めるには？

Slide 19

Slide 19 text

A. 19 経験と技術

Slide 20

Slide 20 text

A. 20 経験と技術スキル/技術は言語化することで身につけやすくなる

Slide 21

Slide 21 text

仮説を評価する技術をステップに分解する意識されづらい仮説の評価を言語化すると、以下のようなステップのように整理できます。 21 評価軸を設定する評価軸を使って仮説を”測る” 異なる評価軸の評価を統合する 1 2 3

Slide 22

Slide 22 text

評価軸を設定するところから始める 22 評価軸を設定する評価軸を使って仮説を”測る” 異なる評価軸の評価を統合する 1 2 3

Slide 23

Slide 23 text

① 評価軸を設定する 23

Slide 24

Slide 24 text

評価軸の設定次第で選び方が変わる私たちは普段から様々な評価軸を用意して評価しています。重視する評価軸が違えば異なる選択が行われます。 24 コスパは？大きさは？ IoT 機能は？スペックは？発売日は？価格は？冷凍庫の容量は？取り出しやすさは？色は？大きさは？安全性は？

Slide 25

Slide 25 text

25 仮説の種類と状況に応じた適切な評価軸を設定できるかが仮説の評価の巧拙を決める

Slide 26

Slide 26 text

Q. 26 ビジネスの仮説の標準的な評価軸は？

Slide 27

Slide 27 text

A. 27 基本的には影響度と確信度

Slide 28

Slide 28 text

(1) 仮説の持つ「影響度」を考える 28 影響度仮説の正誤が事業に与える影響（インパクト）の大きさ

Slide 29

Slide 29 text

(2) 仮説の「確信度」を考える仮説が正解だと思う度合いが確信度です。確度や精度とも言われます。 29 影響度確信度「仮説が正解である自信」が高い＝確信度が高い

Slide 30

Slide 30 text

「影響度」と「確信度」を基本にして仮説を評価するこの 2 つを仮説の評価軸の基本とすると仮説を評価しやすくなります。 30 影響度確信度

Slide 31

Slide 31 text

それぞれの仮説の影響度と確信度を評価してみると… それぞれの仮説を影響度と確信度で評価してプロットすると以下のような図になります。 31 影響度確信度仮説 1 仮説 2 仮説 3 仮説 4 仮説 5 仮説 6

Slide 32

Slide 32 text

確信度と影響度が高ければ今すぐやるべき両方が高い仮説は、検証などは必要なく、今すぐ実行しても問題ない仮説だと言えます。 32 影響度確信度仮説 1 仮説 2 仮説 3 仮説 4 仮説 5 仮説 6 検証する必要はなく今すぐやるべき仮説

Slide 33

Slide 33 text

確信度と影響度が低い仮説は棄却するべき仮説両方とも低い仮説は、仮説検証すら必要もなく、すぐに棄却するべき仮説です。 33 影響度確信度仮説 1 仮説 2 仮説 3 仮説 4 仮説 5 仮説 6 検証をする必要も無く棄却する仮説（確信度を上げても効果が小さい）

Slide 34

Slide 34 text

確信度は高いけれど、影響度は小さい仮説やれば恐らく効果は出るものの、大きな効果が出ない仮説です。いわゆる「小さくまとまっている仮説」とも言われます。 34 影響度確信度仮説 1 仮説 2 仮説 3 仮説 4 仮説 5 仮説 6 小さくまとまっている仮説（確実だがやっても効果が小さい）

Slide 35

Slide 35 text

確信度が低いけれど影響度が高い仮説は検証する確信度が低いけれど影響度が大きい場合は、仮説検証をして仮説の正誤を確かめます。 35 影響度確信度仮説 1 仮説 2 仮説 3 仮説 4 仮説 5 仮説 6 検証して確信度を上げるべき仮説

Slide 36

Slide 36 text

4 象限で仮説を評価して次のアクションを考える 4 象限に分けて仮説を評価することで、次のアクションを考えやすくなります。 36 影響度確信度仮説 1 仮説 2 仮説 3 仮説 4 仮説 5 仮説 6 【確信度:低影響度:高】検証して確信度を上げるべき仮説【確信度:高影響度:高】検証する必要はなく今すぐやるべき仮説【確信度:高影響度:低】小さくまとまっている仮説（確実だがやっても効果が小さい）【確信度:低影響度:低】検証をする必要も無く棄却する仮説（確信度を上げても効果が小さい）

Slide 37

Slide 37 text

特に重要なのは左上の象限左上の象限の仮説を中心に検証することで、事業への影響度の高い仮説の正誤を判別できます。 37 影響度確信度仮説 1 仮説 2 仮説 3 仮説 4 仮説 5 仮説 6 【確信度:低影響度:高】検証して確信度を上げるべき仮説【確信度:高影響度:高】検証する必要はなく今すぐやるべき仮説【確信度:高影響度:低】小さくまとまっている仮説（確実だがやっても効果が小さい）【確信度:低影響度:低】検証をする必要も無く棄却する仮説（確信度を上げても効果が小さい）

Slide 38

Slide 38 text

仮説検証を通して仮説の確信度を上げる仮説を検証することで、仮説の確信度が変わります。仮説検証の方法については別のスライドをご覧ください。 38 影響度確信度仮説 1 仮説 2 仮説 3 仮説 4 仮説 6 仮説 5 検証のループを回す

Slide 39

Slide 39 text

39 ただし目的や領域によって適切な評価軸は変わるので使い分けていく

Slide 40

Slide 40 text

様々な種類の評価軸目的や領域ごとに異なる評価軸が用いられます。適した評価軸を用いるようにしましょう。独自の評価軸の開発もお勧めです。 RICE: https://www.intercom.com/blog/rice-simple-prioritization-for-product-managers/ FINE: 『医学的研究のデザイン推論の質を高める系統的アプローチ第5版』 40 RICE (PdM 向け) Intercom によるプロダクトマネージャ向けの優先順位付けフレームワーク狩野モデル品質と顧客満足度の関係性を捉えるモデル FINE (論文向け) 臨床研究の論文の評価軸 Reach 影響する範囲 Impact 影響の度合い（影響度） Confidence 自信の度合い（確信度） Effort 労力や工数当たり前品質あって当然、ないと不満一元的品質あると嬉しい、ないと不満魅力的品質あると嬉しい、なくても OK 無関心品質影響がない逆品質あると不満、ないと嬉しい Feasible 実行可能性 Important 重要性 Novel 新規性 Ethical 倫理性 FINER が使われる場合もあります

Slide 41

Slide 41 text

評価軸を整理して評価の準備をする自分たちの評価軸を意識したうえで、仮説を評価するようにしてみましょう。そうすることで評価が少しうまくなります。 41 確信度影響度緊急度予算工数低高評価軸の例

Slide 42

Slide 42 text

評価軸をある程度合意しておくと良いどういう評価軸で評価をするべきか議論することで、何を持って「良い」仮説かどうかを事前にすりあわせることができます。 42 確信度影響度緊急度予算工数低高どういう評価軸で仮説の良し悪しを判断すればいいですか？今回は確信度、影響度、予算、工数あたりは考えて評価したいな

Slide 43

Slide 43 text

43 ＋汎用的な仮説のチェックリストとしてでチェックするバイブス

Slide 44

Slide 44 text

仮説を VIBES でチェックする影響度＋確信度に加えて VIBES で Yes/No をチェックすると、仮説を選びやすくなるはずです（VIBES は「ノリ」などの意味を持つ言葉） 44 Verifiable & Viable 検証可能であり、実行可能か Interesting 興味深いか Bold 大胆か Ethical 倫理的か Sharp シャープ (明晰かつシンプル) か

Slide 45

Slide 45 text

45 評価軸の選定で「仮説の良し悪し」の多くが決まる

Slide 46

Slide 46 text

46 評価軸の選定で「仮説の良し悪し」の多くが決まる評価軸が一般的だと他組織と同じ仮説を高く評価＆選択する

Slide 47

Slide 47 text

47 独自の仮説を選びたいなら独自の評価軸を設定する

Slide 48

Slide 48 text

② 仮説を測る 48

Slide 49

Slide 49 text

仮説の評価のステップ意識されづらい仮説の評価を言語化すると、以下のようなステップで評価されています。 49 評価軸を設定する評価軸を使って仮説を”測る” 異なる評価軸の評価を統合する 1 2 3

Slide 50

Slide 50 text

用意した評価軸で作った仮説を評価する 1つの仮説に対して、用意した評価軸で仮説を評価します（数値化するべき場合とそうでない場合があります） 50 低高確信度影響度緊急度予算工数

Slide 51

Slide 51 text

程度の評価も難しいので注意ただし測るのは難しく、評価自体も仮説であることが多いです。またチームでの合意も難しいことには注意してください。 51 低高確信度影響度緊急度予算工数チームでの工数の見積もり方法は『プランニングポーカー』などの手法もあります影響度等の評価には最後にリーダーによる判断が求められることも多いです

Slide 52

Slide 52 text

程度の上限と下限に気をつける「どの程度で十分か」「絶対に超えないといけないか」は場合によって異なるので注意してください。 52 予算の上限があるためお金がかかる仮説は NG 10 倍以上の性能がないと競合に勝てないため一定以上の影響度が必要低高確信度影響度緊急度予算工数

Slide 53

Slide 53 text

程度の十分さをすりあわせる仮説の良し悪しを判断するときにも、こうした程度の問題を事前にすりあわせておくことで、評価しやすくなります。 53 低高確信度影響度緊急度予算工数最低限どの程度の影響度が欲しいですか？売上が 1 億円以上伸びる施策を、2000 万円以内の予算でやってほしいかな

Slide 54

Slide 54 text

駄目な仮説のパターンを知っておくあまり良い仮説にならないパターンを知っておくと、評価の時間を削減できます。 54 駄目な仮説になりがち • 一般的すぎる（他の仮説でも同じことが言える） • 抽象的すぎる • シンプルすぎる注意するべき仮説 • 感情面が含まれる（不安、使いやすい、など） • 極論 • 頻繁に見かける

Slide 55

Slide 55 text

評価軸をうまく使うにも「慣れ」が必要評価軸があったとしても、その評価軸をうまく使えるようになるためにはある程度の慣れが必要です。 55 Feasible 実行可能性 Important 重要性 Novel 新規性 Ethical 倫理性自分の研究の新規性の程度は既存の研究を広く知ってないと判断できないのでは？ Reach 影響する範囲 Impact 影響の度合い Confidence 自信の度合い Effort 労力や工数特定の施策（仮説）にどれぐらいの工数がかかるかはある程度経験がないと分からないのでは？ RICE の場合 FINE の場合

Slide 56

Slide 56 text

56 評価は訓練でうまくなる結果からフィードバックを得て評価の技術を磨いていく

Slide 57

Slide 57 text

(3) 評価軸の統合 57

Slide 58

Slide 58 text

仮説の評価のステップ意識されづらい仮説の評価を言語化すると、以下のようなステップで評価されています。 58 評価軸を設定する評価軸を使って仮説を”測る” 異なる評価軸の評価を統合する 1 2 3

Slide 59

Slide 59 text

複数の評価軸を総合的に判断する仮説の各評価軸での評価を見ながら、「どの仮説が最も優れているか」を判断し、検証や決断に向かう必要があります。 59 仮説 A 仮説 B 仮説 C 全部の評価軸で良し悪しが異なる場合どの仮説が一番良い？

Slide 60

Slide 60 text

評価軸に重み付けする各評価軸の重み付けをしながら、最終的に複数の仮説の中で優れた仮説を選びます（もしくは新しく作り直します） 60 確信度影響度緊急度予算工数低高 × 5 × 2 × 1 × 1 × 2 何を重視するかに組織の色が出やすい

Slide 61

Slide 61 text

評価軸の重み付けをある程度言語化する各評価軸の重み付けは状況によって変わることもあります。どういった評価軸を重視するかを聞くのも一案です。（ただし重み付けは言語化が難しい場合も多いので注意しましょう） 61 確信度影響度緊急度予算工数低高どういう評価軸を重視して仮説の良し悪しを判断しますか？うーん、今回は影響度の大きな仮説が欲しいかな。確信度は低くてもいいよ

Slide 62

Slide 62 text

見えづらい＆評価しづらい評価軸にも気を配る見えづらく評価しづらい評価軸は低く評価されがちなので、そうならないように気をつける必要があります。 62 見えやすく評価しやすいため、高く評価されがちな評価軸の例 • 確信度 • お金 • サンクコスト • 過去 • ダウンサイドリスク見えづらく評価しづらいため、低く評価されがちな評価軸の例 • 影響度 • 時間 • 機会損失 • 未来 • アップサイドリスク高く評価されがちな項目低く評価されがちな項目

Slide 63

Slide 63 text

リスクの評価・統合にばらつきが出がち 63 見えやすく評価しやすいため、高く評価されがちな評価軸の例 • 確信度 • お金 • サンクコスト • 過去 • ダウンサイドリスク見えづらく評価しづらいため、低く評価されがちな評価軸の例 • 影響度 • 時間 • 機会損失 • 未来 • アップサイドリスク高く評価されがちな項目低く評価されがちな項目

Slide 64

Slide 64 text

64 多くの人は「ダウンサイドリスク」を重視「アップサイドリスク」を軽視する傾向にあるので、損失リスクがある仮説を避けやすいダウンサイドアップサイド

Slide 65

Slide 65 text

事業においてダウンサイドリスクを把握する目的しかしリスクを把握するのは、適切にリスクに対処し、リスクを取って「成功する」ためなので注意しましょう。 65 最終目的失敗しない成功する短期的な目標失敗の可能性を下げる機会や利益を最大化するリスク把握の目的リスクを可能な限りゼロにする適切なリスクを取る準備をするリスクへの対処リスクを指摘して却下するリスクを緩和する十分なリスクを取れていなければ決断が遅すぎる可能性も

Slide 66

Slide 66 text

リスクについての駄目な会話失敗を避けるためにダウンサイドリスクを過剰に指摘する人は、リスクを「有無」で考えがちで、どんなに他の評価軸で良い仮説でも却下しがちです。 66 この仮説にはダウンサイドのリスクがあるよね！えっ、そうですね… リスクがあったら駄目でしょう！やりなおし！

Slide 67

Slide 67 text

ダウンサイドリスクを過剰に指摘する人への対処本来リスクは「マネージ」するものなので、リスクの程度と許容可能なラインを議論することでよりよい会話になり得ます。 67 この仮説の実行にはダウンサイドのリスクがあるよねはい、○○リスクを認識してますが、他にありますか？どの程度のリスクや損失であれば許容可能でしょうか？またリスクをより緩和する方法があれば教えてください今のうちのチームだと、1000 万円は失ってもいいから、その範囲の損失に収めてくれると嬉しい。緩和する方法は○○という方法があるかも……

Slide 68

Slide 68 text

確信度は高く評価され、影響度は低く評価されやすいリスクと同様に、確信度と影響度は評価が分かれやすい評価軸です。 68 見えやすく評価しやすいため、高く評価されがちな評価軸の例 • 確信度 • お金 • サンクコスト • 過去 • ダウンサイドリスク見えづらく評価しづらいため、低く評価されがちな評価軸の例 • 影響度 • 時間 • 機会損失 • 未来 • アップサイドリスク高く評価されがちな項目低く評価されがちな項目

Slide 69

Slide 69 text

69 多くの人は「確信度」を重視「影響度」を軽視する傾向にあるので、仮説が『小さくまとまり』やすい確信度影響度

Slide 70

Slide 70 text

「影響度」に重み付けすることをお勧め確信度を重視してしまいがちなので、影響度にバイアスをかけて仮説を総合的に評価することをお勧めします。 70 影響度確信度

Slide 71

Slide 71 text

可能性を見極める批評眼が必要になる影響度の高さを見定めるには、仮説の可能性に気づく必要があります。それは確信度の判断よりもっと難しいことです。 71 影響度確信度仮説の可能性を見出す「批評眼」が必要

Slide 72

Slide 72 text

Photo by Dave Thomas, released under the Attribution Creative Commons license. http://www.paulgraham.com/bio.html 72 創業者が正しいことをしたら、どのくらい大きな会社に成長するだろうか？初期のスタートアップにするべき質問として - Paul Graham Do things that don’t scale スケールしないことをしよう https://paulgraham.com/ds.html

Slide 73

Slide 73 text

73 確信度だけを重視して仮説を小さくまとめずに仮説の可能性を積極的に見出して大胆な仮説を高く評価しよう（確信度は後で上げられるが影響度は上げづらいので）

Slide 74

Slide 74 text

参考）プレイヤーによっても異なる評価軸の重みその他、組織の性質上、評価軸の重みが異なるときもあります。場合によってはその重力にあらがう必要もあります。 74 大企業や官僚組織の場合組織として『失敗しない』ことを重視する傾向になるため、 • 確信度: 高 • 影響度: 低～中あたりを高く評価することが多い。ベンチャーキャピタル等の場合リターンの構造的に、 • 確信度: 低 • 影響度: 超高という仮説を高く評価する。しかし並大抵の影響度の大きさでは投資しないことになる。

Slide 75

Slide 75 text

75 ただし分析的に行える評価には限界があるため最後は決断というリープが必要マップループリープ 1 2 3 (跳躍)

Slide 76

Slide 76 text

まとめ 76

Slide 77

Slide 77 text

77 仮説の評価は門番のようなもの

Slide 78

Slide 78 text

仮説の評価のステップ仮説の評価のステップを言語化し解説しました。より詳細な評価方法については書籍『仮説行動』を参照してください。 78 評価軸を設定する評価軸を使って仮説を”測る” 異なる評価軸の評価を統合する 1 2 3

Slide 79

Slide 79 text

79 確信度だけを重視して仮説を小さくまとめずに仮説の可能性を積極的に見出して大胆な仮説を高く評価しよう（確信度は後で上げられるが影響度は上げづらいので）

Slide 80

Slide 80 text

80 仮説の評価がうまくなることで仮説検証や仮説マップも効率的に進むマップループリープ良い仮説マップを最初から作れる仮説生成と検証のループの回転が速い適切なリスクを取る決断ができる 1 2 3

Slide 81

Slide 81 text

詳細は書籍をご参照ください『解像度を上げる』の姉妹本『仮説行動』発売中 81 第1部仮説行動を理解するなぜ仮説は重要なのか仮説行動の全体像第2部仮説を強くする仮説を生成する仮説を検証する仮説マップを生成／統合するループの停滞を回避する第3部仮説を現実にする仮説を評価する決断する仮説を実行する第4部大胆な未来を実現する影響度の大きな仮説を目指す目次本スライドは主にこの章の内容