あなたの「仮説検証」、ゆがんでいませんか？ / Isn't Your "Hypothesis Verification" Distorted? #emoasis

2025/03/24の「EMConf expansion！【EMConf JP 2025サブイベント】」で発表したスライドです。
https://emoasis.connpass.com/event/345359/

Transcript

1. あなたの「仮説検証」、 ゆがんでいませんか？ 2025/03/24 EMConf Expansion! –EM Oasis特別会- Shu Oogawara (@expajp)
2. • Shu Oogawara(@expajp ) • 「えくすぱ」と読みます • リンカーズ株式会社 EM • ビジネスマッチングの会社です • EM Meetup コアスタッフ • 次回は04/25金 • 趣味は秘境駅めぐり と深夜ラジオ 7 自己紹介
3. • 「エンジニアリング」とは関係ない話をします • 4つのPだと最も関係があるのはProduct Management 8 注意
4. 9 今日のテーマ① 認知バイアス
5. 10 認知バイアス 認知バイアスという言葉は、 心の働きの偏り、歪みを指す。 “ 鈴木宏昭, “認知バイアス – 心に潜むふしぎな働き”, 2020, 講談社, p. 4 画像引用：講談社, “『認知バイアス 心に潜むふしぎな働き』（鈴木 宏昭）：ブルーバックス｜講談社BOOK倶楽部”, https://bookclub.kodansha.co.jp/product?item=0000348086, 2025/03/14閲覧
6. 聞いたことある人？ 11
7. 12 認知バイアス 2020年4月 最初の緊急事態宣言 画像引用：Google Trends, https://trends.google.co.jp/trends/explore?date=all&geo=JP&q=認知バイアス&hl=ja, 2025/03/14閲覧
8. 13 今日のテーマ② 仮説検証
9. 14 今日のテーマ② 仮説検証→科学的方法の中核
10. 15 科学的方法の一例 Efbrazil, CC BY-SA 4.0 <https://creativecommons.org/licenses/by-sa/4.0>, via Wikimedia Commons
11. 16 科学的方法の一例 Efbrazil, CC BY-SA 4.0 <https://creativecommons.org/licenses/by-sa/4.0>, via Wikimedia Commons 仮説 実験による 検証 データの 分析 観察/疑問 専門領域の 調査 報告
12. 17 仮説検証をマネジメントに用いた代表例 画像引用：日経BP, “リーン・スタートアップ | 日経BOOKプラス”, https://bookplus.nikkei.com/atcl/catalog/12/P48970/, 2025/03/14閲覧
13. 18 仮説検証をマネジメントに用いた代表例 画像引用：電通, “リーン・スタートアップ | ウェブ電通報”, https://dentsu-ho.com/articles/2824, 2025/03/23閲覧
14. 19 仮説検証のプロセス 構築 検証 意思 決定
15. 20 本日のテーマ 仮説検証の過程に認知バイアスが 入り込んでいるのでは？
16. この発表では 架空のサービスを例に仮説検証に どのように認知バイアスが入り込むかを示す 21
17. • 現在の課金形式は成果報酬型 • ユーザは登録時・成約時にお金を払う • 売上改善のため課金形態を見直す • これを仮説検証によって行う 22 設定：婚活サービス
18. 23 仮説検証のプロセス 構築 検証 意思 決定
19. 24 仮説検証のプロセス 構築 検証 意思 決定
20. • 安易に流行りの手法を導入する 25 仮説構築のよくある失敗パターン サブスクを導入しよう！！！
21. • 代表制ヒューリスティック • 確証バイアス 26 失敗の裏にある主な認知バイアス
22. • 典型的なイメージに引っ張られ、 統計的な確率よりも重視してしまうバイアス • 例）東京でたこ焼き好きな人に会った→大阪出身？ • 都民は半分以上が東京出身。人口流入も主に近郊から • 東京には「関東出身のたこ焼き好き」の方が恐らく多い 27 代表制ヒューリスティック
23. • 自分の意見に沿うデータばかりを集め、 反証する情報を無視してしまうバイアス • 例）「犯罪が増え続けている」と思い込む • 国内犯罪は2002年をピークにコロナ禍まで一貫して減少 • 犯罪が増えているイメージを抱くと 「犯罪が減っている」ニュースは無視してしまう 28 確証バイアス
24. • サブスクで成功した企業が盛んに報道される • 「成功してる企業はみんなサブスク」と思い込む • 代表性ヒューリスティック • サブスクが成功した情報ばかり集めて確信を深める • 確証バイアス • それ以外の要因や、別の課金形態で成功している企業は無視する 29 安易に流行りの手法を導入する流れ
25. • 個人の思い込みを検討なしに採用している 30 課題と対処法 課題
26. • 個人の思い込みを検討なしに採用している 31 課題と対処法 課題 対処法 • 複数人から、複数の意見を別々に集める • 個人の思い込みの影響を薄める • 自社に適応したときのメリデメを検討する • 代表性ヒューリスティックで捨象してしまった要素を 再度検討する
27. 32 仮説検証のプロセス 構築 検証 意思 決定
28. 33 仮説検証のプロセス 構築 検証 意思 決定
29. • 一部のユーザに対してサブスクを採用して 効果を検証することになった 34 設定：婚活サービス
30. • 何の基準もなく「成功」と判断する 35 仮説検証のよくある失敗パターン 売上は良い感じだし これは検証成功ということだな
31. • 確証バイアス • 現状維持バイアス 36 失敗の裏にある主な認知バイアス
32. • 「現状維持」の選択肢を過大評価してしまうバイアス • 例）ブラック企業からの転職をためらう • 低賃金や長時間労働が解消する期待よりも、 転職が失敗するリスクを過大評価してしまう 37 現状維持バイアス
33. • 仮説を「仮説」と捉えられていない • いくら丁寧に構築したとしても仮説は仮説 • 都合の良いデータだけ見る • 確証バイアス • 一度始めた施策をやめるリスクを過大評価する • 現状維持バイアス • 失敗に厳しい組織はこれが起こりやすい 38 何の基準もなく「成功」と判断する流れ
34. • 定義してない「成功」ありきで検証している 39 課題と対処法 課題
35. • 定義してない「成功」ありきで検証している 40 課題と対処法 課題 対処法 • 検証前に施策の目的を明らかにする • それに従って、検証対象データと判定基準 を決めておく • 「成功」と「失敗」を同時に定義する • 反証可能性を担保する
36. 41 仮説検証のプロセス 構築 検証 意思 決定
37. 42 仮説検証のプロセス 構築 検証 意思 決定
38. • サブスクを全顧客に展開するかを チームで意思決定することになった 43 設定：婚活サービス
39. • 会議を主導する人の意見に引っ張られる 44 意思決定のよくある失敗パターン こんなデータが出て自分はこう思う 皆の意見を聞きたい。そうだろ？
40. • フレーミング効果 • アンカリング効果 45 失敗の裏にある認知バイアス
41. • 同じ情報でも表現に意思決定が引っ張られる効果 • 例）当籤確率「1%」というより「100人に1人」と 言った方が宝くじが売れる • もちろん確率的には全く同じ • 代表的ヒューリスティック・確証バイアスと 合わさって短絡的な意思決定を生みやすい 46 フレーミング効果
42. • 先に受け取った情報に判断が引っ張られる効果 • 例）レストランで、最初に頼んだ人と同じものを 頼んでしまう 47 アンカリング効果
43. • データを誰かが取りまとめて意見を添える • フレーミング効果 • 報告者の表現に無意識に意見が引っ張られる • 出席者が順に意見を言う • アンカリング効果 • 最初の意見に他が引っ張られる • 全員の意見が引っ張られて「全会一致」で可決 48 意見が引っ張られる流れ
44. • 誰かの意見を聞いてから各々が意見している 49 課題と対処法 課題
45. • 誰かの意見を聞いてから各々が意見している 50 課題と対処法 課題 対処法 • データを事前提示する • 話すのは各々が意見をまとめてからにする • 「資料見といて」もなるべく避ける • 読まずに参加する人がいると、やはり偏るため • 会議の冒頭に時間を作ると良い
46. 51 仮説検証のプロセス 構築 検証 意思 決定
47. このように仮説検証には さまざまな認知バイアスが潜んでいる 52
48. みなさん 「自分はこんな馬鹿なことはしない」 なんて思っていませんか？ 53
49. みなさん 「自分はこんな馬鹿なことはしない」 なんて思っていませんか？ 54 それもバイアスなんです
50. •他人の認知バイアスは認識できるが、 自分自身へのバイアスの影響は認識しづらい 55 “バイアスの盲点”
51. 人間はバイアスの影響から 逃れられない 56
52. それでも認知バイアスを学ぶ意義はある 57
53. 58 認知バイアスを学ぶ意義 「どれくらい妥協するか」を自覚的に行える
54. • 複数の人から複数の意見を集める • 「成功・失敗」の基準を作ってからデータを取る • データを事前に共有し、皆が咀嚼してから議論 59 今日紹介した施策
55. • 複数の人から複数の意見を集める • 「成功・失敗」の基準を作ってからデータを取る • データを事前に共有し、皆が咀嚼してから議論 60 今日紹介した施策 コストのかかる施策が多い
56. 61 仮説検証はコストの制約のもと行う 妥協せざるを得ない
57. 62 仮説検証はコストの制約のもと行う 妥協せざるを得ない 認知バイアスを学ぶことで どこを妥協すればどんなリスクがあるか 分かるようになる
58. 63 認知バイアスを克服することはできない 人の知性は、人の住む環境の中で、そして人の生物学的な 条件の下で作り出されたものである。 （中略） だから、それを度外視した状況を勝手に設定して、 そこで人間の知性を論じたりしても意味がない。 “ 鈴木宏昭, “認知バイアス – 心に潜むふしぎな働き”, 2020, 講談社, pp. 252-253 画像引用：講談社, “『認知バイアス 心に潜むふしぎな働き』（鈴木 宏昭）：ブルーバックス｜講談社BOOK倶楽部”, https://bookclub.kodansha.co.jp/product?item=0000348086, 2025/03/14閲覧
59. できるのは、完璧に近づこうとする努力だけ 64
60. バイアスを学び、受け容れつつ よりよい仮説検証を 目指し続けていきましょう 65