Tweet
Tweet

Slide 1

Slide 1 text

あなたの「仮説検証」、 ゆがんでいませんか？ 2025/03/24 EMConf Expansion! –EM Oasis特別会- Shu Oogawara (@expajp)

Slide 2

Slide 2 text

• Shu Oogawara(@expajp ) • 「えくすぱ」と読みます • リンカーズ株式会社 EM • ビジネスマッチングの会社です • EM Meetup コアスタッフ • 次回は04/25金 • 趣味は秘境駅めぐり と深夜ラジオ 7 自己紹介

Slide 3

Slide 3 text

• 「エンジニアリング」とは関係ない話をします • 4つのPだと最も関係があるのはProduct Management 8 注意

Slide 4

Slide 4 text

9 今日のテーマ① 認知バイアス

Slide 5

Slide 5 text

10 認知バイアス 認知バイアスという言葉は、 心の働きの偏り、歪みを指す。 “ 鈴木宏昭, “認知バイアス – 心に潜むふしぎな働き”, 2020, 講談社, p. 4 画像引用：講談社, “『認知バイアス 心に潜むふしぎな働き』（鈴木 宏昭）：ブルーバックス｜講談社BOOK倶楽部”, https://bookclub.kodansha.co.jp/product?item=0000348086, 2025/03/14閲覧

Slide 6

Slide 6 text

聞いたことある人？ 11

Slide 7

Slide 7 text

12 認知バイアス 2020年4月 最初の緊急事態宣言 画像引用：Google Trends, https://trends.google.co.jp/trends/explore?date=all&geo=JP&q=認知バイアス&hl=ja, 2025/03/14閲覧

Slide 8

Slide 8 text

13 今日のテーマ② 仮説検証

Slide 9

Slide 9 text

14 今日のテーマ② 仮説検証→科学的方法の中核

Slide 10

Slide 10 text

15 科学的方法の一例 Efbrazil, CC BY-SA 4.0 , via Wikimedia Commons

Slide 11

Slide 11 text

16 科学的方法の一例 Efbrazil, CC BY-SA 4.0 , via Wikimedia Commons 仮説 実験による 検証 データの 分析 観察/疑問 専門領域の 調査 報告

Slide 12

Slide 12 text

17 仮説検証をマネジメントに用いた代表例 画像引用：日経BP, “リーン・スタートアップ | 日経BOOKプラス”, https://bookplus.nikkei.com/atcl/catalog/12/P48970/, 2025/03/14閲覧

Slide 13

Slide 13 text

18 仮説検証をマネジメントに用いた代表例 画像引用：電通, “リーン・スタートアップ | ウェブ電通報”, https://dentsu-ho.com/articles/2824, 2025/03/23閲覧

Slide 14

Slide 14 text

19 仮説検証のプロセス 構築 検証 意思 決定

Slide 15

Slide 15 text

20 本日のテーマ 仮説検証の過程に認知バイアスが 入り込んでいるのでは？

Slide 16

Slide 16 text

この発表では 架空のサービスを例に仮説検証に どのように認知バイアスが入り込むかを示す 21

Slide 17

Slide 17 text

• 現在の課金形式は成果報酬型 • ユーザは登録時・成約時にお金を払う • 売上改善のため課金形態を見直す • これを仮説検証によって行う 22 設定：婚活サービス

Slide 18

Slide 18 text

23 仮説検証のプロセス 構築 検証 意思 決定

Slide 19

Slide 19 text

24 仮説検証のプロセス 構築 検証 意思 決定

Slide 20

Slide 20 text

• 安易に流行りの手法を導入する 25 仮説構築のよくある失敗パターン サブスクを導入しよう！！！

Slide 21

Slide 21 text

• 代表制ヒューリスティック • 確証バイアス 26 失敗の裏にある主な認知バイアス

Slide 22

Slide 22 text

• 典型的なイメージに引っ張られ、 統計的な確率よりも重視してしまうバイアス • 例）東京でたこ焼き好きな人に会った→大阪出身？ • 都民は半分以上が東京出身。人口流入も主に近郊から • 東京には「関東出身のたこ焼き好き」の方が恐らく多い 27 代表制ヒューリスティック

Slide 23

Slide 23 text

• 自分の意見に沿うデータばかりを集め、 反証する情報を無視してしまうバイアス • 例）「犯罪が増え続けている」と思い込む • 国内犯罪は2002年をピークにコロナ禍まで一貫して減少 • 犯罪が増えているイメージを抱くと 「犯罪が減っている」ニュースは無視してしまう 28 確証バイアス

Slide 24

Slide 24 text

• サブスクで成功した企業が盛んに報道される • 「成功してる企業はみんなサブスク」と思い込む • 代表性ヒューリスティック • サブスクが成功した情報ばかり集めて確信を深める • 確証バイアス • それ以外の要因や、別の課金形態で成功している企業は無視する 29 安易に流行りの手法を導入する流れ

Slide 25

Slide 25 text

• 個人の思い込みを検討なしに採用している 30 課題と対処法 課題

Slide 26

Slide 26 text

• 個人の思い込みを検討なしに採用している 31 課題と対処法 課題 対処法 • 複数人から、複数の意見を別々に集める • 個人の思い込みの影響を薄める • 自社に適応したときのメリデメを検討する • 代表性ヒューリスティックで捨象してしまった要素を 再度検討する

Slide 27

Slide 27 text

32 仮説検証のプロセス 構築 検証 意思 決定

Slide 28

Slide 28 text

33 仮説検証のプロセス 構築 検証 意思 決定

Slide 29

Slide 29 text

• 一部のユーザに対してサブスクを採用して 効果を検証することになった 34 設定：婚活サービス

Slide 30

Slide 30 text

• 何の基準もなく「成功」と判断する 35 仮説検証のよくある失敗パターン 売上は良い感じだし これは検証成功ということだな

Slide 31

Slide 31 text

• 確証バイアス • 現状維持バイアス 36 失敗の裏にある主な認知バイアス

Slide 32

Slide 32 text

• 「現状維持」の選択肢を過大評価してしまうバイアス • 例）ブラック企業からの転職をためらう • 低賃金や長時間労働が解消する期待よりも、 転職が失敗するリスクを過大評価してしまう 37 現状維持バイアス

Slide 33

Slide 33 text

• 仮説を「仮説」と捉えられていない • いくら丁寧に構築したとしても仮説は仮説 • 都合の良いデータだけ見る • 確証バイアス • 一度始めた施策をやめるリスクを過大評価する • 現状維持バイアス • 失敗に厳しい組織はこれが起こりやすい 38 何の基準もなく「成功」と判断する流れ

Slide 34

Slide 34 text

• 定義してない「成功」ありきで検証している 39 課題と対処法 課題

Slide 35

Slide 35 text

• 定義してない「成功」ありきで検証している 40 課題と対処法 課題 対処法 • 検証前に施策の目的を明らかにする • それに従って、検証対象データと判定基準 を決めておく • 「成功」と「失敗」を同時に定義する • 反証可能性を担保する

Slide 36

Slide 36 text

41 仮説検証のプロセス 構築 検証 意思 決定

Slide 37

Slide 37 text

42 仮説検証のプロセス 構築 検証 意思 決定

Slide 38

Slide 38 text

• サブスクを全顧客に展開するかを チームで意思決定することになった 43 設定：婚活サービス

Slide 39

Slide 39 text

• 会議を主導する人の意見に引っ張られる 44 意思決定のよくある失敗パターン こんなデータが出て自分はこう思う 皆の意見を聞きたい。そうだろ？

Slide 40

Slide 40 text

• フレーミング効果 • アンカリング効果 45 失敗の裏にある認知バイアス

Slide 41

Slide 41 text

• 同じ情報でも表現に意思決定が引っ張られる効果 • 例）当籤確率「1%」というより「100人に1人」と 言った方が宝くじが売れる • もちろん確率的には全く同じ • 代表的ヒューリスティック・確証バイアスと 合わさって短絡的な意思決定を生みやすい 46 フレーミング効果

Slide 42

Slide 42 text

• 先に受け取った情報に判断が引っ張られる効果 • 例）レストランで、最初に頼んだ人と同じものを 頼んでしまう 47 アンカリング効果

Slide 43

Slide 43 text

• データを誰かが取りまとめて意見を添える • フレーミング効果 • 報告者の表現に無意識に意見が引っ張られる • 出席者が順に意見を言う • アンカリング効果 • 最初の意見に他が引っ張られる • 全員の意見が引っ張られて「全会一致」で可決 48 意見が引っ張られる流れ

Slide 44

Slide 44 text

• 誰かの意見を聞いてから各々が意見している 49 課題と対処法 課題

Slide 45

Slide 45 text

• 誰かの意見を聞いてから各々が意見している 50 課題と対処法 課題 対処法 • データを事前提示する • 話すのは各々が意見をまとめてからにする • 「資料見といて」もなるべく避ける • 読まずに参加する人がいると、やはり偏るため • 会議の冒頭に時間を作ると良い

Slide 46

Slide 46 text

51 仮説検証のプロセス 構築 検証 意思 決定

Slide 47

Slide 47 text

このように仮説検証には さまざまな認知バイアスが潜んでいる 52

Slide 48

Slide 48 text

みなさん 「自分はこんな馬鹿なことはしない」 なんて思っていませんか？ 53

Slide 49

Slide 49 text

みなさん 「自分はこんな馬鹿なことはしない」 なんて思っていませんか？ 54 それもバイアスなんです

Slide 50

Slide 50 text

•他人の認知バイアスは認識できるが、 自分自身へのバイアスの影響は認識しづらい 55 “バイアスの盲点”

Slide 51

Slide 51 text

人間はバイアスの影響から 逃れられない 56

Slide 52

Slide 52 text

それでも認知バイアスを学ぶ意義はある 57

Slide 53

Slide 53 text

58 認知バイアスを学ぶ意義 「どれくらい妥協するか」を自覚的に行える

Slide 54

Slide 54 text

• 複数の人から複数の意見を集める • 「成功・失敗」の基準を作ってからデータを取る • データを事前に共有し、皆が咀嚼してから議論 59 今日紹介した施策

Slide 55

Slide 55 text

• 複数の人から複数の意見を集める • 「成功・失敗」の基準を作ってからデータを取る • データを事前に共有し、皆が咀嚼してから議論 60 今日紹介した施策 コストのかかる施策が多い

Slide 56

Slide 56 text

61 仮説検証はコストの制約のもと行う 妥協せざるを得ない

Slide 57

Slide 57 text

62 仮説検証はコストの制約のもと行う 妥協せざるを得ない 認知バイアスを学ぶことで どこを妥協すればどんなリスクがあるか 分かるようになる

Slide 58

Slide 58 text

63 認知バイアスを克服することはできない 人の知性は、人の住む環境の中で、そして人の生物学的な 条件の下で作り出されたものである。 （中略） だから、それを度外視した状況を勝手に設定して、 そこで人間の知性を論じたりしても意味がない。 “ 鈴木宏昭, “認知バイアス – 心に潜むふしぎな働き”, 2020, 講談社, pp. 252-253 画像引用：講談社, “『認知バイアス 心に潜むふしぎな働き』（鈴木 宏昭）：ブルーバックス｜講談社BOOK倶楽部”, https://bookclub.kodansha.co.jp/product?item=0000348086, 2025/03/14閲覧

Slide 59

Slide 59 text

できるのは、完璧に近づこうとする努力だけ 64

Slide 60

Slide 60 text

バイアスを学び、受け容れつつ よりよい仮説検証を 目指し続けていきましょう 65