Randomized Controlled Trial

Slide 1

Slide 1 text

科学的検証に基づくビジネスの意思決定明治⼤学商学部加藤拓⺒ Marketing #07

Slide 2

Slide 2 text

位置付け顧客管理と効果測定戦略と実⾏価値づくりの考え⽅調査による客観的な状況把握 #01 マーケティング #02 ブランドマネジメント #04 市場調査 #07 科学的検証 #08 感性⼯学 #05 消費者⾏動 #03 ロイヤルティとCRM #10 クチコミ #09 戦略と組織能⼒仮説⽴案具現化検証 #06 知覚品質

Slide 3

Slide 3 text

2. 意思決定に必要な材料は因果関係アジェンダ 4. 実験ができない場合の調査観察研究 1. 決められない⽇本の会議 3. 実験が可能な場合のランダム化⽐較試験 5. まとめ

Slide 4

Slide 4 text

Slide 5

Slide 5 text

「強い⼯場・弱い本社」症候群1 1: 藤本隆宏. (2004). ⽇本のもの造り哲学. ⽇本経済新聞社⽇本のメーカーは，依然として現場のオペレーション能⼒は⾼い。にもかかわらず，収益⼒で劣るのは，「戦略的な弱さ」が要因。 • ⼯場は安定の源泉，本社は⼤きな成⻑の源泉 - ⽇本︓強い⼯場・弱い本社 → 安定的な利益 - 北⽶︓弱い⼯場・強い本社 → 短期間に⼤きな収益・損失 • オペレーションの強い組織は極端に下がることは少ないが，その上に戦略があれば，確実に強くなる

Slide 6

Slide 6 text

「会議の準備」という膨⼤な作業 1: Mankins, M. (2014). Yes, You Can Make Meetings More Productive. Harvard Business Review, https://hbr.org/2014/06/yes-you-can-make-meetings-more-productive. 2:パーソル総合研究所. (2018).無駄な社内会議による企業の損失額を算出従業員1万⼈規模で年間15億円，1500⼈規模で年間2億円の損失. https://rc.persol- group.co.jp/news/201809060935.html 3: Mankins, M. C. (2004). Stop wasting valuable time. Harvard Business Review, 82(9), 58-67. • 1万⼈規模の企業では，無駄な会議時間は300⼈以上の年間業務量に達する1-2 • 経営会議の65%以上は，意思決定ではなく，単なる情報交換等に使われる3 意思決定の根拠が曖昧なまま，決裁者によって求めるものが異なるため，会議の準備・会議⾃体に膨⼤なムダが発⽣

Slide 7

Slide 7 text

無意識に⼊り込むノイズとバイアス⼈間の意思決定は，無意識にあまりに多くの影響を受けるため，科学的根拠に基づいていなければ，無駄が発⽣して当然 (過去の経験，話題のニュース，報告部⾨・報告者，気分，空腹具合，天気，椅⼦の固さ...) 1: Kahneman, D., Rosenﬁeld, A. M., Gandhi, L., Blaser, T. (2016). Noise: How to overcome the high, hidden cost of inconsistent decision making. Harvard business review, 94(10), 38-46. ノイズが少ないバイアスが少ない成功確率の⾼い意思決定バイアスが⼤きくいつも偏った意⾒ノイズが⼤きくコロコロ変わる意思決定におけるノイズとバイアス1

Slide 8

Slide 8 text

意思決定にはびこるバイアスの例 Soyer, E., Hogarth, R. M. (2015). Fooled by experience. Harvard Business Review, 93(5), 72-77. 結果バイアス利⽤可能性バイアス確証バイアス • プロセスより結果重視 • 偶然の成功を過信 • 1回の失敗で価値ある戦略を破棄 • ⾃分が思いつく範囲の情報に頼る • ⾝近な情報を過⼤評価 • ⼿元のデータの偏りに気づかない • 意向に沿わない情報を無意識に排除 • ⾃説を⽀持する情報を収集 • 質が低い過去の経験の記憶を過信

Slide 9

Slide 9 text

Googleの絶え間なき研究 • 社員の質を妥協しないため16-25回⾯接していたがコストが⼤きかった • そこで，⾯接者を1⼈増やすごとに採⽤の意思決定に与える影響を検証 • その結果5⼈⽬以降の⾯接者が意思決定に与える影響は乏しいと判明し，「4回の法則」を定め，採⽤時間を最⼤180⽇から47⽇に短縮⼤湾秀雄. (2017). ⽇本の⼈事を科学する: 因果推論に基づくデータ活⽤. ⽇本経済新聞出版社. Google

Slide 10

Slide 10 text

Googleの絶え間なき研究明確な⽬的のもと，仮説⽴案・科学的検証を繰り返すことで，意思決定の質が向上中間管理職業績評価＋部下による評価における良い管理職と悪い管理職では，部下の⽣産性と定着度に⼤きな差があることを明らかにした．良い管理職は「マイクロマネージしない」等の特徴を⽰し，管理職研修に活⽤．年⾦積⽴年⾦積⽴プラン(401k)の加⼊を従業員に促す際，ランダム化⽐較試験によって，リマインダー数・提案⾦額による反応率の変化を明らかにした．⼈材採⽤⼤学の成績証明書をすべての求職者に要求していたが，卒業2-3年後では仕事の成績に影響を与えないことが判明し，中途採⽤では提出不要とした．⼤湾秀雄. (2017). ⽇本の⼈事を科学する: 因果推論に基づくデータ活⽤. ⽇本経済新聞出版社.

Slide 11

Slide 11 text

科学的検証をしない企業たち

Slide 12

Slide 12 text

テレビ広告の効果測定 • ターゲットの消費者が視聴しやすいテレビ番組に広告を出稿 • そもそも買いやすい⼈が広告を⾒ているため，⾒ていない⼈との⽐較は，純粋な広告の効果にならない誤った効果検証もともと買いにくい⼈もともと買いやすい⼈ ↑ テレビ広告購買確率の⽐較

Slide 13

Slide 13 text

効果のなかったebayのWeb広告 • eBayの経済学者がアメリカ1/3地域で検索連動型広告を1ヶ⽉間の停⽌を提⾔ • 理由は，従来の評価⽅法では効果が⽴証されていたが，⾮科学的であるため • 従来評価が正しければ⼤きな損失を被るが，専⾨家の指⽰に応じて検証 • その結果，検索連動型広告と売上は無関係なことが明らかになった • eBayの顧客はITリテラシーが⾼く，広告がなくともWebサイトから来訪可能 Blake, T., Nosko, C., & Tadelis, S. (2015). Consumer heterogeneity and paid search effectiveness: A large-scale field experiment. Econometrica, 83(1), 155-174.

Slide 14

Slide 14 text

意思決定の基本はPDCA

Slide 15

Slide 15 text

意思決定へのアプローチ感覚的・場当たり的な意思決定と検証しない⽂化では，PDCAを回せないあるべき意思決定ありがちな意思決定 Plan Do Check Action 根拠に基づく戦略戦略具現化予測と実績の乖離に対する原因分析具体的改善 Plan Do Check Action 感覚的・場当たり的な戦略戦略なき全⽅位的実⾏科学的検証をせず失敗を活かせない単なる次期計画 • 在宅勤務の検証はしたか︖ • 多様性導⼊の検証はしたか︖ • 採⽤基準の検証はしたか︖ 例

Slide 16

Slide 16 text

Slide 17

Slide 17 text

成功事例をマネすればいいのではないか︖

Slide 18

Slide 18 text

成功企業の事例に潜む罠失敗事例を無視し，成功事例から導いた結論は，真実とは⾔い難い．思考を停⽌し，成功企業の事例を集めて，思い込むことが恐ろしい．1 • 成功事例は，失敗事例を無視しており，因果関係を表していない可能性 (例︓成功した経営者は，全員が⽔を飲んだことがある) • 成功ほど⼈間は検証しなため，成功事例が因果関係を表しているのかは不明 (例︓AI導⼊で販売が増加したとされた商品は，テレビ広告を増やしただけ) 1: Denrell, J. (2005). Selection bias and the perils of benchmarking. Harvard Business Review, 83(4), 114-9.

Slide 19

Slide 19 text

選択バイアスを回避した統計学者の意思決定 Denrell, J. (2005). Selection bias and the perils of benchmarking. Harvard Business Review, 83(4), 114-9. 第⼆次世界⼤戦中の⽶軍の意思決定 • 帰還した戦闘機は⾚い点が集中被弾しており，その補強をしようとしていた • しかし，統計学者のワルドは，被弾していない部分を強化すべきと提⾔ • なぜなら，被弾しても帰還できたということは，そこは致命的な部位ではない Image from: Wikipedia 成功事例を集めても因果関係の特定は難しく，そこから仮説を⽴てて検証すべき

Slide 20

Slide 20 text

成功事例から導かれた優秀企業の集落 Smith, G. (2014). Standard deviations: Flawed assumptions, tortured data, and other ways to lie with statistics. Abrams. • エクセレント・カンパニー出版の15年後には，優良企業は43社中5社のみ • 成功企業の統計分析から導かれた結論は，いつも凋落の⼀途を辿る • 成功企業の特徴を探せば何かしら共通点は⾒つかるが，因果効果ではない Tom Peters (1982) エクセレント・カンパニー Jim Collins (1994) ビジョナリー・カンパニー

Slide 21

Slide 21 text

表層の事例ではなく深層の⽂化市場状況・他社動向・組織能⼒がまったく同じ状況でなければ，同じ成功は再現しない⾒えやすい成功事例成功を⽣む意思決定・組織能⼒・⽂化

Slide 22

Slide 22 text

• なによりも根本的な思想に重きを置く • Toyotaの実例を横展開しても，上⼿くいかないことを⼗分に理解 • 実際に教える具体的内容は，製品の特徴・企業の内情・現在の実⼒によって柔軟に変える 1: 藤本隆宏. (2004). ⽇本のもの造り哲学. ⽇本経済新聞社. Toyota式カイゼンは「⽅法」ではなく「思想」書籍等で得た具体内容をマネしただけで満⾜している組織に，思想を植え付けると，短期間で⽣産性が何倍にも⾼まるカイゼンを外部に伝える場合1

Slide 23

Slide 23 text

Toyotaの本当の強み Toyotaのコアは，カンバン⽅式でも，JITでも，TQCでも，ハイブリッドでも，⼈⼯知能でも，資本⼒でもない。それは，「進化能⼒」である。したがって，もしカンバン⽅式より有効な⽅法があれば，すぐにカンバン⽅式を捨てられるのがToyotaである。藤本隆宏. (2004). ⽇本のもの造り哲学. ⽇本経済新聞社.

Slide 24

Slide 24 text

意思決定に必要な材料意思決定に必要な材料は，因果関係である原因結果問題⽣産性の向上プロジェクトチームの多様性閉塞的な思考による商品企画の停滞 (例) ※解決したい問題なきまま，多様性を時代の”義務”と捉えていては効果は⼩さい

Slide 25

Slide 25 text

問題の発⾒仮説⽴案検証意思決定⽀援 • 感染症の原因は負傷ではなく，不衛⽣な環境にあると推察 • ベッド間隔の拡張，換気，シーツの洗浄が効果的と仮説を⽴案 • 繰り返しの検証から，対策の効果を定量的に算出 • 数字嫌いなヴィクトリア⼥王にグラフでわかりやすく説明ナイチンゲールの科学的な意思決定⽀援野戦病院における感染症の発症率低減1 1: 新井紀⼦. (2018). AI vs. 教科書が読めない⼦どもたち. 東洋経済新報社.

Slide 26

Slide 26 text

ビッグデータの相関に溺れる

Slide 27

Slide 27 text

ビッグデータは競合他社も持っているよくある例他社も有するビッグデータから相関を⼤量に抽出結果 … (擬似)相関する多数の変数原因結果あるべき姿解決されていない問題を考え，明らかにされていない因果効果を検証仮説

Slide 28

Slide 28 text

膨⼤な変数を使⽤して分析した場合，疑似相関を新たな発⾒と誤認する危険擬似相関⼩学⽣は⾜のサイズを⼤きくすれば計算能⼒が向上する︖ 計算能⼒年齢⾜のサイズ相関相関疑似相関

Slide 29

Slide 29 text

この商品・サービスのコンセプトは何なのか︖どんな問題を解決してくれるのか︖ AI ウェルネス SDGs サステナブルロボティクス DX コネクテッドシェアリングパーソナライズ世界初オープンイノベーションコトづくりデザインシンキング⾃動運転 VR/AR メタバース電動化 6G 相関に溺れた結末

Slide 30

Slide 30 text

1. そもそも解決したい問題が不明確 2. 問題の原因とその対策(仮説)を考える時間が圧倒的に少ない 3. 設計した調査・検証を実施しない (探索と検証が同じデータ) 4. 再現性を気にせず，1回の検証で結論を導出 5. (⽬的ドリブンではなく)⼿元にあるデータドリブン 6. 信頼性の乏しい膨⼤なデータを気にせず使⽤ 7. (分析の前に)やりたいことが決まってる相関を追い求めやすいプロジェクトの特徴解決したい問題なきまま，トレンドを追い，ビッグデータを集め，相関を探すべからず

Slide 31

Slide 31 text

相関に溺れないために問題に対する仮説を考える

Slide 32

Slide 32 text

狂気的な仮説なきプロジェクト仮説なきまま偶然成功した場合，再現性のない⽅法が正当化されてしまい，最も恐ろしいあるべきプロジェクトの進め⽅仮説なきプロジェクトの進み⽅ • 初めからゴールにいくわけがない • 失敗から学ぶことが重要である • アイディアを検証してみる • 直接ゴールに⾏きたい • 絶対に失敗してはいけない • うまくいったように⾒せる Start Goal Start Goal

Slide 33

Slide 33 text

マーケティングの鉄則 • 仮説なき議論は，ただの雑談 • 仮説なき調査は，⾦持ちの道楽 • 仮説なき分析は，価値のない宝探しゲームすべては仮説から

Slide 34

Slide 34 text

仮説とは解決したい問題に対する因果関係の仮定仮説は，建築する前に設けられ，建物が出来上がると取り払われる⾜場である．⾜場は作業する⼈になくてはならない．ただし，作業する⼈は⾜場を建物だと思ってはならない．ゲーテ原因 x 結果 y 仮説

Slide 35

Slide 35 text

仮説の要件 1 根拠があるデータや経験に基づく論理的な考察ではなく，説明不能な案ではならない．もし⽴証しても，そのメカニズムが不明では，再現性がない． 2 ⾏動を喚起できるその仮説を⽴証することで，具体的な⾏動に繋がらなければ意味がない．もし⽴証しても，観測・⾏動できなければ，対策しようがない． 3 新規性があるすでに実証されていれば，お⾦と時間をかけて取り組む必要がない．ただし，異なる条件下での検証や，再現性の検証は重要である．

Slide 36

Slide 36 text

「先⼈の知」という宝新たな発想はゼロから⽣まれるのではなく，先⼈の知という礎から⽣まれる standing on the shoulders of Giants 巨⼈の肩の上に⽴つ Isaac Newton

Slide 37

Slide 37 text

「ブレスト」ではなく「渾⾝のプレゼンのぶつけあい」解決したい問題が曖昧なまま，事前準備なしの感覚論では仮説は⽣まれないよくあるブレスト • 価値づくりの考え⽅の整合すらできていない寄せ集めメンバー • 所詮その場の思いつきでしかなく，たいしたことは出てこない • “いい感じ”のカスタマージャーニーマップができて⾃⼰満⾜あるべき会議 • 同じ⽬的に対して，各⾃が異なるアプローチで真剣に検討 • ⽂献を⼤量に読み込み，調査し，アイディアを練りにねってくる • 顧客の購⼊意向・⽀払意思額・ロイヤルティに寄与する仮説を導出

Slide 38

Slide 38 text

価値づくりの仕事仮説⽴案検証 • 重要な問題を発⾒したか︖ • どれだけ仮説を考えたか︖ • どれだけ試作したか︖ ・価値を考える・つくる • 科学的に検証しているか︖ • どれだけ検証したか︖ • 消費者の実環境で検証したか︖

Slide 39

Slide 39 text

Slide 40

Slide 40 text

意味の乏しい⼈気投票 • 競合他社の選択肢がない中で選択しても，井の中の蛙の可能性 • この環境下では好ましくても，実際に購⼊されるかは不明 • (すべての候補が並ぶ)実環境ではありえない状況で得た数字 Q. 次の中でどれが最も好ましいか︖ 案A 案B 案C 案D 競合他社

Slide 41

Slide 41 text

科学である条件相関ではなく，因果 (有効性) • 相関と因果は天と地の差であり，因果を推定して効果を主張すること • 因果効果の推定には仮説が必要であり，適切な調査・検証を設計すること偶然ではなく，再現可能 (再現性) • いつ，どこで，だれが検証しても，再現が可能であること • もし主観が必要な場合は，理論に基づいた明確な基準を設定すること思いつきではなく，先⼈の知の上に⽴つ主張 (新規性) • 先⼈の積み重ねた知⾒に基づいて，新たな知⾒を導出すること • “型があるから型破り，型がなければ型なし”

Slide 42

Slide 42 text

最も信頼できる理想的な検証⽅法は「タイムマシン」新しい処置従来の処置未来現在⽐較 Aさん新しい処置をした未来のAさん従来の処置をした未来のAさん

Slide 43

Slide 43 text

「データ=科学的」では断じてなく，信頼性の⾼い検証⽅法を重視すべき科学的根拠としての信頼性メタ分析ランダム化⽐較試験 (RCT) 調査観察研究回帰分析信頼性低⾼複数のランダム化⽐較試験の結果を統合して結論を導出最も信頼性が⾼い因果効果の検証⽅法実験ができない場合に擬似的に無作為割付する⽅法簡単にできるが，未知の交絡因⼦の影響除外は困難

Slide 44

Slide 44 text

因果効果を推定する2つのアプローチランダムに割り当てた実験が可能か否かによって，2つのアプローチに分けられる因果効果の推定実験検証調査観察検証 • 処置を施す処置群と施さない統制群を⽐較 • 最重要ポイントは，2群の無作為割当 • 例︓ランダム化⽐較試験 (RCT) • 理論的・倫理的に, 処置の無作為割当が困難な場合に観察データから因果推定 • 例︓傾向スコア実験ができる場合実験ができない場合

Slide 45

Slide 45 text

“因果効果の検証にRCT以外の⼿法を⽤いては，有害な結論を招く” 新しい処置従来の処置⽐較ランダムに振り分けた同質な2群 • 購⼊意向 • ⽀払意思額ランダム化⽐較試験 (Randomized Controlled Trial, RCT)

Slide 46

Slide 46 text

⾮常に厳しい (=価値づくりに意味がある)評価⽅法のため，簡単に結果は出ないランダム化⽐較試験は厳しい評価⽅法過剰な評価 (⼀対⽐較, 全選択肢提⽰) A B C D 1位︓B 2位︓A 3位︓C 4位︓D ランダム化⽐較試験 A B C D 差異なし (購⼊⾏動に影響のあるものだけを評価) 何の意味︖

Slide 47

Slide 47 text

消費者の実環境に合わせたRCT 消費者の普段の購⼊⾏動環境に合わせないと，実際の結果と乖離が⽣じてしまう調査対象者処置群⾃社商品 +処置あり競合商品1 競合商品K … 統制群⾃社商品 +処置なし競合商品1 競合商品K …

Slide 48

Slide 48 text

処置効果を歪める交絡ビッグデータには⼈間の直感ではわからない交絡変数にまみれている興味のある処置変数以外の変数に偏りがあるために，処置効果の推定にバイアスがかかることを交絡と呼ぶ⾼⾎圧 (処置) ⾼収⼊ (結果) 年齢 (交絡変数) 交絡変数︓処置と結果の両⽅に影響する変数

Slide 49

Slide 49 text

ランダム化しないと⽣じる交絡変数観察で⼿に⼊れたデータは，交絡変数の影響を受けており，因果効果は不明例︓1⽇平均10時間のゲームは寿命を縮めるか︖ 観察データの場合，10時間ゲームをしている⼈は， - 働いておらず，所得が低い可能性 - 運動が不⾜している可能性 - 不健康な⾷事ばかりしている可能性 - すでに病気を患っている可能性といった交絡要因が多数影響することが想定される．

Slide 50

Slide 50 text

もっての外である前後⽐較あまりに多くのバイアスを受ける単純な(1群の)前後⽐較は，占いの世界と同じ平均への回帰施策前が偶然低いスコアだった場合，施策後は何もしなくともスコアが向上経時的な変化多様な時系列効果と施策の真の効果を分けて抽出することは困難異なる対象者施策前後でまったく性質が異なる消費者で⽐較している可能性施策前後の⽐較をすべきでない理由

Slide 51

Slide 51 text

RCTに基づいた意思決定の実践 1: Iyer, B., Davenport, T. H. (2008). Reverse engineering Google's innovation machine. Harvard Business Review, 86(4), 58-68. 2:伊藤公⼀朗. (2017). データ分析の⼒因果関係に迫る思考法 (光⽂社新書). • 意思決定は分析的かつ⺠主的 (≠感覚的・官僚的) • ⽇々何千件という無作為抽出によるRCTを実施 • デザインや広告，⾔葉遣いまで，科学で決定 Google • 経済学の博⼠が分析部隊を率いる • 「UberはRCTに積極的」と⼤学に呼びかけ • ダイナミックプライシングを科学的検証から推定 Uber

Slide 52

Slide 52 text

ランダム化⽐較試験で検証すべき消費者の知覚認知消費者が知らないと何も始まらない「買いたいほどではない」では価値ではない「安いなら買う」では価値が低い「1回で⼗分」では利益率が低い (再購⼊意向・推奨意向) コンセプトが理由でなければ再現性が低い購⼊意向⽀払意思額ロイヤルティコンセプト想起率

Slide 53

Slide 53 text

RCTの調査設計のカギ環境によって⾏動は⼤きく変わるため，物理的・⼼理的環境の設計が肝ホーソン効果注⽬を浴びることで，期待に応えようとする⼼理から，⾏動に良い変化が起きる被験者に「誰が・何の検証を・どうやってしているのか」を意識させない • 普段の環境と異なる要素はないか︖ • 処置の説明をしてしまっていないか︖ • 普段意識することがない項⽬を無理に聞いていないか︖ ⽣産性向上の検証1 • ⼯場における照明の明るさや，報酬・休憩時間が⽣産性に与える影響を検証 • 従業員は実験対象に選ばれ，注⽬されているという意識から⽣産性が向上した 1: Mayo, E. (1933). The human problems of an industrial civilization. New York, Macmillan. (村本栄⼀訳. (1967). 産業⽂明における⼈間問題ホーソン実験とその展開.⽇本能率協会)

Slide 54

Slide 54 text

意思決定に不可⽋な2つの視点アートとサイエンスは選ぶものではなく，どちらも不可⽋である将来の消費者感覚でアイディアを導出現在の消費者感覚で科学的根拠を導出アートサイエンス

Slide 55

Slide 55 text

ランダム化⽐較試験後の検定

Slide 56

Slide 56 text

データ形式別の統計検定⽅法ランダム化⽐較試験で得たデータは，形式に基づいて，適切な検定⽅法を選択フリードマン検定ウェルチのt検定スチューデントのt検定対応のあるt検定分散分析カイ⼆乗検定フィッシャー正確確率検定ブルンナー・ムンツェル検定ウィルコクソンの順位和検定マン-ホイットニーのU検定フィッシャーの正確確率検定ウィルコクソンの符号順位検定マクネマー検定クラスカル・ウォリス検定データ形式連続カテゴリー・2値正規分布 2群対応あり多群非正規分布 2群対応なし対応あり多群等分散等分散を仮定しない 2群対応なしセル内件数が多いセル内件数が少ない対応あり多群対応のある t検定分散分析ブルンナー・ムンツェル検定ウィルコクソンの符号順位検定フリードマン検定ウィルコクソンの順位和検定 or マン-ホイットニーのU 検定カイ二乗検定フィッシャーの正確確率検定マクネマー検定対応なし等分散等分散を仮定しないウェルチのt 検定スチューデントのt検定クラスカル・ウォリス検定対応なし対応ありセル内件数が多いセル内件数が少ないカイ二乗検定フィッシャーの正確確率検定

Slide 57

Slide 57 text

Slide 58

Slide 58 text

因果効果を推定する2つのアプローチ因果効果の推定実験検証調査観察検証 • 処置を施す処置群と施さない統制群を⽐較 • 最重要ポイントは，2群の無作為割当 • 例︓ランダム化⽐較試験 (RCT) • 理論的・倫理的に, 処置の無作為割当が困難な場合に観察データから因果推定 • 例︓傾向スコア実験ができる場合実験ができない場合

Slide 59

Slide 59 text

観察データからそのまま結論を導くべきではない「仮説の導出」と「仮説の検証」を，同じ調査・データで⾏っては断じてならない • ランダム化していない観察データは⼈間が気付かない交絡変数だらけで，因果効果を評価することは困難である • 観察データからパターンを導き出し，仮説を導出することは有益だが，仮説を「証明された理論」と勘違いして意思決定してはいけない • AI×ビッグデータは(擬似)相関まみれの汚い結果であることを認識し，専⽤の調査によってランダム化⽐較試験を必ず⾏う

Slide 60

Slide 60 text

調査観察研究の代表⼿法︓傾向スコア特徴(傾向スコア)が類似している⼈をマッチングし，事後的に両群を同質化 ※⼤きさ=傾向スコアこの2群で効果を⽐較効果観察した集団マッチングした集団⽐較検証処置群統制群 vs

Slide 61

Slide 61 text

調査観察研究の代表例 2社の⽔道利⽤者のうち，属性を同質化して，⽔道の影響を因果評価 1894年ロンドンにおけるコレラの発⽣原因の特定 • コレラの原因は，汚染された空気と考えられていた • 「テムズ川に放出された下⽔を飲み⽔に循環していることが原因」と仮説⽴案 • ランダム化⽐較試験の実施は困難なため，調査観察研究の実施を模索 • ちょうどその時期に，ロンドンの2⼤⽔道局の1社が，テムズ川以外の地域から⽔を引く⼯事を実施したため，2社の⽔道利⽤者の差異を検証した • その結果，テムズ川の⽔道利⽤者に有意にコレラが発⽣したことが判明 Smith, G. (2014). Standard deviations: Flawed assumptions, tortured data, and other ways to lie with statistics. Abrams.

Slide 62

Slide 62 text

傾向スコアの限界すべての変数を網羅して，事後的に完全に同質化することは不可能ゆえ，最終的にはランダム化⽐較試験の結果で判断すべき

Slide 63

Slide 63 text

Slide 64

Slide 64 text

まとめ • ⼈間の意思決定は，あまりに多くのノイズとバイアスの影響を無意識に受けているため，成功確率を⾼めるには科学的検証が重要である • 失敗事例を無視して，成功事例から導いた結論は真実とは⾔い難く，異なる状況下でマネしても再現性は乏しい • 競合も有するデータから相関を導出しても，類似商品が溢れるだけ．解決されていない問題の発⾒と仮説⽴案・検証が差別化の源泉となる • 巨⼈の肩に乗って，根拠があり，⾏動を喚起する，新しい仮説を⽴案 • ランダムに割り当てた実験が可能な場合はランダム化，倫理的な問題等から困難な場合は傾向スコアに代表される調査観察研究を⾏う

Slide 65

Slide 65 text

END