事業の役に立つ「因果推論」

Slide 1

Slide 1 text

事業の役に立つ  「因果推論」  @DS協会シンポジウム  2020.11.9  安井翔太 

Slide 2

Slide 2 text

2 自己紹介  名前：安井翔太（33）職業：Economic Research Scientist Data Science Center 副所長経歴： 2011年立教大学経済学部卒業 2013年 Norwegian School of Economics MSc in Economics 2013年 Cyberagent 入社（総合職, 微妙な分析の量産） 2015年アドテク部門へ異動（専門職, MLの応用） 2017年 AILabへ異動（研究職, ML + CI回りの応用） @housecat442 

Slide 3

Slide 3 text

書籍紹介  ● 効果検証に関する本を書きました  ● 因果推論/計量経済学を使った効果の検証  ● 今日の前半部分の内容 

Slide 4

Slide 4 text

おことわり  今日の内容は・・・  ● ✖「因果推論」が事業に役立つという宣伝  ● ○「因果推論」だけで頑張ると無事死亡という話  4

Slide 5

Slide 5 text

今日の内容  1. 因果推論の大体の話  2. 「事業に役立つ」因果推論  5

Slide 6

Slide 6 text

1.因果推論の大体の話  効果検証の入門の入門 

Slide 7

Slide 7 text

効果検証（因果推論）の大まかなイメージ  1.効果を定義する  2.統計学を使って  データから効果を推定する 

Slide 8

Slide 8 text

効果検証（因果推論）の大まかなイメージ  1.効果を定義する  2.統計学を使って  データから効果を推定する 

Slide 9

Slide 9 text

効果の定義  何かしらの施策   世界線Aの鍋   世界線Bの鍋   9 鍋  ● 鍋Aと鍋Bの味の差（効果）を知りたい  塩を加えるか否か...  

Slide 10

Slide 10 text

Donald Rubin@Harvard   ポテンシャル　アウトカムフレームワーク  Potential Outcome Framework  世界線Bの鍋の味   世界線Aの鍋の味   施策の効果  

Slide 11

Slide 11 text

効果検証（因果推論）の大まかなイメージ  1.効果を定義する  2.統計学を使って  データから効果を推定する  世界線Bの鍋の味   世界線Aの鍋の味   施策の効果  

Slide 12

Slide 12 text

統計学とは？  手元にあるデータから、母集団のことを考えるための学問    ● 例: 味噌汁  ○ 味噌汁の味見をするとき、全部飲むのではなく小皿ですくって確認する    ● ざっくりした用語のまとめ  ○ パラメータ(期待値): 鍋全体の塩辛さ  ○ 推定量(平均): 小皿の塩辛さ  ○ 推定値: 推定量の実際の値のこと。（データで得られる値）   12

Slide 13

Slide 13 text

効果検証（因果推論）の大まかなイメージ  1.効果を定義する  2.統計学を使って  データから効果を推定する  世界線Bの鍋の味   世界線Aの鍋の味   施策の効果   母集団  手元のデータ  サンプリング 

Slide 14

Slide 14 text

1.因果推論の大体の話  簡単な例 

Slide 15

Slide 15 text

クーポンの効果を考える  クーポンを付与（介入）  世界線Aのユーザー i さん   ユーザー i さん  15 世界線Bのユーザー i さん   購入：2000円  購入：3000円  ECサイトであるユーザーにクーポンを配布  

Slide 16

Slide 16 text

クーポンの効果を考える  16 クーポンを付与（介入）  世界線Bのユーザー   世界線Aのユーザー   購入：3000円  購入：2000円  効果：1000円 

Slide 17

Slide 17 text

理想的なデータ  17 ● クーポンをユーザーに割り振る  ● クーポンがある場合とない場合の売上がわかるとする  ● 差分を取ればクーポンの効果が1000円であることがわかる 

Slide 18

Slide 18 text

因果推論の根本問題  クーポンを付与（介入）  世界線Aのユーザー   ユーザー  同時に観測が  できない  18 世界線Bのユーザー   購入：2000円  購入：3000円 

Slide 19

Slide 19 text

実際に得られるデータ  19 ● クーポンを渡せば、クーポンのありの売り上げが観測される。  ● クーポンを渡さなければ、クーポンなしの売り上げが観測される。  ● 直接差分を計算することはもう出来ない。 

Slide 20

Slide 20 text

適当な集計の問題  20 クーポンが配布されなかった   ユーザーの平均売り上げ   クーポンが配布された   ユーザーの平均売り上げ   １０００円  ３０００円  効果は  ２０００円？ 

Slide 21

Slide 21 text

セレクションバイアスの問題  21 クーポンがなくても  発生する売上  クーポンの効果  １０００円  単純な比較で  効果と思い込む部分   ２０００円  セレクション   バイアス 

Slide 22

Slide 22 text

バイアスの発生にはパターンがある  ● 介入Zは何かしらの意思決定を元に割り振られる  ○ 誰が、何のために、何を参照して割り振っているか？    ● クーポンの場合・・・  ○ 担当者がクーポン施策の成功を目指して割り振る。  ○ 何をもって成功と考えるか？  ■ 単純な集計の結果で売り上げが高くなることを成功とすると・・・   22

Slide 23

Slide 23 text

（↑）手法に関してはこちらを参照   因果推論でやること  ● ゴール：効果を推定すること  ● やること  ○ バイアスの原因を考える（因果グラフ）  ○ 原因に該当しそうな変数を入手する  ○ 変数を利用して効果を推定する  ● うまく行けば・・・  ○ 真の効果が推定できる  ○ 実際うまく行っているかは結構わからない 

Slide 24

Slide 24 text

2.事業の役に立つ「因果推論」 

Slide 25

Slide 25 text

因果推論を学んだ直後の発想  ● 因果推論によってより正確な情報がわかりますね  25

Slide 26

Slide 26 text

因果推論を学んだ直後の発想  ● 因果推論によってより正確な情報がわかりますね  ● これで重要な意思決定が行えたら最高ですね  26

Slide 27

Slide 27 text

因果推論を学んだ直後の発想  ● 因果推論によってより正確な情報がわかりますね  ● これで重要な意思決定が行えたら最高ですね  ● 「これ、効果ないのでやめましょう」ﾄﾞﾔｧ   27

Slide 28

Slide 28 text

因果推論を学んだ直後の発想  ● 因果推論によってより正確な情報がわかりますね  ● これで重要な意思決定が行えたら最高ですね  ● 「これ、効果ないのでやめましょう」ﾄﾞﾔｧ ● 「エビデンス重要ですよね」ﾄﾞﾔｧ   28

Slide 29

Slide 29 text

そして起きること  ● 因果推論によってより正確な情報がわかりますね  ● これで重要な意思決定が行えたら最高ですね  ● 「これ、効果ないのでやめましょう」ﾄﾞﾔｧ ● 「エビデンス重要ですよね」ﾄﾞﾔｧ   29 おーなるほど！面白いね！でもこれは必要だからやろっかw 意思決定レイヤー   ※意思決定する人に対して悪意があるわけではないですw  

Slide 30

Slide 30 text

経済学者も経験済み  30 Steven Levvit  @Chicago  ● ヤバい経済学の著者で知られているSteven Levvit   ● ある小売企業の役員会にアドバイザーとして参画   今から紹介する話の出典→ 

Slide 31

Slide 31 text

ピッツバーグの小話  31 Steven Levvit  @Chicago  ● チラシの広告は効果があるはず   役員との議論 

Slide 32

Slide 32 text

ピッツバーグの小話  32 Steven Levvit  @Chicago  ● チラシの広告は効果があるはず   本当に効果があるのか実験してみてはどうか？役員との議論 

Slide 33

Slide 33 text

ピッツバーグの小話  33 Steven Levvit  @Chicago  ● チラシの広告は効果があるはず   ● 広告半分止めるとか、CEOに怒られるから無理無理  本当に効果があるのか実験してみてはどうか？役員との議論 

Slide 34

Slide 34 text

ピッツバーグの小話  34 Steven Levvit  @Chicago  ● チラシの広告は効果があるはず   ● 広告半分止めるとか、CEOに怒られるから無理無理  本当に効果があるのか実験してみてはどうか？むっちゃ怒られてたピッツバーグの少年いたよねw →バイトの少年の手違いでピッツバーグでは広告が出なかった時期があった役員との議論 

Slide 35

Slide 35 text

ピッツバーグの小話  35 Steven Levvit  @Chicago  ● チラシの広告は効果があるはず   ● 広告半分止めるとか、CEOに怒られるから無理無理  少年の手違いを分析 →チラシの効果がなさそうむっちゃ怒られてたピッツバーグの少年いたよねw →バイトの少年の手違いでピッツバーグでは広告が出なかった時期があった (自然実験) 役員との議論 

Slide 36

Slide 36 text

ピッツバーグの小話  36 Steven Levvit  @Chicago  ● チラシの広告は効果があるはず   ● 広告半分止めるとか、CEOに怒られるから無理無理  ● （New!）広告半分止めるとか、CEO に怒られるから無理無理   少年の手違いを分析 →チラシの効果がなさそう →・・・むっちゃ怒られてたピッツバーグの少年いたよねw →バイトの少年の手違いでピッツバーグでは広告が出なかった時期があった (自然実験) 役員との議論 

Slide 37

Slide 37 text

事業の役に立たない因果推論  ● 結局ビジネス的には何も変わっていない  ● なぜこうなってしまうのか？  ● どうすれば意思決定を変えられるのか？  37

Slide 38

Slide 38 text

分析者が考えがちなこと  38 正しい情報を出すことこそが自分の役割 

Slide 39

Slide 39 text

分析者が考えがちなこと  39 広告半分止めるとか、   CEOに怒られるから   無理無理

Slide 40

Slide 40 text

多分必要だったもの  40 意思決定方法の文化の改革・上手く行かなかった時の覚悟・  正しい情報・etc... 

Slide 41

Slide 41 text

多分必要だったもの  41 意思決定方法の文化の改革・上手く行かなかった時の覚悟・  正しい情報・etc...  →分析技術のサプライチェーン 

Slide 42

Slide 42 text

分析技術のサプライチェーン  42 データ分析技術分析レポート意思決定実施ビジネスへの影響

Slide 43

Slide 43 text

分析技術のサプライチェーン  43 データ分析技術分析レポート意思決定実施ビジネスへの影響意思決定レイヤー 

Slide 44

Slide 44 text

何ができるか？  ● 分析のサプライチェーンを社内に構築する  ○ 実験とデータを尊重する文化の構築  ● 別のタスクに取り組む  ○ 分析の結果を様々な場所で試して経験を積む  44

Slide 45

Slide 45 text

文化を構築しつつある企業  45 +1000 test /day +200 test /day 2013年に行われていたABテストの数   →1000 test/day in 2017   出典）A/B Testing at Scale Tutorial given at SIGIR 2017 and KDD 2017)

Slide 46

Slide 46 text

テック企業以外でも・・・  46

Slide 47

Slide 47 text

今日からできそうな事  ● 偉くなる：自分が意思決定する身分になる  ○ プロダクトマネージャーになる（デザイナーとかも選択肢？）  ○ 企業内で重鎮化する（例：Googleの経済学者 Hal Varian  Eric SchmitはHal Varianの影響で部下のレポートに傾向スコアを使ったか確認してたらしい（ソース; 30:45くらい）    ● 使い所を選ぶ：分析が意思決定に直結する場所を探す  ○ 例えば：意思決定が自動化されている場所  ■ 機械学習を使った意思決定：予測が◎◎ならXXする   ■ ルールを使った意思決定：◎◎の条件に該当するならXXする   ■ 自動化される場所は今後も増える・・・はず   47

Slide 48

Slide 48 text

分析技術のサプライチェーン  48 データ分析技術分析レポート意思決定実施ビジネスへの影響自動的な意思決定 

Slide 49

Slide 49 text

自動化を前提とした因果推論の応用  1. XXする効果を検証する  2. 機械学習の効果を検証する  3. 効果の出せる機械学習を設計する  49

Slide 50

Slide 50 text

①XXする効果を検証する  ● 自動的な意思決定の例  ○ 予測値が50%以上なら、値段を100円上げる。  ○ 去年の購入が3000円以上なら、値段を100円上げる。  ● この時の介入は値段の変更  ○ 別に200円あげても良いし、値下げしても良い。  50

Slide 51

Slide 51 text

XXする効果を検証する  51 ● Uberの論文から拝借   ○ Steven Levvitも著者の1人   ● 機械学習と価格変更   ○ 需要予測が一定以上になると価格を上げる  ○ さらに需要予測が上がるとさらに上がる  ● 価格の変化点ではほぼ実験になっている   ○ RDDを使って分析  ○ 価格変更の効果を推定した   →需要曲線の推定（観測）  

Slide 52

Slide 52 text

②機械学習の効果を検証する    52 x candidates A = {a,b,c,d} b Y_b Predict + decision dataset X, A, Y x candidates A = {a,b,c,d} b Y_b Predict + decision モデルの学習と更新 1日この仕組みを回す更新したモデルで回すデータの蓄積 new system c Y_b ex)線形回帰→DNN

Slide 53

Slide 53 text

②機械学習の効果を検証する  ● 予測モデルの影響を検証する  ○ 売り上げや利益の比較を行う  ○ A/Bテストが使えなければ因果推論（よくある）  ● 意思決定の影響を事前に検証する  ○ いわゆるOff-Policy Evaluation  ○ 詳細は・・・  ■ 資料1＠CFML勉強会 by安井  ■ 資料2@CFML勉強会 by斎藤さん＠半熟仮想   53

Slide 54

Slide 54 text

③効果の出せる機械学習を設計する  ● 機械学習の評価は売上や利益への因果効果  ● 目的関数を再設計する  ○ 予測性能を最大化するのは遠回り  ○ 因果効果を直接最大化する  ○ いわゆるOff-Policy Learning  54

Slide 55

Slide 55 text

※①に関しては効果検証入門にいくらか解説があります。  ②③の詳細は・・・  CFML勉強会へご参加を！  各種応用や理論が紹介されています   Coming Soon... 現在２冊目を執筆中   with 斎藤優太さん(半熟仮想/東工大)  

Slide 56

Slide 56 text

まとめ  ● 因果推論だけを武器として持ち込むと爆死  ● 正しい情報が意思決定を変える環境を作るか? 選ぶか?  ○ 作るのは長期戦、環境によっては無理ゲー。  ○ 選び先としてAI/機械学習は有力。  ● AIのある環境での因果推論の使い方が大事？  56

Slide 57

Slide 57 text

57 Enjoy! 