事業の役に立つ「因果推論」

事業の役に立つ  「因果推論」  @DS協会シンポジウム  2020.11.9  安井翔太 

2 自己紹介  名前：安井翔太（33）職業：Economic Research Scientist Data Science Center 副所長
経歴： 2011年立教大学経済学部卒業 2013年 Norwegian School of Economics MSc in Economics 2013年 Cyberagent 入社（総合職, 微妙な分析の量産） 2015年アドテク部門へ異動（専門職, MLの応用） 2017年 AILabへ異動（研究職, ML + CI回りの応用） @housecat442 

書籍紹介  • 効果検証に関する本を書きました  • 因果推論/計量経済学を使った効果の検証  • 今日の前半部分の内容 

おことわり  今日の内容は・・・  • ✖「因果推論」が事業に役立つという宣伝  • ◦「因果推論」だけで頑張ると無事死亡という話  4

今日の内容  1. 因果推論の大体の話  2. 「事業に役立つ」因果推論  5

1.因果推論の大体の話  効果検証の入門の入門 

効果検証（因果推論）の大まかなイメージ  1.効果を定義する  2.統計学を使って  データから効果を推定する 

効果の定義  何かしらの施策   世界線Aの鍋   世界線Bの鍋   9 鍋  •
鍋Aと鍋Bの味の差（効果）を知りたい  塩を加えるか否か...  

Donald Rubin@Harvard   ポテンシャル　アウトカムフレームワーク  Potential Outcome Framework  世界線Bの鍋の味
  世界線Aの鍋の味   施策の効果  

効果検証（因果推論）の大まかなイメージ  1.効果を定義する  2.統計学を使って  データから効果を推定する  世界線Bの鍋の味   世界線Aの鍋の味   施策の効果  

統計学とは？  手元にあるデータから、母集団のことを考えるための学問    • 例: 味噌汁  ◦ 味噌汁の味見をするとき、全部飲むのではなく小皿ですくって確認する    •
ざっくりした用語のまとめ  ◦ パラメータ(期待値): 鍋全体の塩辛さ  ◦ 推定量(平均): 小皿の塩辛さ  ◦ 推定値: 推定量の実際の値のこと。（データで得られる値）   12

効果検証（因果推論）の大まかなイメージ  1.効果を定義する  2.統計学を使って  データから効果を推定する  世界線Bの鍋の味   世界線Aの鍋の味   施策の効果  
母集団  手元のデータ  サンプリング 

1.因果推論の大体の話  簡単な例 

クーポンの効果を考える  クーポンを付与（介入）  世界線Aのユーザー i さん   ユーザー i さん 
15 世界線Bのユーザー i さん   購入：2000円  購入：3000円  ECサイトであるユーザーにクーポンを配布  

クーポンの効果を考える  16 クーポンを付与（介入）  世界線Bのユーザー   世界線Aのユーザー   購入：3000円  購入：2000円 
効果：1000円 

理想的なデータ  17 • クーポンをユーザーに割り振る  • クーポンがある場合とない場合の売上がわかるとする  • 差分を取ればクーポンの効果が1000円であることがわかる 

因果推論の根本問題  クーポンを付与（介入）  世界線Aのユーザー   ユーザー  同時に観測が  できない  18 世界線Bのユーザー
  購入：2000円  購入：3000円 

実際に得られるデータ  19 • クーポンを渡せば、クーポンのありの売り上げが観測される。  • クーポンを渡さなければ、クーポンなしの売り上げが観測される。  • 直接差分を計算することはもう出来ない。 

適当な集計の問題  20 クーポンが配布されなかった   ユーザーの平均売り上げ   クーポンが配布された   ユーザーの平均売り上げ  
１０００円  ３０００円  効果は  ２０００円？ 

セレクションバイアスの問題  21 クーポンがなくても  発生する売上  クーポンの効果  １０００円  単純な比較で  効果と思い込む部分   ２０００円 
セレクション   バイアス 

バイアスの発生にはパターンがある  • 介入Zは何かしらの意思決定を元に割り振られる  ◦ 誰が、何のために、何を参照して割り振っているか？    • クーポンの場合・・・  ◦ 担当者がクーポン施策の成功を目指して割り振る。 
◦ 何をもって成功と考えるか？  ▪ 単純な集計の結果で売り上げが高くなることを成功とすると・・・   22

（↑）手法に関してはこちらを参照   因果推論でやること  • ゴール：効果を推定すること  • やること  ◦ バイアスの原因を考える（因果グラフ）  ◦
原因に該当しそうな変数を入手する  ◦ 変数を利用して効果を推定する  • うまく行けば・・・  ◦ 真の効果が推定できる  ◦ 実際うまく行っているかは結構わからない 

2.事業の役に立つ「因果推論」 

因果推論を学んだ直後の発想  • 因果推論によってより正確な情報がわかりますね  25

因果推論を学んだ直後の発想  • 因果推論によってより正確な情報がわかりますね  • これで重要な意思決定が行えたら最高ですね  26

因果推論を学んだ直後の発想  • 因果推論によってより正確な情報がわかりますね  • これで重要な意思決定が行えたら最高ですね  • 「これ、効果ないのでやめましょう」ﾄﾞﾔｧ   27

因果推論を学んだ直後の発想  • 因果推論によってより正確な情報がわかりますね  • これで重要な意思決定が行えたら最高ですね  • 「これ、効果ないのでやめましょう」ﾄﾞﾔｧ • 「エビデンス重要ですよね」ﾄﾞﾔｧ  
28

そして起きること  • 因果推論によってより正確な情報がわかりますね  • これで重要な意思決定が行えたら最高ですね  • 「これ、効果ないのでやめましょう」ﾄﾞﾔｧ • 「エビデンス重要ですよね」ﾄﾞﾔｧ  
29 おーなるほど！面白いね！でもこれは必要だからやろっかw 意思決定レイヤー   ※意思決定する人に対して悪意があるわけではないですw  

経済学者も経験済み  30 Steven Levvit  @Chicago  • ヤバい経済学の著者で知られているSteven Levvit   •
ある小売企業の役員会にアドバイザーとして参画   今から紹介する話の出典→ 

ピッツバーグの小話  31 Steven Levvit  @Chicago  • チラシの広告は効果があるはず   役員との議論 

ピッツバーグの小話  32 Steven Levvit  @Chicago  • チラシの広告は効果があるはず   本当に効果があるのか実験してみてはどうか？
役員との議論 

ピッツバーグの小話  33 Steven Levvit  @Chicago  • チラシの広告は効果があるはず   • 広告半分止めるとか、CEOに怒ら
れるから無理無理  本当に効果があるのか実験してみてはどうか？役員との議論 

れるから無理無理  本当に効果があるのか実験してみてはどうか？むっちゃ怒られてたピッツバーグの少年いたよねw →バイトの少年の手違いでピッツバーグでは広告が出なかった時期があった役員との議論 

れるから無理無理  少年の手違いを分析 →チラシの効果がなさそうむっちゃ怒られてたピッツバーグの少年いたよねw →バイトの少年の手違いでピッツバーグでは広告が出なかった時期があった (自然実験) 役員との議論 

れるから無理無理  • （New!）広告半分止めるとか、CEO に怒られるから無理無理   少年の手違いを分析 →チラシの効果がなさそう →・・・むっちゃ怒られてたピッツバーグの少年いたよねw →バイトの少年の手違いでピッツバーグでは広告が出なかった時期があった (自然実験) 役員との議論 

事業の役に立たない因果推論  • 結局ビジネス的には何も変わっていない  • なぜこうなってしまうのか？  • どうすれば意思決定を変えられるのか？  37

分析者が考えがちなこと  38 正しい情報を出すことこそが自分の役割 

分析者が考えがちなこと  39 広告半分止めるとか、   CEOに怒られるから   無理無理

多分必要だったもの  40 意思決定方法の文化の改革・上手く行かなかった時の覚悟・  正しい情報・etc... 

多分必要だったもの  41 意思決定方法の文化の改革・上手く行かなかった時の覚悟・  正しい情報・etc...  →分析技術のサプライチェーン 

分析技術のサプライチェーン  42 データ分析技術分析レポート意思決定実施ビジネスへの影響

意思決定レイヤー 

何ができるか？  • 分析のサプライチェーンを社内に構築する  ◦ 実験とデータを尊重する文化の構築  • 別のタスクに取り組む  ◦ 分析の結果を様々な場所で試して経験を積む  44

文化を構築しつつある企業  45 +1000 test /day +200 test /day 2013年に行われていたABテストの数  
→1000 test/day in 2017   出典）A/B Testing at Scale Tutorial given at SIGIR 2017 and KDD 2017)

テック企業以外でも・・・  46

今日からできそうな事  • 偉くなる：自分が意思決定する身分になる  ◦ プロダクトマネージャーになる（デザイナーとかも選択肢？）  ◦ 企業内で重鎮化する（例：Googleの経済学者 Hal Varian  Eric
SchmitはHal Varianの影響で部下のレポートに傾向スコアを使ったか確認してたらしい（ソース; 30:45くらい）    • 使い所を選ぶ：分析が意思決定に直結する場所を探す  ◦ 例えば：意思決定が自動化されている場所  ▪ 機械学習を使った意思決定：予測が◎◎ならXXする   ▪ ルールを使った意思決定：◎◎の条件に該当するならXXする   ▪ 自動化される場所は今後も増える・・・はず   47

自動的な意思決定 

自動化を前提とした因果推論の応用  1. XXする効果を検証する  2. 機械学習の効果を検証する  3. 効果の出せる機械学習を設計する  49

①XXする効果を検証する  • 自動的な意思決定の例  ◦ 予測値が50%以上なら、値段を100円上げる。  ◦ 去年の購入が3000円以上なら、値段を100円上げる。  • この時の介入は値段の変更  ◦
別に200円あげても良いし、値下げしても良い。  50

XXする効果を検証する  51 • Uberの論文から拝借   ◦ Steven Levvitも著者の1人   •
機械学習と価格変更   ◦ 需要予測が一定以上になると価格を上げる  ◦ さらに需要予測が上がるとさらに上がる  • 価格の変化点ではほぼ実験になっている   ◦ RDDを使って分析  ◦ 価格変更の効果を推定した   →需要曲線の推定（観測）  

②機械学習の効果を検証する    52 x candidates A = {a,b,c,d} b Y_b
Predict + decision dataset X, A, Y x candidates A = {a,b,c,d} b Y_b Predict + decision モデルの学習と更新 1日この仕組みを回す更新したモデルで回すデータの蓄積 new system c Y_b ex)線形回帰→DNN

②機械学習の効果を検証する  • 予測モデルの影響を検証する  ◦ 売り上げや利益の比較を行う  ◦ A/Bテストが使えなければ因果推論（よくある）  • 意思決定の影響を事前に検証する  ◦
いわゆるOff-Policy Evaluation  ◦ 詳細は・・・  ▪ 資料1＠CFML勉強会 by安井  ▪ 資料2@CFML勉強会 by斎藤さん＠半熟仮想   53

③効果の出せる機械学習を設計する  • 機械学習の評価は売上や利益への因果効果  • 目的関数を再設計する  ◦ 予測性能を最大化するのは遠回り  ◦ 因果効果を直接最大化する  ◦
いわゆるOff-Policy Learning  54

※①に関しては効果検証入門にいくらか解説があります。  ②③の詳細は・・・  CFML勉強会へご参加を！  各種応用や理論が紹介されています   Coming Soon... 現在２冊目を執筆中   with
斎藤優太さん(半熟仮想/東工大)  

まとめ  • 因果推論だけを武器として持ち込むと爆死  • 正しい情報が意思決定を変える環境を作るか? 選ぶか?  ◦ 作るのは長期戦、環境によっては無理ゲー。  ◦
選び先としてAI/機械学習は有力。  • AIのある環境での因果推論の使い方が大事？  56

57 Enjoy! 

事業の役に立つ 「因果推論」

事業の役に立つ 「因果推論」

More Decks by Shota Yasui

Other Decks in Science

Featured

Transcript

事業の役に立つ「因果推論」

事業の役に立つ「因果推論」