Upgrade to Pro — share decks privately, control downloads, hide ads and more …

事業の役に立つ 「因果推論」

019abed4c3338ed64d8060cf2fe91ab1?s=47 Shota Yasui
November 09, 2020

事業の役に立つ 「因果推論」

019abed4c3338ed64d8060cf2fe91ab1?s=128

Shota Yasui

November 09, 2020
Tweet

Transcript

  1. 事業の役に立つ
 「因果推論」
 @DS協会シンポジウム
 2020.11.9
 安井翔太


  2. 2 自己紹介
 名前:安井翔太(33) 職業:Economic Research Scientist Data Science Center 副所長

    経歴: 2011年 立教大学 経済学部卒業 2013年 Norwegian School of Economics MSc in Economics 2013年 Cyberagent 入社(総合職, 微妙な分析の量産) 2015年 アドテク部門へ異動(専門職, MLの応用) 2017年 AILabへ異動(研究職, ML + CI回りの応用) @housecat442

  3. 書籍紹介
 • 効果検証に関する本を書きました
 • 因果推論/計量経済学を使った効果の検証
 • 今日の前半部分の内容


  4. おことわり
 今日の内容は・・・
 • ✖「因果推論」が事業に役立つという宣伝
 • ◦「因果推論」だけで頑張ると無事死亡という話
 4

  5. 今日の内容
 1. 因果推論の大体の話
 2. 「事業に役立つ」因果推論
 5

  6. 1.因果推論の大体の話
 効果検証の入門の入門


  7. 効果検証(因果推論)の大まかなイメージ
 1.効果を定義する
 2.統計学を使って
 データから効果を推定する


  8. 効果検証(因果推論)の大まかなイメージ
 1.効果を定義する
 2.統計学を使って
 データから効果を推定する


  9. 効果の定義
 何かしらの施策 
 世界線Aの鍋 
 世界線Bの鍋 
 9 鍋
 •

    鍋Aと鍋Bの味の差(効果)を知りたい
 塩を加えるか否か... 

  10. Donald Rubin@Harvard 
 ポテンシャル  アウトカム フレームワーク
 Potential Outcome Framework
 世界線Bの鍋の味

    
 世界線Aの鍋の味 
 施策の効果 

  11. 効果検証(因果推論)の大まかなイメージ
 1.効果を定義する
 2.統計学を使って
 データから効果を推定する
 世界線Bの鍋の味 
 世界線Aの鍋の味 
 施策の効果 


  12. 統計学とは?
 手元にあるデータから、母集団のことを考えるための学問
 
 • 例: 味噌汁
 ◦ 味噌汁の味見をするとき、全部飲むのではなく小皿ですくって確認する
 
 •

    ざっくりした用語のまとめ
 ◦ パラメータ(期待値): 鍋全体の塩辛さ
 ◦ 推定量(平均): 小皿の塩辛さ
 ◦ 推定値: 推定量の実際の値のこと。(データで得られる値) 
 12
  13. 効果検証(因果推論)の大まかなイメージ
 1.効果を定義する
 2.統計学を使って
 データから効果を推定する
 世界線Bの鍋の味 
 世界線Aの鍋の味 
 施策の効果 


    母集団
 手元のデータ
 サンプリング

  14. 1.因果推論の大体の話
 簡単な例


  15. クーポンの効果を考える
 クーポンを付与(介 入)
 世界線Aのユーザー i さん 
 ユーザー i さん


    15 世界線Bのユーザー i さん 
 購入:2000円
 購入:3000円
 ECサイトであるユーザーにクーポンを配布 

  16. クーポンの効果を考える
 16 クーポンを付与(介 入)
 世界線Bのユーザー 
 世界線Aのユーザー 
 購入:3000円
 購入:2000円


    効果:1000円

  17. 理想的なデータ
 17 • クーポンをユーザーに割り振る
 • クーポンがある場合とない場合の売上がわかるとする
 • 差分を取ればクーポンの効果が1000円であることがわかる


  18. 因果推論の根本問題
 クーポンを付与(介 入)
 世界線Aのユーザー 
 ユーザー
 同時に観測が
 できない
 18 世界線Bのユーザー

    
 購入:2000円
 購入:3000円

  19. 実際に得られるデータ
 19 • クーポンを渡せば、クーポンのありの売り上げが観測される。
 • クーポンを渡さなければ、クーポンなしの売り上げが観測される。
 • 直接差分を計算することはもう出来ない。


  20. 適当な集計の問題
 20 クーポンが配布されなかった 
 ユーザーの平均売り上げ 
 クーポンが配布された 
 ユーザーの平均売り上げ 


    1000円
 3000円
 効果は
 2000円?

  21. セレクションバイアスの問題
 21 クーポンがなくても
 発生する売上
 クーポンの効果
 1000円
 単純な比較で
 効果と思い込む部分 
 2000円


    セレクション 
 バイアス

  22. バイアスの発生にはパターンがある
 • 介入Zは何かしらの意思決定を元に割り振られる
 ◦ 誰が、何のために、何を参照して割り振っているか?
 
 • クーポンの場合・・・
 ◦ 担当者がクーポン施策の成功を目指して割り振る。


    ◦ 何をもって成功と考えるか?
 ▪ 単純な集計の結果で売り上げが高くなることを成功とすると・・・ 
 22
  23. (↑)手法に関してはこちらを参照 
 因果推論でやること
 • ゴール:効果を推定すること
 • やること
 ◦ バイアスの原因を考える(因果グラフ)
 ◦

    原因に該当しそうな変数を入手する
 ◦ 変数を利用して効果を推定する
 • うまく行けば・・・
 ◦ 真の効果が推定できる
 ◦ 実際うまく行っているかは結構わからない

  24. 2.事業の役に立つ「因果推論」


  25. 因果推論を学んだ直後の発想
 • 因果推論によってより正確な情報がわかりますね
 25

  26. 因果推論を学んだ直後の発想
 • 因果推論によってより正確な情報がわかりますね
 • これで重要な意思決定が行えたら最高ですね
 26

  27. 因果推論を学んだ直後の発想
 • 因果推論によってより正確な情報がわかりますね
 • これで重要な意思決定が行えたら最高ですね
 • 「これ、効果ないのでやめましょう」ドヤァ 
 27

  28. 因果推論を学んだ直後の発想
 • 因果推論によってより正確な情報がわかりますね
 • これで重要な意思決定が行えたら最高ですね
 • 「これ、効果ないのでやめましょう」ドヤァ • 「エビデンス重要ですよね」ドヤァ 


    28
  29. そして起きること
 • 因果推論によってより正確な情報がわかりますね
 • これで重要な意思決定が行えたら最高ですね
 • 「これ、効果ないのでやめましょう」ドヤァ • 「エビデンス重要ですよね」ドヤァ 


    29 おーなるほど!面白いね! でもこれは必要だからやろっかw 意思決定レイヤー 
 ※意思決定する人に対して悪意があるわけではないですw 

  30. 経済学者も経験済み
 30 Steven Levvit
 @Chicago
 • ヤバい経済学の著者で知られているSteven Levvit 
 •

    ある小売企業の役員会にアドバイザーとして参画 
 今から紹介する話の出典→

  31. ピッツバーグの小話
 31 Steven Levvit
 @Chicago
 • チラシの広告は効果があるはず 
 役員との議論


  32. ピッツバーグの小話
 32 Steven Levvit
 @Chicago
 • チラシの広告は効果があるはず 
 本当に効果があるのか実験して みてはどうか?

    役員との議論

  33. ピッツバーグの小話
 33 Steven Levvit
 @Chicago
 • チラシの広告は効果があるはず 
 • 広告半分止めるとか、CEOに怒ら

    れるから無理無理
 本当に効果があるのか実験して みてはどうか? 役員との議論

  34. ピッツバーグの小話
 34 Steven Levvit
 @Chicago
 • チラシの広告は効果があるはず 
 • 広告半分止めるとか、CEOに怒ら

    れるから無理無理
 本当に効果があるのか実験して みてはどうか? むっちゃ怒られてたピッツバーグの少年い たよねw →バイトの少年の手違いでピッツバーグで は広告が出なかった時期があった 役員との議論

  35. ピッツバーグの小話
 35 Steven Levvit
 @Chicago
 • チラシの広告は効果があるはず 
 • 広告半分止めるとか、CEOに怒ら

    れるから無理無理
 少年の手違いを分析 →チラシの効果がなさそう むっちゃ怒られてたピッツバーグの少年い たよねw →バイトの少年の手違いでピッツバーグで は広告が出なかった時期があった (自然実験) 役員との議論

  36. ピッツバーグの小話
 36 Steven Levvit
 @Chicago
 • チラシの広告は効果があるはず 
 • 広告半分止めるとか、CEOに怒ら

    れるから無理無理
 • (New!)広告半分止めるとか、CEO に怒られるから無理無理 
 少年の手違いを分析 →チラシの効果がなさそう →・・・ むっちゃ怒られてたピッツバーグの少年い たよねw →バイトの少年の手違いでピッツバーグで は広告が出なかった時期があった (自然実験) 役員との議論

  37. 事業の役に立たない因果推論
 • 結局ビジネス的には何も変わっていない
 • なぜこうなってしまうのか?
 • どうすれば意思決定を変えられるのか?
 37

  38. 分析者が考えがちなこと
 38 正しい情報を出すことこそが自分の役割


  39. 分析者が考えがちなこと
 39 広告半分止めるとか、 
 CEOに怒られるから 
 無理無理

  40. 多分必要だったもの
 40 意思決定方法の文化の改革・上手く行かなかった時の覚悟・
 正しい情報・etc...


  41. 多分必要だったもの
 41 意思決定方法の文化の改革・上手く行かなかった時の覚悟・
 正しい情報・etc...
 →分析技術のサプライチェーン


  42. 分析技術のサプライチェーン
 42 データ 分析技術 分析 レポート 意思決定 実施 ビジネスへ の影響

  43. 分析技術のサプライチェーン
 43 データ 分析技術 分析 レポート 意思決定 実施 ビジネスへ の影響

    意思決定レイヤー

  44. 何ができるか?
 • 分析のサプライチェーンを社内に構築する
 ◦ 実験とデータを尊重する文化の構築
 • 別のタスクに取り組む
 ◦ 分析の結果を様々な場所で試して経験を積む
 44

  45. 文化を構築しつつある企業
 45 +1000 test /day +200 test /day 2013年に行われていたABテストの数 


    →1000 test/day in 2017 
 出典)A/B Testing at Scale Tutorial given at SIGIR 2017 and KDD 2017)
  46. テック企業以外でも・・・
 46

  47. 今日からできそうな事
 • 偉くなる:自分が意思決定する身分になる
 ◦ プロダクトマネージャーになる(デザイナーとかも選択肢?)
 ◦ 企業内で重鎮化する(例:Googleの経済学者 Hal Varian
 Eric

    SchmitはHal Varianの影響で部下のレポートに傾向スコアを使ったか確認してたらしい(ソース; 30:45くらい)
 
 • 使い所を選ぶ:分析が意思決定に直結する場所を探す
 ◦ 例えば:意思決定が自動化されている場所
 ▪ 機械学習を使った意思決定:予測が◎◎ならXXする 
 ▪ ルールを使った意思決定:◎◎の条件に該当するならXXする 
 ▪ 自動化される場所は今後も増える・・・はず 
 47
  48. 分析技術のサプライチェーン
 48 データ 分析技術 分析 レポート 意思決定 実施 ビジネスへ の影響

    自動的な意思決定

  49. 自動化を前提とした因果推論の応用
 1. XXする効果を検証する
 2. 機械学習の効果を検証する
 3. 効果の出せる機械学習を設計する
 49

  50. ①XXする効果を検証する
 • 自動的な意思決定の例
 ◦ 予測値が50%以上なら、値段を100円上げる。
 ◦ 去年の購入が3000円以上なら、値段を100円上げる。
 • この時の介入は値段の変更
 ◦

    別に200円あげても良いし、値下げしても良い。
 50
  51. XXする効果を検証する
 51 • Uberの論文から拝借 
 ◦ Steven Levvitも著者の1人 
 •

    機械学習と価格変更 
 ◦ 需要予測が一定以上になると価格を上げる
 ◦ さらに需要予測が上がるとさらに上がる
 • 価格の変化点ではほぼ実験になっている 
 ◦ RDDを使って分析
 ◦ 価格変更の効果を推定した 
 →需要曲線の推定(観測) 

  52. ②機械学習の効果を検証する
 
 52 x candidates A = {a,b,c,d} b Y_b

    Predict + decision dataset X, A, Y x candidates A = {a,b,c,d} b Y_b Predict + decision モデルの学習と更新 1日この仕組みを回す 更新したモデルで回す データの蓄積 new system c Y_b ex)線形回帰→DNN
  53. ②機械学習の効果を検証する
 • 予測モデルの影響を検証する
 ◦ 売り上げや利益の比較を行う
 ◦ A/Bテストが使えなければ因果推論(よくある)
 • 意思決定の影響を事前に検証する
 ◦

    いわゆるOff-Policy Evaluation
 ◦ 詳細は・・・
 ▪ 資料1@CFML勉強会 by安井
 ▪ 資料2@CFML勉強会 by斎藤さん@半熟仮想 
 53
  54. ③効果の出せる機械学習を設計する
 • 機械学習の評価は売上や利益への因果効果
 • 目的関数を再設計する
 ◦ 予測性能を最大化するのは遠回り
 ◦ 因果効果を直接最大化する
 ◦

    いわゆるOff-Policy Learning
 54
  55. ※①に関しては効果検証入門にいくらか解説があります。
 ②③の詳細は・・・
 CFML勉強会へご参加を!
 各種応用や理論が紹介されています 
 Coming Soon... 現在2冊目を執筆中 
 with

    斎藤優太さん(半熟仮想/東工大) 

  56. まとめ
 • 因果推論だけを武器として持ち込むと爆死
 • 正しい情報が意思決定を変える環境を 作るか? 選ぶか?
 ◦ 作るのは長期戦、環境によっては無理ゲー。
 ◦

    選び先としてAI/機械学習は有力。
 • AIのある環境での因果推論の使い方が大事?
 56
  57. 57 Enjoy!