広告の因果効果 / Causal inference in advertisement

FFLT 2020/5/22

参考にしたもの：https://thecorrespondent.com/100/the-new-dot-com-bubble-is-here-its-called-online-advertising/13228924500-22d5fd24

Transcript

1. その広告、ほんとに意味がありますか？ 〜広告効果の経済学〜
2. ⾃⼰紹介 • こばりゅう / ⼩林 流基 @kobaryu • ⼈事アシスタント / インターン（最近は主に労務） • 慶應義塾⼤学経済学研究科 後期博⼠課程1年 • 専⾨：実証産業組織論（※でも⼈事の経済学がやりたい） ↑企業⾏動や産業の⽣態系を、数理モデルとデータから分析する学問です • 経済学を研究しているというより、経済学オタクなのかもしれない • 某鉄鋼企業で経理をやっていたこともある
3. 本⽇は経済学の論⽂をベースに 広告が”ほんとうに”効果があると⾔える ためにはどうすればいいか をお話しします
4. 質問：広告の効果 • あるリスティング広告経由のCVが300でした • この広告による売り上げ上昇効果は、 300CV 分と⾔って良いでしょうか？
5. 質問：広告AI • とある広告 AI がありました • この広告 AI を使うと、CVRは100%になります • この広告 AI は最強と⾔って良いでしょうか？
6. 答えは（因果関係の観点からは） どちらも ×
7. 質問：広告の効果 • あるリスティング広告経由のCVが300でした • この広告による売り上げ上昇効果は、 300CV 分と⾔って良いでしょうか？ • 広告を⾒ても⾒なくても買った⼈が含まれているかもしれない
8. 質問：広告AI • とある広告 AI がありました • この広告 AI を使うと、CVRは100%になります • この広告 AI は最強と⾔って良いでしょうか？ • 広告を⾒ても⾒なくても買う⼈を100%検出してる だけかもしれない
9. つまり、以下は間違いで 広告 CV
10. 潜在的な要因がある（かも） 広告 CV 買いたい！
11. 図⽰すると 広告があってもなくても買う⼈ どちらにせよ買わない⼈ 広告があると買う⼈ この層ばかりに広告を出してしまっている可能性が排除できない
12. eBay の検索連動型広告 (Blake et al. 2015) • eBay の Economist がふと思う • “eBay 〇〇” という語句に対する広告って意味ないかも？ → eBay という単語を含んだ検索する⼈って、 そもそも eBay で買うつもりでは？
13. eBay の検索連動型広告 (Blake et al. 2015)
14. 「広告を⾒たから買う」を⽰すには？ 広告 CV 買いたい！ × ×
15. ランダムにしよう！（A/B テスト） 広告を表⽰ 広告を表⽰しない 平均的に、同じ性質のものを⽐較 ＝ 真の効果
16. Facebook 広告 の ⼤規模 A/Bテスト (Gordon et al. 2018) • Facebook 広告での⼤規模 A/B テスト • A/Bテスト：広告表⽰をランダム化 • いろんな商品について、5億回のA/Bテストをやってみた
17. Facebook 広告 の ⼤規模 A/Bテスト (Gordon et al. 2018) ⽔⾊：真の効果 （⾒たから買った） 紫：選抜効果 （⾒なくても買ってた） 真の効果が 意外と少ない
18. 予測では真の効果はわからない • 真の効果：広告がなければ買っていなかった • 選抜効果：広告がなくても買っていた • A/Bテストでわかる真の効果は「何千のユーザ属性」を コントロールしてもわからない（Gordon et al. 2019 @Facebook） • 通常の回帰分析や、機械学習・深層学習はあくまで予測の分析 → 真の効果…？広告がなくても買っていた⼈をうまく⾒つけてる…？
19. 経済学的オススメ • できうる限り、ランダム化しましょう • 「⾒て買う⼈」じゃなくて「⾒なくても買う⼈」を検出してるかも • とはいえ、機械学習に任せる広告運⽤がメイン…？ • 出稿する媒体が真の効果を⾒ているかを聞いてみませんか？ • 実はA/Bテストをしているかも？ • 機械学習モデルにA/Bテストを組み込んでいるかも？（強い） • 何もしていないかも…（これだったら、怖いですね）
20. どちらの感想でしたか？ ⑴「え？常識でしょ？」 ⑵「マジか」 →常識でしょ？の⼈も多くて嬉しかったです
21. 参考⽂献
22. 引⽤⽂献 • Blake, Thomas, Chris Nosko, and Steven Tadelis. "Consumer heterogeneity and paid search effectiveness: A large scale field experiment." Econometrica, 83.1 (2015): 155-174. • Gordon, B. R., et al. "A comparison of approaches to advertising measurement: Evidence from big field experiments at Facebook. Whitepaper." (2018). • Gordon, Brett R., et al. "A comparison of approaches to advertising measurement: Evidence from big field experiments at Facebook." Marketing Science, 38.2 (2019): 193-225. • Fredreik, Jesse and Maurits Martijn " The new dot com bubble is here: itʼs called online advertising.” The Correspondent 6 Nov. 2019. https://thecorrespondent.com/100/the-new-dot-com-bubble-is- here-its-called-online-advertising/13228924500-22d5fd24