インターネット広告の効果推定と 因果推論 Estimating advertising effectiveness and causal inference 2018/11/19 Takashi Nishibayashi

今日話す事 ● 因果関係と相関関係 ● 因果推論の枠組み ● 広告の因果効果を推定する方法 ● 広告の因果効果推定事例の紹介

Correlation is not Causation

因果関係と相関関係 ● 因果関係の定義 ○ Xを増加させた時にYが増加する ○ 原因と結果 ● 相関関係の定義 ○ Xが増加している時にYも増加している

水難事故とアイスクリームの売上 Ice cream and drowning ● 水難事故が多い日はアイスクリームの売上が高い ● 水難事故が少ない日はアイスクリームの売上が低い ● 水難事故:X, アイスルクリームの売上: Y Q1: 2つの事象X, Yは相関関係にあるか? Q2: 2つの事象X, Yに因果関係があるか?

アイスクリーム の売上 水難事故 の件数 天気 ここは 因果関係に無 い

アメリカがノルウェーから輸入した原油量と鉄道と衝突して死亡し たドライバーの数

ロンドンのコレラ流行 London cholera epidemic of 1853-54 コレラによる死亡は井戸の近くに集中していた 考えられるのはどれか A. 水道会社の提供する井戸水が汚染されていた B. コレラの流行によって井戸の水源が汚染された C. 井戸水とコレラによる死亡に因果関係は無い Wikipedia contributors. (2018, October 7). 1854 Broad Street cholera outbreak. In Wikipedia, The Free Encyclopedia. Retrieved 00:49, November 19, 2018, from https://en.wikipedia.org/w/index.php?title=1854_Broad_Street_cholera_outbreak&oldid=862912775

Wikipedia contributors. (2018, November 18). John Snow. In Wikipedia, The Free Encyclopedia. Retrieved 06:01, November 19, 2018, from https://en.wikipedia.org/w/index.php?title=John_Snow&oldid=869470880 John Snow

XとYの関係 ● 全くの無関係 (たまたま相関があるように見えた) ● 相関関係にある ● 因果関係にある ○ X → Y ○ X ← Y 相関関係は簡単にわかるが 因果関係の判断は難しい Y X Z 交絡因子Z

なぜ因果関係が重要なのか ● 適切な介入行為をするには因果関係の把握が必要 ● Xをすると会社の業績が伸びるのか、業績の伸びた会社がXをして いるのか判別がつかない時 ○ 業績を伸ばすためにXをすべきか ● 広告費とコンバージョン増加の因果関係がわからない時 ○ 広告費を増やすべきか ● 売上増加を狙った新しい広告配信ロジックと売上増の因果関係が わからない時 ○ ロジックの利用を続けるべきか

広告効果と因果効果

Rubinの因果モデルに則った「広告効果」の定義 広告接触後の行動をアウトカムとし、広告に接触した人が広告 に接触しなかった時とのアウトカムの差とする。アウトカムは広 告主が期待するコンバージョンやブランド認知といった計測可 能な物とする。 広告に接触した人が「もし広告に接触しなかったら」という反実 仮想を考える。よって差はプラスもマイナスも有り得る。これを 因果効果(Causal Effect)と呼ぶ。 コンバージョン(Conversion): 広告の目的を達成する事 (ゲームの広告なら端末へのインストールなど )

反実仮想 Counter factual 反実仮想は観測できないため個体レベルの因果効果の推定は できない。 とはいえ通常知りたいのは母集団における因果効果なので問 題ない。これをどう求めるか。

平均処置効果 Average Treatment Effect; ATE ● 広告に接触したかどうか: X i ∈ {0, 1} ● コンバージョンしたかどうか: Y i ∈ {0, 1} ● コンバージョン率: E[Y] ATE = E[Y | X=1] - E[Y | X=0] 広告に接触した人としなかった人を数多く集めてアウトカムの平均の差を取る。 接触した群=Treatment群・しなかった群=Control群 (前提としてネットワーク効果などの 2群間の相互作用は無いものとする )

Treatment群とControl群に差がある時 広告を見せるグループと見せないグループに差異ある場合、先の式で は上手く推定できない。 例: リターゲティング広告 Y X Z 交絡因子によるセ レクションバイアス ターゲティング対象 になりやすさがCVR に影響

Treatment群における平均処置効果 Average Treatment Effect on Treated ● ターゲティング対象かどうか: D i ∈ {0, 1} ● 広告に接触したかどうか: X i ∈ {0, 1} ● コンバージョンしたかどうか: Y i ∈ {0, 1} ● コンバージョン率: E[Y] ATET = E[Y | X=1, D=1] - E[Y | X=0, D=1]

Treatment群における平均処置効果 Average Treatment Effect on Treated ● ターゲティング対象かどうか: D i ∈ {0, 1} ● 広告に接触したかどうか: X i ∈ {0, 1} ● コンバージョンしたかどうか: Y i ∈ {0, 1} ● コンバージョン率: E[Y] ATET = E[Y | X=1, D=1] - E[Y | X=0, D=1] ターゲティング対象で 広告を見せたグルー プのCVR ターゲティング対象で 広告を見せなかったグ ループのCVR 比較対象の2群が均質

誰に広告を見せるべきか Consumer Heterogeneity Type 1 Type 2 Type 3 Type 4 広告を見せなかった時 (X=0) CVする CVしない CVしない CVする 広告を見せた時 (X=1) CVする CVする CVしない CVしない 広告主からすると 広告費の無駄 広告を見せたい 無視して良い 触るな危険 CV = Conversion

Type 1 Type 2 Type 3 Type 4 広告を見せなかった時 (X=0) CVする CVしない CVしない CVする 広告を見せた時 (X=1) CVする CVする CVしない CVしない 広告主からすると 広告費の無駄 広告を見せたい 無視して良い 触るな危険 誰に広告を見せるべきか Consumer Heterogeneity 通常の配信結果からは Type1とType2は区別で きない CV = Conversion

広告の因果効果推定の難しさ ● 我々(配信事業者)は通常Treatment群のデータしか持っていない ○ 広告を表示しなかった時にCV計測をしない ○ 反実仮想データが無い ■ 広告がなくともオーガニックCVしていたかもしれない ● 何も表示しない(No Ad)はまずい ○ Control群には何を表示すべきか (→後で論文紹介)

データから因果効果を求める手法

ランダム化比較試験 Randomized Controlled Trial; RCT ● アイデア ○ 均質な2群を作って、片方にだけ介入を行なう ○ 2群のアウトカムを比較する ■ = 反実仮想との比較 ● 方法 ○ ランダムに選んだサンプルに介入を行なう ○ 交絡因子Zと介入Xが条件付き独立を満たすと仮定できる ● ATE = E[Y | X=1] - E[Y | X=0] ○ 2群のアウトカムの平均の差が平均処置効果

ランダム化比較試験 Randomized Controlled Trial; RCT ● Pros ○ 結果の解釈が容易 ○ エビデンスレベルが高い ● Cons ○ コストが高い ■ 仕組み作り・機会損失 ● 例 ○ 医療費自己負担率を上げると健康状態はどうなるか実験 ○ A/B Test, 治験

データには2種類ある ● 実験データ ○ 実験環境でランダム割り当て介入を行なったデータ ● 観察データ ○ 自然にあるデータ ○ バイアスを含む ○ こちらしか手に入らないケースが多い

自然実験・観察研究 Natural Experiment・Observation Study ● 観察データでがんばる ● バイアスの除去が必要 ○ セレクションバイアス ○ サンプルセレクションバイアス ● 手法 ○ 介入⇔非介入の境目で非連続な変化があるか ○ 説明変数と交絡因子を含めて影響度を回帰を求める ○ 何らかの方法で反実仮想に近い比較対象を選んで差をみる

Conditioned Tutorial on Causal Inference and Counterfactual Reasoning https://causalinference.gitlab.io/kdd-tutorial/

Matching Tutorial on Causal Inference and Counterfactual Reasoning https://causalinference.gitlab.io/kdd-tutorial/

重回帰分析 Regression Tutorial on Causal Inference and Counterfactual Reasoning https://causalinference.gitlab.io/kdd-tutorial/ Cholesterol = a×Exercise + b×Age + c×Occupation + noise

回帰の注意 ● 全ての交絡因子を含める必要がある ○ Backdoor基準で無視していいものは判断できる ● 最小二乗法の推定値が最良線形不偏推定量となる条件 ○ 均一分散 ○ 共分散ゼロ ○ 説明変数と誤差項が独立 ● “Avoid unless you are absolutely sure of what you are doing”

操作変数法 Instrumental Variables Method (IV) Tutorial on Causal Inference and Counterfactual Reasoning https://causalinference.gitlab.io/kdd-tutorial/ 逆の因果(Y→X)が識別できるようにZから予測したXの値を使って回帰

自然実験・観察研究 Natural Experiment / Observational Studies ● Pros ○ 既にあるデータを使える ● Cons ○ エビデンスレベルが低い ○ 非常にテクニカル ○ 必要な仮定を全て満たすのが難しい ● 例 ○ 加藤諒, 星野 崇宏, 因果効果推定の応用 CM接触の因果効果と調整効果 岩波データサ イエンスVol.3 岩波書店, 2016.

ではインターネット広告ではどうすべきか ● 配信事業者であれば介入実験が可能なのでRCTする

インターネット広告の効果推定事例

● サービス ○ エリア別配信テスト (Google) ○ ブランドリフト調査 (Google, Facebook, LINE) ● 論文 ○ リスティング広告のリターン計算 (eBay) ○ Amazonのリコメンド機能の因果効果推定 (Microsoft) ○ Ghost Ads

エリア別配信テスト (Google) ● https://www.thinkwithgoogle.com/intl/ja-jp/articles/search/geox/ ● 二つのエリアを選んで片方にのみ広告を配信 ● 予想 ○ アウトカムが県単位 ○ インターネットで購入が完結しない商材を扱いたい ○ e.g. Google Homeの広告 ● 差の差法

ブランドリフト調査 (Google, Facebook, LINE) ● ランダム化比較試験 ● ランダムに介入(広告をみせる)を行なう

eBayにおけるリスティング広告の効果推定 広告出稿を止めた 分がオーガニック流 入に代替された

eBayにおけるリスティング広告の効果推定 Blake, Thomas, Chris Nosko, and Steven Tadelis. "Consumer heterogeneity and paid search effectiveness: A large‐scale field experiment." Econometrica 83.1 (2015): 155-174.

eBayにおけるリスティング広告の効果推定 Blake, Thomas, Chris Nosko, and Steven Tadelis. "Consumer heterogeneity and paid search effectiveness: A large‐scale field experiment." Econometrica 83.1 (2015): 155-174. 総売上には 影響なし

Amazonのリコメンド機能の因果効果推定をMicrosoftが 勝手にやる 外因性ショックを利用 Sharma, A., Hofman, J. M., & Watts, D. J. (2015). Estimating the causal impact of recommendation systems from observational data. Proceedings of the Sixteenth ACM Conference on Economics and Computation - EC ’15, 453–470. https://doi.org/10.1145/2764468.2764488

パフォーマンス広告における因果効果推定 ● 広告配信事業者(つまり我々)が広告配信の因果効果推定をする状 況を考える ○ Incrementality計測と呼んだりもする ● 観察研究は難易度が高いので介入実験を考える ● 実験デザインをどうするか ○ 2群の割り当て ○ Treatment群とControl群のアウトカム(CV)が計測できるか

パフォーマンス広告における因果効果推定 (続 ランダム化比較試験でコントロール群に何を表示するか Johnson, G., Lewis, R. A., & Nubbemeyer, E. (2015). Ghost Ads: Improving the Economics of Measuring Online Ad Effectiveness. Ssrn, 1–59. https://doi.org/10.2139/ssrn.2620078

● 効果推定したい広告を見せなかったグループをControlとする ○ Intent-to-Treat ○ 2群間の同質性が保証できないので観察研究の手法を駆使する必要 ■ 分析の難易度が高い ● 介入割り当てでControl群にはフィラーや公共広告を見せる ○ PSA (Public Service Announcements) Ads ○ 機会損失もしくは公共広告案件のコストがかかる ○ フィラーを使うとデータは綺麗で分析しやすい Johnson, G., Lewis, R. A., & Nubbemeyer, E. (2015). Ghost Ads: Improving the Economics of Measuring Online Ad Effectiveness. Ssrn, 1–59. https://doi.org/10.2139/ssrn.2620078 パフォーマンス広告における因果効果推定 (続2

● 介入割り当てでControl群には2番目の広告を見せる (Ghost Ads) ○ AdServerで広告を選ぶ際のランキング結果の2番目を利用 ○ 機会損失が少なくCost Effective ○ 本来見せる予定だった広告のCV計測と実際に見せた2番目の広告のCV 計測の両方が必要になるので、計測の仕組みが複雑になる。 ■ 計測ツール経由でコンバージョン通知を受け取っている場合 ● オーガニックCVをどう計測するか ■ CV計測周りを考慮すると実装の難易度が高そう Johnson, G., Lewis, R. A., & Nubbemeyer, E. (2015). Ghost Ads: Improving the Economics of Measuring Online Ad Effectiveness. Ssrn, 1–59. https://doi.org/10.2139/ssrn.2620078 パフォーマンス広告における因果効果推定 (続3

参考文献1 Tutorial on Causal Inference and Counterfactual Reasoning Amit Sharma (@amt_shrma), Emre Kiciman (@emrek) ACM KDD 2018 International Conference on Knowledge Discovery and Data Mining, London, UK 立森久照・林岳彦・伊庭幸人・星野崇宏ら (2016) 岩波データサイエンス, Vol.3, 岩波書店 山本勲（2015）実証分析のための計量経済学 , 中央経済社

参考文献2 Blake, Thomas, Chris Nosko, and Steven Tadelis. "Consumer heterogeneity and paid search effectiveness: A large‐scale field experiment." Econometrica 83.1 (2015): 155-174. Sharma, A., Hofman, J. M., & Watts, D. J. (2015). Estimating the causal impact of recommendation systems from observational data. Proceedings of the Sixteenth ACM Conference on Economics and Computation - EC ’15, 453–470. Johnson, Garrett and Lewis, Randall A. and Nubbemeyer, Elmar, Ghost Ads: Improving the Economics of Measuring Online Ad Effectiveness (January 12, 2017). Simon Business School Working Paper No. FR 15-21 Lewis, Randall A. and Wong, Jeffrey, Incrementality Bidding & Attribution (February 27, 2018)