Uplift Modelling for Location-based Online Advertising

第３回CFML勉強会

Transcript

1. ジオターゲティングにおけるUplift Modelling の応用
 CyberAgent, inc.
 サイバーエージェント AI Lab　森脇大輔
 
 
 2019年10月30日 第３回CFML勉強会

2. 自己紹介
 AILab, 経済学チーム　リサーチサイエンティスト
 ←AirTrack データサイエンティスト
 ←内閣府（経済財政白書、統計改革など）
 ←留学（ニューヨーク州立大学、経済学博士）
 ←内閣府（経済対策、金融政策など）

3. Uplift Modeling for Location-based online Advertising
 
 河中祥吾さん（NAIST, ８−９月博士インターン）との共同研究
 ACM SIGSPATIALのワークショップLocalRec2019に採択

4. AirTrack
 位置情報を用いたマーケティングのためのプラットフォーム
 - 数千万MAUの位置情報を収集・解析
 - 位置情報ベースのユーザーターゲティング
 - 来訪計測

5. ジオターゲティング市場
 世界的にも位置情報マーケティングは成長
 - FB, Twitterなどのソーシャルメディアが70%
 (資料)BIA/Kelsey
6. ジオターゲティングの例
 リアル店舗がある企業の広告配信

7. ジオターゲティングの例
 店舗がない地域のユーザーに広告しても無駄

8. ジオターゲティングの例

9. ジオターゲティングの例
 競合店舗に行くユーザーは購買意欲が高い

10. ジオターゲティングの例
 競合店舗に行くユーザーは購買意欲が高い
 趣味嗜好、社会的地位、経済的地位、日々の習慣、行動パターン、、、
 ジオターゲティングの手法は無限大！

11. 課題感
 それぞれのジオターゲティングの手法が本当に効果的なのか
 数あるジオターゲティングの手法のなかで効果的なものはなにか
 どう組み合わせればいいのか

12. よりフォーマルに考えると
 マーケター（広告主）が本当に最大化したいのはレスポンスではなくリフト
 
 
 

13. よりフォーマルに考えると
 マーケター（広告主）が本当に最大化したいのはレスポンスではなくリフト
 
 
 リフトが高いユーザーを多様な位置情報から見つけられないか

14. よりフォーマルに考えると
 マーケター（広告主）が本当に最大化したいのはレスポンスではなくリフト
 
 
 リフトが高いユーザーを多様な位置情報から見つけられないか
 そうだね。アップリフトだね。

15. 研究の意義
 位置情報を用いたアップリフトモデルによって効率的・効果的なターゲティングができる ことを示す
 付随的に従来のジオターゲティングに関する知見を示す
 

16. 流れ
 アップリフトモデルを推定
 AUUCを最大にする位置情報ベースの特徴量X_iの最適な組み合わせを探す
 AUUCによって評価

17. アップリフトモデルの推定
 アップリフトモデル（再掲）
 
 よく使われる２つの手法（Gubela et al. 2019に詳細なレビュー）
 

18. アップリフトモデルの推定
 アップリフトモデル（再掲）
 
 よく使われる２つの手法（Gubela et al. 2019に詳細なレビュー）
 - 介入群と対照群でそれぞれについて推定して差分を計算する（Two-model）
 

19. アップリフトモデルの推定
 アップリフトモデル（再掲）
 
 よく使われる２つの手法（Gubela et al. 2019に詳細なレビュー）
 - 介入群と対照群でそれぞれについて推定して差分を計算する（Two-model）
 - Class Variable Transformation (CVT)によって一つのモデルで推定する （Jaskowski-Jaroszewicz 2012）

20. Class Variable Transformation（Jaskowski-Jaroszewicz 2012）

21. 
 XGBoostのような強い学習器が使える Class Variable Transformation（Jaskowski-Jaroszewicz 2012）

22. 評価方法
 学習データと取り置きデータにわける
 学習データで学習
 取り置いたデータはさらに介入群と対照群に分ける
 Train hold-out control treatment
23. 評価方法
 control treatment 介入群と対照群それぞれについてアップリフトスコア（Zス コア）の高い順に並べてコンバージョン率を比較する
 両者の差によってリフトが計算できる

24. 評価方法
 累積のコンバージョンリフト率
 スコア順に並べた場合（赤）とランダムに並べた場合（青）
 

25. 評価方法
 累積のコンバージョンリフト率
 スコア順に並べた場合（赤）とランダムに並べた場合（青）
 
 両者の差をAUUCと定義
 

26. 特徴量の組み合わせ最適化
 127種類の位置情報ベースの特徴量について、AUUCを最大化する組み合わせを選択
 それぞれの特徴量を利用するかしないかの[0, 1]パラメータをAUUCに基づいて最適化 する
 Optuna神を使う
 
 
 
 XGBoost, 200回試行
 

27. 実験
 データ
 - 某全国展開しているスポーツ用品ブランドのサマーセールキャンペーンのデータ
 - 配信対象者は数百万人
 - そのうち40000人ずつをA/Bテストのために利用 
 - アウトカムは店舗に来訪したかどうか

28. 実験
 健全性チェック（Diemert et al. 2018）
 - 介入が本当に無作為だったのかをチェック
 - XGBoostを用いて介入の有無を予測する学習器を訓練しAUCがチャンスレートとお おきく違わないことを確認（Classifier Two Sample test)

29. 実験
 特徴量（127）
 - 活動に関する特徴量
 - 来店頻度
 - 直近来店日
 - 通勤距離
 - 来店距離（居住地・勤務地） 
 - 外出時間
 - 労働時間
 - 通勤時間（行き帰り、差分） 
 - POI来訪頻度
 - ログ数

30. 実験
 特徴量（127）
 - 活動に関する特徴量
 - 来店頻度
 - 直近来店日
 - 通勤距離
 - 来店距離（居住地・勤務地） 
 - 外出時間
 - 労働時間
 - 通勤時間（行き帰り、差分） 
 - POI来訪頻度
 - ログ数
 - 地理情報に関する特徴量
 - 国勢調査250mメッシュに基づく各種統計 
 - 公示地価

31. 結果
 Optunaによる最適化の結果67の特徴量が選ばれた
 - 選択された特徴量
 - 距離や活動時間に関する特徴量（7） 
 - 人口密度などの国勢調査(11) 
 - 47のPOI来訪頻度
 - 選択されなかった特徴量
 - 来訪頻度
 - 直近来店日
 - ログ数

32. 結果
 適切に並べることで上位２５％までのユーザーに広告を配信することで費用対効果を大 幅に改善することが見込まれる

33. 結果
 国勢調査を削除した結果

34. 結果
 POIを削除したモデルの結果

35. 結果
 広告効果の高いグループは外出時間が長く、スポーツ用品店によく行き、人口密度が 高く、地価が高いところに住み、店舗までの距離が長い

36. 考察
 来店頻度や直近の来店といった従来重要とされていた特徴量が採用されなかった
 →ロイヤルティは関係ない？
 

37. 考察
 来店頻度や直近の来店といった従来重要とされていた特徴量が採用されなかった
 →ロイヤルティは関係ない？
 店舗からの距離が近いユーザーより遠いユーザーに効果的だった
 →広告効果は移動コストが高い層に効く？
 
 

38. 考察
 来店頻度や直近の来店といった従来重要とされていた特徴量が採用されなかった
 →ロイヤルティは関係ない？
 店舗からの距離が近いユーザーより遠いユーザーに効果的だった
 →広告効果は移動コストが高い層に効く？
 ログ数は影響なし
 →来店計測や広告配信頻度は関係ない？他の特徴量で代替されている？
 いずれにしてもジオターゲティングの有効性は示せた
 国勢調査が意外に効果的

39. まとめ
 ジオターゲティングにアップリフトを用いることで最適な特徴量の組み合わせを探した。
 

40. まとめ
 ジオターゲティングにアップリフトを用いることで最適な特徴量の組み合わせを探した。
 付随的にマーケティングに関する知見を得ることができた
 

41. まとめ
 ジオターゲティングにアップリフトを用いることで最適な特徴量の組み合わせを探した。
 付随的にマーケティングに関する知見を得ることができた
 今後、アップリフトを明示的に広告配信に活用する方策を研究開発していきたい

42. 参考文献
 Gubela, R., Bequé, A., Lessmann, S., Gebert, F.: Conversion Uplift in E-Commerce: A Systematic Benchmark of Modeling Strategies. International Journal of Information Technology & Decision Making. 18, 747–791 (2019). https://doi.org/10.1142/S0219622019500172. 
 Jaskowski, M., Jaroszewicz, S.: Uplift modeling for clinical trial data. In: ICML Workshop on Clinical Data Analysis (2012).
 Diemert, E., Betlei, A., Renaudin, C., Amini, M.-R.: A Large Scale Benchmark for Uplift Modeling. In: Proceedings of the AdKDD and TargetAd Workshop, KDDavid Lopez-Paz and Maxime Oquab. 2016. 
 Lopez-Paz, D., Oquab, M.: Revisiting classifier two-sample tests. arXiv preprint arXiv:1610.06545. (2016).