Uplift Modelling for Location-based Online Advertising

第３回CFML勉強会

Transcript

1. ジオターゲティングにおけるUplift Modelling
   の応用

   CyberAgent, inc.

   サイバーエージェント AI Lab　森脇大輔

   

   

   2019年10月30日 第３回CFML勉強会

   

   View Slide

2. 自己紹介

   AILab, 経済学チーム　リサーチサイエンティスト

   ←AirTrack データサイエンティスト

   ←内閣府（経済財政白書、統計改革など）

   ←留学（ニューヨーク州立大学、経済学博士）

   ←内閣府（経済対策、金融政策など）

   

   View Slide

3. Uplift Modeling for Location-based online Advertising

   

   河中祥吾さん（NAIST, ８−９月博士インターン）との共同研究

   ACM SIGSPATIALのワークショップLocalRec2019に採択

   

   View Slide

4. AirTrack

   位置情報を用いたマーケティングのためのプラットフォーム

   - 数千万MAUの位置情報を収集・解析

   - 位置情報ベースのユーザーターゲティング

   - 来訪計測

   

   View Slide

5. ジオターゲティング市場

   世界的にも位置情報マーケティングは成長

   - FB, Twitterなどのソーシャルメディアが70%

   (資料)BIA/Kelsey
   

   View Slide

6. ジオターゲティングの例

   リアル店舗がある企業の広告配信

   

   View Slide

7. ジオターゲティングの例

   店舗がない地域のユーザーに広告しても無駄

   

   View Slide

8. ジオターゲティングの例

   

   View Slide

9. ジオターゲティングの例

   競合店舗に行くユーザーは購買意欲が高い

   

   View Slide

10. ジオターゲティングの例

    競合店舗に行くユーザーは購買意欲が高い

    趣味嗜好、社会的地位、経済的地位、日々の習慣、行動パターン、、、

    ジオターゲティングの手法は無限大！

    

    View Slide

11. 課題感

    それぞれのジオターゲティングの手法が本当に効果的なのか

    数あるジオターゲティングの手法のなかで効果的なものはなにか

    どう組み合わせればいいのか

    

    View Slide

12. よりフォーマルに考えると

    マーケター（広告主）が本当に最大化したいのはレスポンスではなくリフト

    

    

    

    

    View Slide

13. よりフォーマルに考えると

    マーケター（広告主）が本当に最大化したいのはレスポンスではなくリフト

    

    

    リフトが高いユーザーを多様な位置情報から見つけられないか

    

    View Slide

14. よりフォーマルに考えると

    マーケター（広告主）が本当に最大化したいのはレスポンスではなくリフト

    

    

    リフトが高いユーザーを多様な位置情報から見つけられないか

    そうだね。アップリフトだね。

    

    View Slide

15. 研究の意義

    位置情報を用いたアップリフトモデルによって効率的・効果的なターゲティングができる
    ことを示す

    付随的に従来のジオターゲティングに関する知見を示す

    

    

    View Slide

16. 流れ

    アップリフトモデルを推定

    AUUCを最大にする位置情報ベースの特徴量X_iの最適な組み合わせを探す

    AUUCによって評価

    

    View Slide

17. アップリフトモデルの推定

    アップリフトモデル（再掲）

    

    よく使われる２つの手法（Gubela et al. 2019に詳細なレビュー）

    

    

    View Slide

18. アップリフトモデルの推定

    アップリフトモデル（再掲）

    

    よく使われる２つの手法（Gubela et al. 2019に詳細なレビュー）

    - 介入群と対照群でそれぞれについて推定して差分を計算する（Two-model）

    

    

    View Slide

19. アップリフトモデルの推定

    アップリフトモデル（再掲）

    

    よく使われる２つの手法（Gubela et al. 2019に詳細なレビュー）

    - 介入群と対照群でそれぞれについて推定して差分を計算する（Two-model）

    - Class Variable Transformation (CVT)によって一つのモデルで推定する
    （Jaskowski-Jaroszewicz 2012）

    

    View Slide

20. Class Variable Transformation（Jaskowski-Jaroszewicz 2012）

    

    View Slide

21. 

    XGBoostのような強い学習器が使える
    Class Variable Transformation（Jaskowski-Jaroszewicz 2012）

    

    View Slide

22. 評価方法

    学習データと取り置きデータにわける

    学習データで学習

    取り置いたデータはさらに介入群と対照群に分ける

    Train hold-out
    control
    treatment
    

    View Slide

23. 評価方法

    control
    treatment
    介入群と対照群それぞれについてアップリフトスコア（Zス
    コア）の高い順に並べてコンバージョン率を比較する

    両者の差によってリフトが計算できる

    

    View Slide

24. 評価方法

    累積のコンバージョンリフト率

    スコア順に並べた場合（赤）とランダムに並べた場合（青）

    

    

    View Slide

25. 評価方法

    累積のコンバージョンリフト率

    スコア順に並べた場合（赤）とランダムに並べた場合（青）

    

    両者の差をAUUCと定義

    

    

    View Slide

26. 特徴量の組み合わせ最適化

    127種類の位置情報ベースの特徴量について、AUUCを最大化する組み合わせを選択

    それぞれの特徴量を利用するかしないかの[0, 1]パラメータをAUUCに基づいて最適化
    する

    Optuna神を使う

    

    

    

    XGBoost, 200回試行

    

    

    View Slide

27. 実験

    データ

    - 某全国展開しているスポーツ用品ブランドのサマーセールキャンペーンのデータ

    - 配信対象者は数百万人

    - そのうち40000人ずつをA/Bテストのために利用 

    - アウトカムは店舗に来訪したかどうか

    

    View Slide

28. 実験

    健全性チェック（Diemert et al. 2018）

    - 介入が本当に無作為だったのかをチェック

    - XGBoostを用いて介入の有無を予測する学習器を訓練しAUCがチャンスレートとお
    おきく違わないことを確認（Classifier Two Sample test)

    

    View Slide

29. 実験

    特徴量（127）

    - 活動に関する特徴量

    - 来店頻度

    - 直近来店日

    - 通勤距離

    - 来店距離（居住地・勤務地） 

    - 外出時間

    - 労働時間

    - 通勤時間（行き帰り、差分） 

    - POI来訪頻度

    - ログ数

    

    View Slide

30. 実験

    特徴量（127）

    - 活動に関する特徴量

    - 来店頻度

    - 直近来店日

    - 通勤距離

    - 来店距離（居住地・勤務地） 

    - 外出時間

    - 労働時間

    - 通勤時間（行き帰り、差分） 

    - POI来訪頻度

    - ログ数

    - 地理情報に関する特徴量

    - 国勢調査250mメッシュに基づく各種統計 

    - 公示地価

    

    View Slide

31. 結果

    Optunaによる最適化の結果67の特徴量が選ばれた

    - 選択された特徴量

    - 距離や活動時間に関する特徴量（7） 

    - 人口密度などの国勢調査(11) 

    - 47のPOI来訪頻度

    - 選択されなかった特徴量

    - 来訪頻度

    - 直近来店日

    - ログ数

    

    View Slide

32. 結果

    適切に並べることで上位２５％までのユーザーに広告を配信することで費用対効果を大
    幅に改善することが見込まれる

    

    View Slide

33. 結果

    国勢調査を削除した結果

    

    View Slide

34. 結果

    POIを削除したモデルの結果

    

    View Slide

35. 結果

    広告効果の高いグループは外出時間が長く、スポーツ用品店によく行き、人口密度が
    高く、地価が高いところに住み、店舗までの距離が長い

    

    View Slide

36. 考察

    来店頻度や直近の来店といった従来重要とされていた特徴量が採用されなかった

    →ロイヤルティは関係ない？

    

    

    View Slide

37. 考察

    来店頻度や直近の来店といった従来重要とされていた特徴量が採用されなかった

    →ロイヤルティは関係ない？

    店舗からの距離が近いユーザーより遠いユーザーに効果的だった

    →広告効果は移動コストが高い層に効く？

    

    

    

    View Slide

38. 考察

    来店頻度や直近の来店といった従来重要とされていた特徴量が採用されなかった

    →ロイヤルティは関係ない？

    店舗からの距離が近いユーザーより遠いユーザーに効果的だった

    →広告効果は移動コストが高い層に効く？

    ログ数は影響なし

    →来店計測や広告配信頻度は関係ない？他の特徴量で代替されている？

    いずれにしてもジオターゲティングの有効性は示せた

    国勢調査が意外に効果的

    

    View Slide

39. まとめ

    ジオターゲティングにアップリフトを用いることで最適な特徴量の組み合わせを探した。

    

    

    View Slide

40. まとめ

    ジオターゲティングにアップリフトを用いることで最適な特徴量の組み合わせを探した。

    付随的にマーケティングに関する知見を得ることができた

    

    

    View Slide

41. まとめ

    ジオターゲティングにアップリフトを用いることで最適な特徴量の組み合わせを探した。

    付随的にマーケティングに関する知見を得ることができた

    今後、アップリフトを明示的に広告配信に活用する方策を研究開発していきたい

    

    View Slide

42. 参考文献

    Gubela, R., Bequé, A., Lessmann, S., Gebert, F.: Conversion Uplift in E-Commerce: A Systematic Benchmark of
    Modeling Strategies. International Journal of Information Technology & Decision Making. 18, 747–791 (2019).
    https://doi.org/10.1142/S0219622019500172. 

    Jaskowski, M., Jaroszewicz, S.: Uplift modeling for clinical trial data. In: ICML Workshop on Clinical Data
    Analysis (2012).

    Diemert, E., Betlei, A., Renaudin, C., Amini, M.-R.: A Large Scale Benchmark for Uplift Modeling. In:
    Proceedings of the AdKDD and TargetAd Workshop, KDDavid Lopez-Paz and Maxime Oquab. 2016. 

    Lopez-Paz, D., Oquab, M.: Revisiting classifier two-sample tests. arXiv preprint arXiv:1610.06545. (2016). 

    

    

    

    

    View Slide