Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Uplift Modelling for Location-based Online Advertising

森脇大輔
October 30, 2019

Uplift Modelling for Location-based Online Advertising

第3回CFML勉強会

森脇大輔

October 30, 2019
Tweet

More Decks by 森脇大輔

Other Decks in Technology

Transcript

  1. ジオターゲティングにおけるUplift Modelling
    の応用

    CyberAgent, inc.

    サイバーエージェント AI Lab 森脇大輔



    2019年10月30日 第3回CFML勉強会


    View full-size slide

  2. 自己紹介

    AILab, 経済学チーム リサーチサイエンティスト

    ←AirTrack データサイエンティスト

    ←内閣府(経済財政白書、統計改革など)

    ←留学(ニューヨーク州立大学、経済学博士)

    ←内閣府(経済対策、金融政策など)


    View full-size slide

  3. Uplift Modeling for Location-based online Advertising


    河中祥吾さん(NAIST, 8−9月博士インターン)との共同研究

    ACM SIGSPATIALのワークショップLocalRec2019に採択


    View full-size slide

  4. AirTrack

    位置情報を用いたマーケティングのためのプラットフォーム

    - 数千万MAUの位置情報を収集・解析

    - 位置情報ベースのユーザーターゲティング

    - 来訪計測


    View full-size slide

  5. ジオターゲティング市場

    世界的にも位置情報マーケティングは成長

    - FB, Twitterなどのソーシャルメディアが70%

    (資料)BIA/Kelsey

    View full-size slide

  6. ジオターゲティングの例

    リアル店舗がある企業の広告配信


    View full-size slide

  7. ジオターゲティングの例

    店舗がない地域のユーザーに広告しても無駄


    View full-size slide

  8. ジオターゲティングの例


    View full-size slide

  9. ジオターゲティングの例

    競合店舗に行くユーザーは購買意欲が高い


    View full-size slide

  10. ジオターゲティングの例

    競合店舗に行くユーザーは購買意欲が高い

    趣味嗜好、社会的地位、経済的地位、日々の習慣、行動パターン、、、

    ジオターゲティングの手法は無限大!


    View full-size slide

  11. 課題感

    それぞれのジオターゲティングの手法が本当に効果的なのか

    数あるジオターゲティングの手法のなかで効果的なものはなにか

    どう組み合わせればいいのか


    View full-size slide

  12. よりフォーマルに考えると

    マーケター(広告主)が本当に最大化したいのはレスポンスではなくリフト




    View full-size slide

  13. よりフォーマルに考えると

    マーケター(広告主)が本当に最大化したいのはレスポンスではなくリフト



    リフトが高いユーザーを多様な位置情報から見つけられないか


    View full-size slide

  14. よりフォーマルに考えると

    マーケター(広告主)が本当に最大化したいのはレスポンスではなくリフト



    リフトが高いユーザーを多様な位置情報から見つけられないか

    そうだね。アップリフトだね。


    View full-size slide

  15. 研究の意義

    位置情報を用いたアップリフトモデルによって効率的・効果的なターゲティングができる
    ことを示す

    付随的に従来のジオターゲティングに関する知見を示す


    View full-size slide

  16. 流れ

    アップリフトモデルを推定

    AUUCを最大にする位置情報ベースの特徴量X_iの最適な組み合わせを探す

    AUUCによって評価


    View full-size slide

  17. アップリフトモデルの推定

    アップリフトモデル(再掲)


    よく使われる2つの手法(Gubela et al. 2019に詳細なレビュー)


    View full-size slide

  18. アップリフトモデルの推定

    アップリフトモデル(再掲)


    よく使われる2つの手法(Gubela et al. 2019に詳細なレビュー)

    - 介入群と対照群でそれぞれについて推定して差分を計算する(Two-model)


    View full-size slide

  19. アップリフトモデルの推定

    アップリフトモデル(再掲)


    よく使われる2つの手法(Gubela et al. 2019に詳細なレビュー)

    - 介入群と対照群でそれぞれについて推定して差分を計算する(Two-model)

    - Class Variable Transformation (CVT)によって一つのモデルで推定する
    (Jaskowski-Jaroszewicz 2012)


    View full-size slide

  20. Class Variable Transformation(Jaskowski-Jaroszewicz 2012)


    View full-size slide


  21. XGBoostのような強い学習器が使える
    Class Variable Transformation(Jaskowski-Jaroszewicz 2012)


    View full-size slide

  22. 評価方法

    学習データと取り置きデータにわける

    学習データで学習

    取り置いたデータはさらに介入群と対照群に分ける

    Train hold-out
    control
    treatment

    View full-size slide

  23. 評価方法

    control
    treatment
    介入群と対照群それぞれについてアップリフトスコア(Zス
    コア)の高い順に並べてコンバージョン率を比較する

    両者の差によってリフトが計算できる


    View full-size slide

  24. 評価方法

    累積のコンバージョンリフト率

    スコア順に並べた場合(赤)とランダムに並べた場合(青)


    View full-size slide

  25. 評価方法

    累積のコンバージョンリフト率

    スコア順に並べた場合(赤)とランダムに並べた場合(青)


    両者の差をAUUCと定義


    View full-size slide

  26. 特徴量の組み合わせ最適化

    127種類の位置情報ベースの特徴量について、AUUCを最大化する組み合わせを選択

    それぞれの特徴量を利用するかしないかの[0, 1]パラメータをAUUCに基づいて最適化
    する

    Optuna神を使う




    XGBoost, 200回試行


    View full-size slide

  27. 実験

    データ

    - 某全国展開しているスポーツ用品ブランドのサマーセールキャンペーンのデータ

    - 配信対象者は数百万人

    - そのうち40000人ずつをA/Bテストのために利用 

    - アウトカムは店舗に来訪したかどうか


    View full-size slide

  28. 実験

    健全性チェック(Diemert et al. 2018)

    - 介入が本当に無作為だったのかをチェック

    - XGBoostを用いて介入の有無を予測する学習器を訓練しAUCがチャンスレートとお
    おきく違わないことを確認(Classifier Two Sample test)


    View full-size slide

  29. 実験

    特徴量(127)

    - 活動に関する特徴量

    - 来店頻度

    - 直近来店日

    - 通勤距離

    - 来店距離(居住地・勤務地) 

    - 外出時間

    - 労働時間

    - 通勤時間(行き帰り、差分) 

    - POI来訪頻度

    - ログ数


    View full-size slide

  30. 実験

    特徴量(127)

    - 活動に関する特徴量

    - 来店頻度

    - 直近来店日

    - 通勤距離

    - 来店距離(居住地・勤務地) 

    - 外出時間

    - 労働時間

    - 通勤時間(行き帰り、差分) 

    - POI来訪頻度

    - ログ数

    - 地理情報に関する特徴量

    - 国勢調査250mメッシュに基づく各種統計 

    - 公示地価


    View full-size slide

  31. 結果

    Optunaによる最適化の結果67の特徴量が選ばれた

    - 選択された特徴量

    - 距離や活動時間に関する特徴量(7) 

    - 人口密度などの国勢調査(11) 

    - 47のPOI来訪頻度

    - 選択されなかった特徴量

    - 来訪頻度

    - 直近来店日

    - ログ数


    View full-size slide

  32. 結果

    適切に並べることで上位25%までのユーザーに広告を配信することで費用対効果を大
    幅に改善することが見込まれる


    View full-size slide

  33. 結果

    国勢調査を削除した結果


    View full-size slide

  34. 結果

    POIを削除したモデルの結果


    View full-size slide

  35. 結果

    広告効果の高いグループは外出時間が長く、スポーツ用品店によく行き、人口密度が
    高く、地価が高いところに住み、店舗までの距離が長い


    View full-size slide

  36. 考察

    来店頻度や直近の来店といった従来重要とされていた特徴量が採用されなかった

    →ロイヤルティは関係ない?


    View full-size slide

  37. 考察

    来店頻度や直近の来店といった従来重要とされていた特徴量が採用されなかった

    →ロイヤルティは関係ない?

    店舗からの距離が近いユーザーより遠いユーザーに効果的だった

    →広告効果は移動コストが高い層に効く?



    View full-size slide

  38. 考察

    来店頻度や直近の来店といった従来重要とされていた特徴量が採用されなかった

    →ロイヤルティは関係ない?

    店舗からの距離が近いユーザーより遠いユーザーに効果的だった

    →広告効果は移動コストが高い層に効く?

    ログ数は影響なし

    →来店計測や広告配信頻度は関係ない?他の特徴量で代替されている?

    いずれにしてもジオターゲティングの有効性は示せた

    国勢調査が意外に効果的


    View full-size slide

  39. まとめ

    ジオターゲティングにアップリフトを用いることで最適な特徴量の組み合わせを探した。


    View full-size slide

  40. まとめ

    ジオターゲティングにアップリフトを用いることで最適な特徴量の組み合わせを探した。

    付随的にマーケティングに関する知見を得ることができた


    View full-size slide

  41. まとめ

    ジオターゲティングにアップリフトを用いることで最適な特徴量の組み合わせを探した。

    付随的にマーケティングに関する知見を得ることができた

    今後、アップリフトを明示的に広告配信に活用する方策を研究開発していきたい


    View full-size slide

  42. 参考文献

    Gubela, R., Bequé, A., Lessmann, S., Gebert, F.: Conversion Uplift in E-Commerce: A Systematic Benchmark of
    Modeling Strategies. International Journal of Information Technology & Decision Making. 18, 747–791 (2019).
    https://doi.org/10.1142/S0219622019500172. 

    Jaskowski, M., Jaroszewicz, S.: Uplift modeling for clinical trial data. In: ICML Workshop on Clinical Data
    Analysis (2012).

    Diemert, E., Betlei, A., Renaudin, C., Amini, M.-R.: A Large Scale Benchmark for Uplift Modeling. In:
    Proceedings of the AdKDD and TargetAd Workshop, KDDavid Lopez-Paz and Maxime Oquab. 2016. 

    Lopez-Paz, D., Oquab, M.: Revisiting classifier two-sample tests. arXiv preprint arXiv:1610.06545. (2016). 




    View full-size slide