Econ Fiesta

Transcript

1. 経済学と機械学習の応用 ー因果効果にもとづいた入札戦略ー Econ Fiesta 2020.8.28
2. 自己紹介 • 森脇大輔　@dmoriwaki 個人ページ • AILab@CyberAgent • 最近流行りの霞が関→テック企業転職組 • Ph.D. in Econ from University at Albany
3. 研究分野 オンライン広告における機 械学習／経済学の応用
 オルタナティブデータ／ ビッグデータ
 経済政策・社会保障
 今日のメインテーマ GPSデータによる失業率予測 行政データによる統計 etc. 博士課程時代の研究テーマ
4. 今日のお話
5. AILab経済学チームとは
6. メンバー 安井翔太 - ベストセラー「効果検証入門」 - 成田助教授（Yale）や齋藤優太さ ん（東工大）らとトップティアカン ファレンスに論文量産 - 因果推論、OPE 冨田燿志 - 東大経済学部卒業生総代/経済学研 究科修士課程修了生総代 - メカデザ、ゲーム 機械学習チーム - ハイパラサーチ, BB最適化 - 強化学習&ゲーム データサイエンティスト - 課題議論 - 実プロダクトでの実験 外部研究者（星野慶応大教授、成田イエール助 教授、前原AIPユニットリーダー　など） 加藤真大 - 学部経済からの院コンピュータサ イエンス - 論文生産マシーン - 因果推論、適応的実験、強化学 習など
7. メンバー 安井翔太 - ベストセラー「効果検証入門」 - 成田助教授（Yale）や齋藤優太さ ん（東工大）らとトップティアカン ファレンスに論文量産 - 因果推論、OPE 冨田燿志 - 東大経済学部卒業生総代/経済学研 究科修士課程修了生総代 - メカデザ、ゲーム 機械学習チーム - ハイパラサーチ - 強化学習・ゲーム データサイエンティスト - 課題議論 - 実プロダクトでの実験 外部研究者（星野慶応大教授、成田イエール助 教授、前原AIPユニットリーダー　など） 加藤真大 - 学部経済からの院コンピュータサ イエンス - 論文生産マシーン - 因果推論、適応的実験、強化学 習など
8. メンバー 安井翔太 - ベストセラー「効果検証入門」 - 成田助教授（Yale）や齋藤優太さ ん（東工大）らとトップティアカン ファレンスに論文量産 - 因果推論、OPE 冨田燿志 - 東大経済学部卒業生総代/経済学研 究科修士課程修了生総代 - メカデザ 機械学習チーム - ハイパラサーチ - 強化学習・ゲーム データサイエンティスト - 課題議論 - 実プロダクトでの実験 外部研究者（星野慶応大教授、成田イエール助 教授、前原AIPユニットリーダー　など） 加藤真大 - 学部経済からの院コンピュータサ イエンス - 論文生産マシーン - 因果推論、適応的実験、強化学 習など
9. メンバー 安井翔太 - ベストセラー「効果検証入門」 - 成田助教授（Yale）や齋藤優太さ ん（東工大）らとトップティアカン ファレンスに論文量産 - 因果推論、OPE 冨田燿志 - 東大経済学部卒業生総代/経済学研 究科修士課程修了生総代 - メカデザ、ゲーム 機械学習チーム - ハイパラサーチ - 強化学習・ゲーム データサイエンティスト - 課題議論 - 実プロダクトでの実験 外部研究者（星野慶応大教授、成田イエール助 教授、前原AIPユニットリーダー　など） 加藤真大 - 学部経済からの院コンピュータサ イエンス - 論文生産マシーン - 因果推論、適応的実験、強化学 習など
10. メンバー 安井翔太 - ベストセラー「効果検証入門」 - 成田助教授（Yale）や齋藤優太さ ん（東工大）らとトップティアカン ファレンスに論文量産 - 因果推論、OPE 冨田燿志 - 東大経済学部卒業生総代/経済学研 究科修士課程修了生総代 - メカデザ 機械学習チーム - ハイパラサーチ, BB最適化 - 強化学習&ゲーム データサイエンティスト - 課題議論 - 実プロダクトでの実験 外部研究者（星野慶応大教授、成田イエール助 教授、前原AIPユニットリーダー　など） 加藤真大 - 学部経済からの院コンピュータサ イエンス - 論文生産マシーン - 因果推論、適応的実験、強化学 習など
11. これまでの取組 - 学術貢献※ - AAAI2019, WWW2020, ICML2020, SIGIR2020, AdKDD2020 etc. - 昨年以降日本経済学会各回で、企画セッション登壇・主催 - J. of Comp. Soc. Sci. - 事業貢献 - 広告効果の分析 - 広告効果予測モデル改善 - 新たな入札アルゴリズム etc. ※経済学チームだけの成果。クリエイティブリサーチ、HCIチームもそれぞれの分野でトップ会議採択
12. これまでの取組 - 学術貢献※ - AAAI2019, WWW2020, ICML2020, SIGIR2020, AdKDD2020 etc. - 昨年以降日本経済学会各回で、企画セッション登壇・主催 - J. of Comp. Soc. Sci. - 事業貢献 - 広告効果の分析 - 広告効果予測モデル改善 - 新たな入札アルゴリズム etc. ※経済学チームだけの成果。クリエイティブリサーチ、HCIチームもそれぞれの分野でトップ会議採択
13. リサーチサイエンティストの働き方
14. よくあるDS/MLミーティングの風景 ビジネス
 エンジニアのみ なさん
 データサイエンティス ト
 リサーチサイ エンティスト

15. よくあるDS/MLミーティングの風景 ビジネス
 エンジニアのみ なさん
 データサイエンティス ト
 リサーチサイ エンティスト
 こんなんやりたいんや けどどう？
16. よくあるDS/MLミーティングの風景 ビジネス
 エンジニアのみ なさん
 データサイエンティス ト
 リサーチサイ エンティスト
 ええんちゃう？でき る？
17. よくあるDS/MLミーティングの風景 ビジネス
 エンジニアのみ なさん
 データサイエンティス ト
 リサーチサイ エンティスト
 考えてみるわー できるんちゃうん？
18. リサーチサイエンティストの立ち位置 • 研究として成立していてプロダクトに貢献しそうなアイデアの提案、論文 としての発表
 • アイデア出し、提案、プロトタイプ実装、オフライン検証、論文執筆
 • プロダクトへの橋渡しはDSのみなさんにお任せ
 ビジネス
 エンジニアのみなさん
 データサイエンティスト
 リサーチサイエン ティスト

19. Unbiased Lift-based bidding system
20. オンライン広告の仕組み 複数の企業がスマホの広告枠を獲得したい
21. オンライン広告の仕組み 複数の企業がスマホの広告枠を獲得したい 広告枠オークションを開催
22. オンライン広告の仕組み 複数の企業がスマホの広告枠を獲得したい オークションによって効率的に配分 最高入札の企業が落札。ハッピーエンド？　No！
23. 広告枠オークションの入札戦略 • 入札価格は各企業の私的価値にもとづく 広告枠を買って広告を配信 できたとき（ω=1）に得られる 利益τは・・・？
24. 広告枠オークションの入札戦略 広告枠を買って広告を配信 できたとき（ω=1）に得られる 利益τは・・・？ • 入札価格は各企業の私的価値にもとづく
25. 実際の広告枠オークション ? • 何十億のオークションが開催
26. 実際の広告枠オークション • 何十億のオークションが開催 • DSPが代わりに入札
27. 実際の広告枠オークション • 何十億のオークションが開催 • DSPが代わりに入札 • 広告配信後のクリックやページ来訪に対して報酬支払い
28. インセンティブ整合的？ 広告配信後のクリックやページ来訪に対して報酬支払い • DSPの最適戦略は、広告をクリックしそうな 人、ページ来訪しそうな人の広告枠を買い付 ける • しかし、広告配信後のクリックやページ来訪 は必ずしも最終的な売り上げの増加を意味し ない（右図） • 広告効果の最大化には 効果がありそうな人 の広告枠を買うべき
29. アップリフトモデリング • ユーザーの属性から個別的因果効果を予測するアップリフトモデリングの研究が 近年盛ん（サーベイ： Olaya and Coussement 2020） • 予測された因果効果にもとづいて入札することが最適 • 課題 ◦ 広告配信データにおけるバイアス ◦ オークションの不確実性 ビジネス
 エンジニ アのみな さん
 データサイエンティスト
 リサー チサイ エンティ スト

30. 広告配信データにおけるバイアス • 予測モデルを訓練するために必要なデータは過去の広告キャンペーンのから入手 • 誰に広告を配信するかは ランダムではない • 広告配信のされやすさとアウトカムが相関している場合、予測が過大もしくは過少ににある （例）家電量販店の広告キャンペーン 定期的に来訪するAさん 普段はライバル店を利用するBさん リタゲロジックによって高値で入札 来店経験がないので安値で入札 高値で入札されるAさんのほうが広告を配信されやすく来訪しやすい ≠ 因果効果
31. Unbiased Lift-effect Estimation • ロス関数を広告配信のされやすさの予測値（ IPS）で割り引くことでデータのバイアスを除去した学習を 実現 • 計算された予測値から効果を推定
32. オークションの不確実性 ・・・ • それぞれのDSPは各期にどれくらい広告枠のオークションがおきるか、またライバルがどれくらい存在 するか知らない • キャンペーン予算の消化は必須なので環境に対応して入札額を変動させる必要がある • PID制御を用いる
33. システム全体 • 環境変動への対応パラメータ αと予測されたτを用いて入札額を計算 ビジネス
 エンジニアのみ なさん
 データサイエンティス ト
 リサーチサイ エンティスト

34. 実装、実験 • 実際の広告キャンペーンにおいて従来の入札戦略と比較 • ユーザーと予算を比例的に分配して実際の広告オークションに 参加させる • ユーザーのコンバージョンなどで比較 ビジネス
 エンジニアのみなさん
 データサイエンティスト
 リサーチサイエン ティスト

35. 結果 • CVRでは有意な差がつかなかったが、 1コンバージョンあたりコスト（ effective CPA）で大きな差が出 た。 • 若干の考察 既存の入札戦略は他の DSPと似通っているため、高値で入札してもなかなか落札できない 新たな入札戦略は他の DSPと全く違う戦略をとっているので、簡単に広告枠を買うことができた
36. 論文化、採択 • 実験で手一杯だったので、インターンにきてくれていた USCの松井さん、さらにラストのほうで東工大 ／半熟仮想の齋藤さんの助力を得て突貫で論文化（二人がいなかったら完成していなかった） • AdKDD2020に採択、リリースを打ってもらう
37. 発表、反省、今後 • AdKDDでの指摘への対応 ◦ 主に実験の不備 • 理想状態は、学術貢献＋事業貢献 ◦ 事業貢献側を進めたい