Econ Fiesta - Speaker Deck

Econ Fiesta

by 森脇大輔

Slide 1

Slide 1 text

経済学と機械学習の応用ー因果効果にもとづいた入札戦略ー Econ Fiesta 2020.8.28

Slide 2

Slide 2 text

自己紹介 ● 森脇大輔　@dmoriwaki 個人ページ ● AILab@CyberAgent ● 最近流行りの霞が関→テック企業転職組 ● Ph.D. in Econ from University at Albany

Slide 3

Slide 3 text

研究分野オンライン広告における機械学習／経済学の応用  オルタナティブデータ／ビッグデータ  経済政策・社会保障  今日のメインテーマ GPSデータによる失業率予測行政データによる統計 etc. 博士課程時代の研究テーマ

Slide 4

Slide 4 text

今日のお話

Slide 5

Slide 5 text

AILab経済学チームとは

Slide 6

Slide 6 text

メンバー安井翔太 - ベストセラー「効果検証入門」 - 成田助教授（Yale）や齋藤優太さん（東工大）らとトップティアカンファレンスに論文量産 - 因果推論、OPE 冨田燿志 - 東大経済学部卒業生総代/経済学研究科修士課程修了生総代 - メカデザ、ゲーム機械学習チーム - ハイパラサーチ, BB最適化 - 強化学習&ゲームデータサイエンティスト - 課題議論 - 実プロダクトでの実験外部研究者（星野慶応大教授、成田イエール助教授、前原AIPユニットリーダー　など）加藤真大 - 学部経済からの院コンピュータサイエンス - 論文生産マシーン - 因果推論、適応的実験、強化学習など

Slide 7

Slide 7 text

メンバー安井翔太 - ベストセラー「効果検証入門」 - 成田助教授（Yale）や齋藤優太さん（東工大）らとトップティアカンファレンスに論文量産 - 因果推論、OPE 冨田燿志 - 東大経済学部卒業生総代/経済学研究科修士課程修了生総代 - メカデザ、ゲーム機械学習チーム - ハイパラサーチ - 強化学習・ゲームデータサイエンティスト - 課題議論 - 実プロダクトでの実験外部研究者（星野慶応大教授、成田イエール助教授、前原AIPユニットリーダー　など）加藤真大 - 学部経済からの院コンピュータサイエンス - 論文生産マシーン - 因果推論、適応的実験、強化学習など

Slide 8

Slide 8 text

メンバー安井翔太 - ベストセラー「効果検証入門」 - 成田助教授（Yale）や齋藤優太さん（東工大）らとトップティアカンファレンスに論文量産 - 因果推論、OPE 冨田燿志 - 東大経済学部卒業生総代/経済学研究科修士課程修了生総代 - メカデザ機械学習チーム - ハイパラサーチ - 強化学習・ゲームデータサイエンティスト - 課題議論 - 実プロダクトでの実験外部研究者（星野慶応大教授、成田イエール助教授、前原AIPユニットリーダー　など）加藤真大 - 学部経済からの院コンピュータサイエンス - 論文生産マシーン - 因果推論、適応的実験、強化学習など

Slide 9

Slide 9 text

Slide 10

Slide 10 text

メンバー安井翔太 - ベストセラー「効果検証入門」 - 成田助教授（Yale）や齋藤優太さん（東工大）らとトップティアカンファレンスに論文量産 - 因果推論、OPE 冨田燿志 - 東大経済学部卒業生総代/経済学研究科修士課程修了生総代 - メカデザ機械学習チーム - ハイパラサーチ, BB最適化 - 強化学習&ゲームデータサイエンティスト - 課題議論 - 実プロダクトでの実験外部研究者（星野慶応大教授、成田イエール助教授、前原AIPユニットリーダー　など）加藤真大 - 学部経済からの院コンピュータサイエンス - 論文生産マシーン - 因果推論、適応的実験、強化学習など

Slide 11

Slide 11 text

これまでの取組 - 学術貢献※ - AAAI2019, WWW2020, ICML2020, SIGIR2020, AdKDD2020 etc. - 昨年以降日本経済学会各回で、企画セッション登壇・主催 - J. of Comp. Soc. Sci. - 事業貢献 - 広告効果の分析 - 広告効果予測モデル改善 - 新たな入札アルゴリズム etc. ※経済学チームだけの成果。クリエイティブリサーチ、HCIチームもそれぞれの分野でトップ会議採択

Slide 12

Slide 12 text

Slide 13

Slide 13 text

リサーチサイエンティストの働き方

Slide 14

Slide 14 text

よくあるDS/MLミーティングの風景ビジネス  エンジニアのみなさん  データサイエンティスト  リサーチサイエンティスト 

Slide 15

Slide 15 text

よくあるDS/MLミーティングの風景ビジネス  エンジニアのみなさん  データサイエンティスト  リサーチサイエンティスト  こんなんやりたいんやけどどう？

Slide 16

Slide 16 text

よくあるDS/MLミーティングの風景ビジネス  エンジニアのみなさん  データサイエンティスト  リサーチサイエンティスト  ええんちゃう？できる？

Slide 17

Slide 17 text

よくあるDS/MLミーティングの風景ビジネス  エンジニアのみなさん  データサイエンティスト  リサーチサイエンティスト  考えてみるわーできるんちゃうん？

Slide 18

Slide 18 text

リサーチサイエンティストの立ち位置 ● 研究として成立していてプロダクトに貢献しそうなアイデアの提案、論文としての発表  ● アイデア出し、提案、プロトタイプ実装、オフライン検証、論文執筆  ● プロダクトへの橋渡しはDSのみなさんにお任せ  ビジネス  エンジニアのみなさん  データサイエンティスト  リサーチサイエンティスト 

Slide 19

Slide 19 text

Unbiased Lift-based bidding system

Slide 20

Slide 20 text

オンライン広告の仕組み複数の企業がスマホの広告枠を獲得したい

Slide 21

Slide 21 text

オンライン広告の仕組み複数の企業がスマホの広告枠を獲得したい広告枠オークションを開催

Slide 22

Slide 22 text

オンライン広告の仕組み複数の企業がスマホの広告枠を獲得したいオークションによって効率的に配分最高入札の企業が落札。ハッピーエンド？　No！

Slide 23

Slide 23 text

広告枠オークションの入札戦略 ● 入札価格は各企業の私的価値にもとづく広告枠を買って広告を配信できたとき（ω=1）に得られる利益τは・・・？

Slide 24

Slide 24 text

広告枠オークションの入札戦略広告枠を買って広告を配信できたとき（ω=1）に得られる利益τは・・・？ ● 入札価格は各企業の私的価値にもとづく

Slide 25

Slide 25 text

実際の広告枠オークション ? ● 何十億のオークションが開催

Slide 26

Slide 26 text

実際の広告枠オークション ● 何十億のオークションが開催 ● DSPが代わりに入札

Slide 27

Slide 27 text

実際の広告枠オークション ● 何十億のオークションが開催 ● DSPが代わりに入札 ● 広告配信後のクリックやページ来訪に対して報酬支払い

Slide 28

Slide 28 text

インセンティブ整合的？広告配信後のクリックやページ来訪に対して報酬支払い ● DSPの最適戦略は、広告をクリックしそうな人、ページ来訪しそうな人の広告枠を買い付ける ● しかし、広告配信後のクリックやページ来訪は必ずしも最終的な売り上げの増加を意味しない（右図） ● 広告効果の最大化には効果がありそうな人の広告枠を買うべき

Slide 29

Slide 29 text

アップリフトモデリング ● ユーザーの属性から個別的因果効果を予測するアップリフトモデリングの研究が近年盛ん（サーベイ： Olaya and Coussement 2020） ● 予測された因果効果にもとづいて入札することが最適 ● 課題 ○ 広告配信データにおけるバイアス ○ オークションの不確実性ビジネス  エンジニアのみなさん  データサイエンティスト  リサーチサイエンティスト 

Slide 30

Slide 30 text

広告配信データにおけるバイアス ● 予測モデルを訓練するために必要なデータは過去の広告キャンペーンのから入手 ● 誰に広告を配信するかはランダムではない ● 広告配信のされやすさとアウトカムが相関している場合、予測が過大もしくは過少ににある（例）家電量販店の広告キャンペーン定期的に来訪するAさん普段はライバル店を利用するBさんリタゲロジックによって高値で入札来店経験がないので安値で入札高値で入札されるAさんのほうが広告を配信されやすく来訪しやすい ≠ 因果効果

Slide 31

Slide 31 text

Unbiased Lift-effect Estimation ● ロス関数を広告配信のされやすさの予測値（ IPS）で割り引くことでデータのバイアスを除去した学習を実現 ● 計算された予測値から効果を推定

Slide 32

Slide 32 text

オークションの不確実性・・・ ● それぞれのDSPは各期にどれくらい広告枠のオークションがおきるか、またライバルがどれくらい存在するか知らない ● キャンペーン予算の消化は必須なので環境に対応して入札額を変動させる必要がある ● PID制御を用いる

Slide 33

Slide 33 text

システム全体 ● 環境変動への対応パラメータ αと予測されたτを用いて入札額を計算ビジネス  エンジニアのみなさん  データサイエンティスト  リサーチサイエンティスト 

Slide 34

Slide 34 text

実装、実験 ● 実際の広告キャンペーンにおいて従来の入札戦略と比較 ● ユーザーと予算を比例的に分配して実際の広告オークションに参加させる ● ユーザーのコンバージョンなどで比較ビジネス  エンジニアのみなさん  データサイエンティスト  リサーチサイエンティスト 

Slide 35

Slide 35 text

結果 ● CVRでは有意な差がつかなかったが、 1コンバージョンあたりコスト（ effective CPA）で大きな差が出た。 ● 若干の考察既存の入札戦略は他の DSPと似通っているため、高値で入札してもなかなか落札できない新たな入札戦略は他の DSPと全く違う戦略をとっているので、簡単に広告枠を買うことができた

Slide 36

Slide 36 text

論文化、採択 ● 実験で手一杯だったので、インターンにきてくれていた USCの松井さん、さらにラストのほうで東工大／半熟仮想の齋藤さんの助力を得て突貫で論文化（二人がいなかったら完成していなかった） ● AdKDD2020に採択、リリースを打ってもらう

Slide 37

Slide 37 text

発表、反省、今後 ● AdKDDでの指摘への対応 ○ 主に実験の不備 ● 理想状態は、学術貢献＋事業貢献 ○ 事業貢献側を進めたい