経済学と機械学習の応用ー因果効果にもとづいた入札戦略ーEcon Fiesta2020.8.28
View Slide
自己紹介● 森脇大輔 @dmoriwaki 個人ページ● AILab@CyberAgent● 最近流行りの霞が関→テック企業転職組● Ph.D. in Econ from University at Albany
研究分野オンライン広告における機械学習／経済学の応用 オルタナティブデータ／ビッグデータ 経済政策・社会保障 今日のメインテーマ GPSデータによる失業率予測行政データによる統計 etc.博士課程時代の研究テーマ
今日のお話
AILab経済学チームとは
メンバー安井翔太- ベストセラー「効果検証入門」- 成田助教授（Yale）や齋藤優太さん（東工大）らとトップティアカンファレンスに論文量産- 因果推論、OPE冨田燿志- 東大経済学部卒業生総代/経済学研究科修士課程修了生総代- メカデザ、ゲーム機械学習チーム- ハイパラサーチ, BB最適化- 強化学習&ゲームデータサイエンティスト- 課題議論- 実プロダクトでの実験外部研究者（星野慶応大教授、成田イエール助教授、前原AIPユニットリーダー など）加藤真大- 学部経済からの院コンピュータサイエンス- 論文生産マシーン- 因果推論、適応的実験、強化学習など
メンバー安井翔太- ベストセラー「効果検証入門」- 成田助教授（Yale）や齋藤優太さん（東工大）らとトップティアカンファレンスに論文量産- 因果推論、OPE冨田燿志- 東大経済学部卒業生総代/経済学研究科修士課程修了生総代- メカデザ、ゲーム機械学習チーム- ハイパラサーチ- 強化学習・ゲームデータサイエンティスト- 課題議論- 実プロダクトでの実験外部研究者（星野慶応大教授、成田イエール助教授、前原AIPユニットリーダー など）加藤真大- 学部経済からの院コンピュータサイエンス- 論文生産マシーン- 因果推論、適応的実験、強化学習など
メンバー安井翔太- ベストセラー「効果検証入門」- 成田助教授（Yale）や齋藤優太さん（東工大）らとトップティアカンファレンスに論文量産- 因果推論、OPE冨田燿志- 東大経済学部卒業生総代/経済学研究科修士課程修了生総代- メカデザ機械学習チーム- ハイパラサーチ- 強化学習・ゲームデータサイエンティスト- 課題議論- 実プロダクトでの実験外部研究者（星野慶応大教授、成田イエール助教授、前原AIPユニットリーダー など）加藤真大- 学部経済からの院コンピュータサイエンス- 論文生産マシーン- 因果推論、適応的実験、強化学習など
メンバー安井翔太- ベストセラー「効果検証入門」- 成田助教授（Yale）や齋藤優太さん（東工大）らとトップティアカンファレンスに論文量産- 因果推論、OPE冨田燿志- 東大経済学部卒業生総代/経済学研究科修士課程修了生総代- メカデザ機械学習チーム- ハイパラサーチ, BB最適化- 強化学習&ゲームデータサイエンティスト- 課題議論- 実プロダクトでの実験外部研究者（星野慶応大教授、成田イエール助教授、前原AIPユニットリーダー など）加藤真大- 学部経済からの院コンピュータサイエンス- 論文生産マシーン- 因果推論、適応的実験、強化学習など
これまでの取組- 学術貢献※- AAAI2019, WWW2020, ICML2020, SIGIR2020, AdKDD2020 etc.- 昨年以降日本経済学会各回で、企画セッション登壇・主催- J. of Comp. Soc. Sci.- 事業貢献- 広告効果の分析- 広告効果予測モデル改善- 新たな入札アルゴリズム etc.※経済学チームだけの成果。クリエイティブリサーチ、HCIチームもそれぞれの分野でトップ会議採択
リサーチサイエンティストの働き方
よくあるDS/MLミーティングの風景ビジネス エンジニアのみなさん データサイエンティスト リサーチサイエンティスト
よくあるDS/MLミーティングの風景ビジネス エンジニアのみなさん データサイエンティスト リサーチサイエンティスト こんなんやりたいんやけどどう？
よくあるDS/MLミーティングの風景ビジネス エンジニアのみなさん データサイエンティスト リサーチサイエンティスト ええんちゃう？できる？
よくあるDS/MLミーティングの風景ビジネス エンジニアのみなさん データサイエンティスト リサーチサイエンティスト 考えてみるわーできるんちゃうん？
リサーチサイエンティストの立ち位置● 研究として成立していてプロダクトに貢献しそうなアイデアの提案、論文としての発表 ● アイデア出し、提案、プロトタイプ実装、オフライン検証、論文執筆 ● プロダクトへの橋渡しはDSのみなさんにお任せ ビジネス エンジニアのみなさん データサイエンティスト リサーチサイエンティスト
Unbiased Lift-based bidding system
オンライン広告の仕組み複数の企業がスマホの広告枠を獲得したい
オンライン広告の仕組み複数の企業がスマホの広告枠を獲得したい広告枠オークションを開催
オンライン広告の仕組み複数の企業がスマホの広告枠を獲得したいオークションによって効率的に配分最高入札の企業が落札。ハッピーエンド？ No！
広告枠オークションの入札戦略● 入札価格は各企業の私的価値にもとづく広告枠を買って広告を配信できたとき（ω=1）に得られる利益τは・・・？
広告枠オークションの入札戦略広告枠を買って広告を配信できたとき（ω=1）に得られる利益τは・・・？● 入札価格は各企業の私的価値にもとづく
実際の広告枠オークション?● 何十億のオークションが開催
実際の広告枠オークション● 何十億のオークションが開催● DSPが代わりに入札
実際の広告枠オークション● 何十億のオークションが開催● DSPが代わりに入札● 広告配信後のクリックやページ来訪に対して報酬支払い
インセンティブ整合的？広告配信後のクリックやページ来訪に対して報酬支払い● DSPの最適戦略は、広告をクリックしそうな人、ページ来訪しそうな人の広告枠を買い付ける● しかし、広告配信後のクリックやページ来訪は必ずしも最終的な売り上げの増加を意味しない（右図）● 広告効果の最大化には 効果がありそうな人の広告枠を買うべき
アップリフトモデリング● ユーザーの属性から個別的因果効果を予測するアップリフトモデリングの研究が近年盛ん（サーベイ： Olaya and Coussement 2020）● 予測された因果効果にもとづいて入札することが最適● 課題○ 広告配信データにおけるバイアス○ オークションの不確実性ビジネス エンジニアのみなさん データサイエンティスト リサーチサイエンティスト
広告配信データにおけるバイアス● 予測モデルを訓練するために必要なデータは過去の広告キャンペーンのから入手● 誰に広告を配信するかは ランダムではない● 広告配信のされやすさとアウトカムが相関している場合、予測が過大もしくは過少ににある（例）家電量販店の広告キャンペーン定期的に来訪するAさん 普段はライバル店を利用するBさんリタゲロジックによって高値で入札 来店経験がないので安値で入札高値で入札されるAさんのほうが広告を配信されやすく来訪しやすい ≠ 因果効果
Unbiased Lift-effect Estimation● ロス関数を広告配信のされやすさの予測値（ IPS）で割り引くことでデータのバイアスを除去した学習を実現● 計算された予測値から効果を推定
オークションの不確実性・・・● それぞれのDSPは各期にどれくらい広告枠のオークションがおきるか、またライバルがどれくらい存在するか知らない● キャンペーン予算の消化は必須なので環境に対応して入札額を変動させる必要がある● PID制御を用いる
システム全体● 環境変動への対応パラメータ αと予測されたτを用いて入札額を計算ビジネス エンジニアのみなさん データサイエンティスト リサーチサイエンティスト
実装、実験● 実際の広告キャンペーンにおいて従来の入札戦略と比較● ユーザーと予算を比例的に分配して実際の広告オークションに参加させる● ユーザーのコンバージョンなどで比較ビジネス エンジニアのみなさん データサイエンティスト リサーチサイエンティスト
結果● CVRでは有意な差がつかなかったが、 1コンバージョンあたりコスト（ effective CPA）で大きな差が出た。● 若干の考察既存の入札戦略は他の DSPと似通っているため、高値で入札してもなかなか落札できない新たな入札戦略は他の DSPと全く違う戦略をとっているので、簡単に広告枠を買うことができた
論文化、採択● 実験で手一杯だったので、インターンにきてくれていた USCの松井さん、さらにラストのほうで東工大／半熟仮想の齋藤さんの助力を得て突貫で論文化（二人がいなかったら完成していなかった）● AdKDD2020に採択、リリースを打ってもらう
発表、反省、今後● AdKDDでの指摘への対応○ 主に実験の不備● 理想状態は、学術貢献＋事業貢献○ 事業貢献側を進めたい
daimoriwaki
akiroom
masasuzu
karamem0
yamamuteki
takesection
picardparis
wakamatsu_takumu
loglass2019
rakus_dev
smt7174
danielkatz
pkshadeck
tanoku
chrislema
carmenintech
kneath
addyosmani
aki_iinuma
keathley
bryan
schacon
holman
jeffersonlam
trallard