Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Econ Fiesta
Search
森脇大輔
August 28, 2020
Technology
1
2.7k
Econ Fiesta
森脇大輔
August 28, 2020
Tweet
Share
More Decks by 森脇大輔
See All by 森脇大輔
Evidence-to-Decisionについて
daimoriwaki
0
240
EBPMにおける生成AI活用について
daimoriwaki
0
280
Global Evidence Summit (GES) 参加報告
daimoriwaki
0
240
Developing “EBPM Database” to Improve Policy Making Process in Japan
daimoriwaki
0
22
保育:待機児童数を減らす取り組み
daimoriwaki
0
23
「EBPMエコシステム」の可能性
daimoriwaki
0
260
RecSys22読み会_MTRS
daimoriwaki
0
610
CADEVCONF
daimoriwaki
0
69
GovTechとマーケットデザイン発表資料(CA森脇)
daimoriwaki
0
390
Other Decks in Technology
See All in Technology
Developers Summit 2025 浅野卓也(13-B-7 LegalOn Technologies)
legalontechnologies
PRO
1
1.2k
「正しく」失敗できる チームの作り方 〜リアルな事例から紐解く失敗を恐れない組織とは〜 / A team that can fail correctly
i35_267
1
240
エンジニアが加速させるプロダクトディスカバリー 〜最速で価値ある機能を見つける方法〜 / product discovery accelerated by engineers
rince
4
470
Moved to https://speakerdeck.com/toshihue/presales-engineer-career-bridging-tech-biz-ja
toshihue
2
820
Goで作って学ぶWebSocket
ryuichi1208
3
2.2k
全文検索+セマンティックランカー+LLMの自然文検索サ−ビスで得られた知見
segavvy
2
130
Amazon S3 Tablesと外部分析基盤連携について / Amazon S3 Tables and External Data Analytics Platform
nttcom
0
140
Building Products in the LLM Era
ymatsuwitter
10
6k
コンテナサプライチェーンセキュリティ
kyohmizu
1
100
関東Kaggler会LT: 人狼コンペとLLM量子化について
nejumi
3
650
分解して理解する Aspire
nenonaninu
2
460
(機械学習システムでも) SLO から始める信頼性構築 - ゆる SRE#9 2025/02/21
daigo0927
0
190
Featured
See All Featured
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
Automating Front-end Workflow
addyosmani
1368
200k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Mobile First: as difficult as doing things right
swwweet
223
9.3k
The Language of Interfaces
destraynor
156
24k
Adopting Sorbet at Scale
ufuk
74
9.2k
Documentation Writing (for coders)
carmenintech
67
4.6k
Speed Design
sergeychernyshev
27
800
Faster Mobile Websites
deanohume
306
31k
How STYLIGHT went responsive
nonsquared
98
5.4k
Statistics for Hackers
jakevdp
797
220k
The Invisible Side of Design
smashingmag
299
50k
Transcript
経済学と機械学習の応用 ー因果効果にもとづいた入札戦略ー Econ Fiesta 2020.8.28
自己紹介 • 森脇大輔 @dmoriwaki 個人ページ • AILab@CyberAgent • 最近流行りの霞が関→テック企業転職組 • Ph.D.
in Econ from University at Albany
研究分野 オンライン広告における機 械学習/経済学の応用 オルタナティブデータ/ ビッグデータ 経済政策・社会保障 今日のメインテーマ GPSデータによる失業率予測 行政データによる統計 etc.
博士課程時代の研究テーマ
今日のお話
AILab経済学チームとは
メンバー 安井翔太 - ベストセラー「効果検証入門」 - 成田助教授(Yale)や齋藤優太さ ん(東工大)らとトップティアカン ファレンスに論文量産 - 因果推論、OPE
冨田燿志 - 東大経済学部卒業生総代/経済学研 究科修士課程修了生総代 - メカデザ、ゲーム 機械学習チーム - ハイパラサーチ, BB最適化 - 強化学習&ゲーム データサイエンティスト - 課題議論 - 実プロダクトでの実験 外部研究者(星野慶応大教授、成田イエール助 教授、前原AIPユニットリーダー など) 加藤真大 - 学部経済からの院コンピュータサ イエンス - 論文生産マシーン - 因果推論、適応的実験、強化学 習など
メンバー 安井翔太 - ベストセラー「効果検証入門」 - 成田助教授(Yale)や齋藤優太さ ん(東工大)らとトップティアカン ファレンスに論文量産 - 因果推論、OPE
冨田燿志 - 東大経済学部卒業生総代/経済学研 究科修士課程修了生総代 - メカデザ、ゲーム 機械学習チーム - ハイパラサーチ - 強化学習・ゲーム データサイエンティスト - 課題議論 - 実プロダクトでの実験 外部研究者(星野慶応大教授、成田イエール助 教授、前原AIPユニットリーダー など) 加藤真大 - 学部経済からの院コンピュータサ イエンス - 論文生産マシーン - 因果推論、適応的実験、強化学 習など
メンバー 安井翔太 - ベストセラー「効果検証入門」 - 成田助教授(Yale)や齋藤優太さ ん(東工大)らとトップティアカン ファレンスに論文量産 - 因果推論、OPE
冨田燿志 - 東大経済学部卒業生総代/経済学研 究科修士課程修了生総代 - メカデザ 機械学習チーム - ハイパラサーチ - 強化学習・ゲーム データサイエンティスト - 課題議論 - 実プロダクトでの実験 外部研究者(星野慶応大教授、成田イエール助 教授、前原AIPユニットリーダー など) 加藤真大 - 学部経済からの院コンピュータサ イエンス - 論文生産マシーン - 因果推論、適応的実験、強化学 習など
メンバー 安井翔太 - ベストセラー「効果検証入門」 - 成田助教授(Yale)や齋藤優太さ ん(東工大)らとトップティアカン ファレンスに論文量産 - 因果推論、OPE
冨田燿志 - 東大経済学部卒業生総代/経済学研 究科修士課程修了生総代 - メカデザ、ゲーム 機械学習チーム - ハイパラサーチ - 強化学習・ゲーム データサイエンティスト - 課題議論 - 実プロダクトでの実験 外部研究者(星野慶応大教授、成田イエール助 教授、前原AIPユニットリーダー など) 加藤真大 - 学部経済からの院コンピュータサ イエンス - 論文生産マシーン - 因果推論、適応的実験、強化学 習など
メンバー 安井翔太 - ベストセラー「効果検証入門」 - 成田助教授(Yale)や齋藤優太さ ん(東工大)らとトップティアカン ファレンスに論文量産 - 因果推論、OPE
冨田燿志 - 東大経済学部卒業生総代/経済学研 究科修士課程修了生総代 - メカデザ 機械学習チーム - ハイパラサーチ, BB最適化 - 強化学習&ゲーム データサイエンティスト - 課題議論 - 実プロダクトでの実験 外部研究者(星野慶応大教授、成田イエール助 教授、前原AIPユニットリーダー など) 加藤真大 - 学部経済からの院コンピュータサ イエンス - 論文生産マシーン - 因果推論、適応的実験、強化学 習など
これまでの取組 - 学術貢献※ - AAAI2019, WWW2020, ICML2020, SIGIR2020, AdKDD2020 etc.
- 昨年以降日本経済学会各回で、企画セッション登壇・主催 - J. of Comp. Soc. Sci. - 事業貢献 - 広告効果の分析 - 広告効果予測モデル改善 - 新たな入札アルゴリズム etc. ※経済学チームだけの成果。クリエイティブリサーチ、HCIチームもそれぞれの分野でトップ会議採択
これまでの取組 - 学術貢献※ - AAAI2019, WWW2020, ICML2020, SIGIR2020, AdKDD2020 etc.
- 昨年以降日本経済学会各回で、企画セッション登壇・主催 - J. of Comp. Soc. Sci. - 事業貢献 - 広告効果の分析 - 広告効果予測モデル改善 - 新たな入札アルゴリズム etc. ※経済学チームだけの成果。クリエイティブリサーチ、HCIチームもそれぞれの分野でトップ会議採択
リサーチサイエンティストの働き方
よくあるDS/MLミーティングの風景 ビジネス エンジニアのみ なさん データサイエンティス ト リサーチサイ エンティスト
よくあるDS/MLミーティングの風景 ビジネス エンジニアのみ なさん データサイエンティス ト リサーチサイ エンティスト こんなんやりたいんや けどどう?
よくあるDS/MLミーティングの風景 ビジネス エンジニアのみ なさん データサイエンティス ト リサーチサイ エンティスト ええんちゃう?でき る?
よくあるDS/MLミーティングの風景 ビジネス エンジニアのみ なさん データサイエンティス ト リサーチサイ エンティスト 考えてみるわー できるんちゃうん?
リサーチサイエンティストの立ち位置 • 研究として成立していてプロダクトに貢献しそうなアイデアの提案、論文 としての発表 • アイデア出し、提案、プロトタイプ実装、オフライン検証、論文執筆 • プロダクトへの橋渡しはDSのみなさんにお任せ ビジネス エンジニアのみなさん
データサイエンティスト リサーチサイエン ティスト
Unbiased Lift-based bidding system
オンライン広告の仕組み 複数の企業がスマホの広告枠を獲得したい
オンライン広告の仕組み 複数の企業がスマホの広告枠を獲得したい 広告枠オークションを開催
オンライン広告の仕組み 複数の企業がスマホの広告枠を獲得したい オークションによって効率的に配分 最高入札の企業が落札。ハッピーエンド? No!
広告枠オークションの入札戦略 • 入札価格は各企業の私的価値にもとづく 広告枠を買って広告を配信 できたとき(ω=1)に得られる 利益τは・・・?
広告枠オークションの入札戦略 広告枠を買って広告を配信 できたとき(ω=1)に得られる 利益τは・・・? • 入札価格は各企業の私的価値にもとづく
実際の広告枠オークション ? • 何十億のオークションが開催
実際の広告枠オークション • 何十億のオークションが開催 • DSPが代わりに入札
実際の広告枠オークション • 何十億のオークションが開催 • DSPが代わりに入札 • 広告配信後のクリックやページ来訪に対して報酬支払い
インセンティブ整合的? 広告配信後のクリックやページ来訪に対して報酬支払い • DSPの最適戦略は、広告をクリックしそうな 人、ページ来訪しそうな人の広告枠を買い付 ける • しかし、広告配信後のクリックやページ来訪 は必ずしも最終的な売り上げの増加を意味し ない(右図)
• 広告効果の最大化には 効果がありそうな人 の広告枠を買うべき
アップリフトモデリング • ユーザーの属性から個別的因果効果を予測するアップリフトモデリングの研究が 近年盛ん(サーベイ: Olaya and Coussement 2020) • 予測された因果効果にもとづいて入札することが最適
• 課題 ◦ 広告配信データにおけるバイアス ◦ オークションの不確実性 ビジネス エンジニ アのみな さん データサイエンティスト リサー チサイ エンティ スト
広告配信データにおけるバイアス • 予測モデルを訓練するために必要なデータは過去の広告キャンペーンのから入手 • 誰に広告を配信するかは ランダムではない • 広告配信のされやすさとアウトカムが相関している場合、予測が過大もしくは過少ににある (例)家電量販店の広告キャンペーン 定期的に来訪するAさん
普段はライバル店を利用するBさん リタゲロジックによって高値で入札 来店経験がないので安値で入札 高値で入札されるAさんのほうが広告を配信されやすく来訪しやすい ≠ 因果効果
Unbiased Lift-effect Estimation • ロス関数を広告配信のされやすさの予測値( IPS)で割り引くことでデータのバイアスを除去した学習を 実現 • 計算された予測値から効果を推定
オークションの不確実性 ・・・ • それぞれのDSPは各期にどれくらい広告枠のオークションがおきるか、またライバルがどれくらい存在 するか知らない • キャンペーン予算の消化は必須なので環境に対応して入札額を変動させる必要がある • PID制御を用いる
システム全体 • 環境変動への対応パラメータ αと予測されたτを用いて入札額を計算 ビジネス エンジニアのみ なさん データサイエンティス ト リサーチサイ
エンティスト
実装、実験 • 実際の広告キャンペーンにおいて従来の入札戦略と比較 • ユーザーと予算を比例的に分配して実際の広告オークションに 参加させる • ユーザーのコンバージョンなどで比較 ビジネス エンジニアのみなさん
データサイエンティスト リサーチサイエン ティスト
結果 • CVRでは有意な差がつかなかったが、 1コンバージョンあたりコスト( effective CPA)で大きな差が出 た。 • 若干の考察 既存の入札戦略は他の
DSPと似通っているため、高値で入札してもなかなか落札できない 新たな入札戦略は他の DSPと全く違う戦略をとっているので、簡単に広告枠を買うことができた
論文化、採択 • 実験で手一杯だったので、インターンにきてくれていた USCの松井さん、さらにラストのほうで東工大 /半熟仮想の齋藤さんの助力を得て突貫で論文化(二人がいなかったら完成していなかった) • AdKDD2020に採択、リリースを打ってもらう
発表、反省、今後 • AdKDDでの指摘への対応 ◦ 主に実験の不備 • 理想状態は、学術貢献+事業貢献 ◦ 事業貢献側を進めたい