Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Econ Fiesta
Search
森脇大輔
August 28, 2020
Technology
1
2.5k
Econ Fiesta
森脇大輔
August 28, 2020
Tweet
Share
More Decks by 森脇大輔
See All by 森脇大輔
「EBPMエコシステム」の可能性
daimoriwaki
0
220
RecSys22読み会_MTRS
daimoriwaki
0
530
CADEVCONF
daimoriwaki
0
48
GovTechとマーケットデザイン発表資料(CA森脇)
daimoriwaki
0
350
GovTechとマーケットデザイン (東京大学小島教授)
daimoriwaki
0
400
GovTechとマーケットデザイン (東京大学野田講師)
daimoriwaki
0
300
GovTechとマーケットデザイン (渋谷区山室係長)
daimoriwaki
0
380
GovTechとマーケットデザイン(多摩市田中係長)
daimoriwaki
0
230
lift-based advertising
daimoriwaki
0
63
Other Decks in Technology
See All in Technology
楽しくGoを学び合う、LayerXの勉強会文化 / LayerX's study culture of having fun and learning Go together
ar_tama
2
350
データ分析基盤を作ってみよう~設計編~
nrinetcom
PRO
1
110
簡単に始めるSnowflakeの機械学習
nayuts
1
190
コミュニティサービスに「あなたへ」フィードを リリースするまでの試行錯誤
takapy
1
140
エンジニアリングマネージャーはどう学んでいくのか #devsumi / How Do Engineering Managers Continue to Learn and Grow?
expajp
4
1.3k
初中級者用如何使用backlog -VALE TUDOEDITION-
in0u
0
140
JBUG岡山 #6 WordCamp男木島の チームビルディング
takeshifurusato
0
150
20240724_cm_odyssey_hibiyatech
hiashisan
0
110
E2Eテスト自動化プラットフォームにおけるAIの活用
shift_evolve
0
180
「単なる OAuth 2.0 を認証に使うと、車が通れるほどのどでかいセキュリティー・ホールができる」のか検証してみた
terara
0
380
LLMアプリケーションの評価の実践と課題 ~PharmaXにおける今後の展望~
pharma_x_tech
2
160
開発生産性をむしろ向上させる セキュリティパートナーの作り方 / Dev Productivity Con 2024
flatt_security
0
360
Featured
See All Featured
Web development in the modern age
philhawksworth
203
10k
Creatively Recalculating Your Daily Design Routine
revolveconf
214
11k
Making Projects Easy
brettharned
111
5.7k
Building Your Own Lightsaber
phodgson
101
5.9k
For a Future-Friendly Web
brad_frost
173
9.2k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
26
1.8k
Embracing the Ebb and Flow
colly
81
4.3k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
245
1.2M
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
189
16k
The Straight Up "How To Draw Better" Workshop
denniskardys
229
130k
The Cost Of JavaScript in 2023
addyosmani
31
4.7k
Debugging Ruby Performance
tmm1
71
11k
Transcript
経済学と機械学習の応用 ー因果効果にもとづいた入札戦略ー Econ Fiesta 2020.8.28
自己紹介 • 森脇大輔 @dmoriwaki 個人ページ • AILab@CyberAgent • 最近流行りの霞が関→テック企業転職組 • Ph.D.
in Econ from University at Albany
研究分野 オンライン広告における機 械学習/経済学の応用 オルタナティブデータ/ ビッグデータ 経済政策・社会保障 今日のメインテーマ GPSデータによる失業率予測 行政データによる統計 etc.
博士課程時代の研究テーマ
今日のお話
AILab経済学チームとは
メンバー 安井翔太 - ベストセラー「効果検証入門」 - 成田助教授(Yale)や齋藤優太さ ん(東工大)らとトップティアカン ファレンスに論文量産 - 因果推論、OPE
冨田燿志 - 東大経済学部卒業生総代/経済学研 究科修士課程修了生総代 - メカデザ、ゲーム 機械学習チーム - ハイパラサーチ, BB最適化 - 強化学習&ゲーム データサイエンティスト - 課題議論 - 実プロダクトでの実験 外部研究者(星野慶応大教授、成田イエール助 教授、前原AIPユニットリーダー など) 加藤真大 - 学部経済からの院コンピュータサ イエンス - 論文生産マシーン - 因果推論、適応的実験、強化学 習など
メンバー 安井翔太 - ベストセラー「効果検証入門」 - 成田助教授(Yale)や齋藤優太さ ん(東工大)らとトップティアカン ファレンスに論文量産 - 因果推論、OPE
冨田燿志 - 東大経済学部卒業生総代/経済学研 究科修士課程修了生総代 - メカデザ、ゲーム 機械学習チーム - ハイパラサーチ - 強化学習・ゲーム データサイエンティスト - 課題議論 - 実プロダクトでの実験 外部研究者(星野慶応大教授、成田イエール助 教授、前原AIPユニットリーダー など) 加藤真大 - 学部経済からの院コンピュータサ イエンス - 論文生産マシーン - 因果推論、適応的実験、強化学 習など
メンバー 安井翔太 - ベストセラー「効果検証入門」 - 成田助教授(Yale)や齋藤優太さ ん(東工大)らとトップティアカン ファレンスに論文量産 - 因果推論、OPE
冨田燿志 - 東大経済学部卒業生総代/経済学研 究科修士課程修了生総代 - メカデザ 機械学習チーム - ハイパラサーチ - 強化学習・ゲーム データサイエンティスト - 課題議論 - 実プロダクトでの実験 外部研究者(星野慶応大教授、成田イエール助 教授、前原AIPユニットリーダー など) 加藤真大 - 学部経済からの院コンピュータサ イエンス - 論文生産マシーン - 因果推論、適応的実験、強化学 習など
メンバー 安井翔太 - ベストセラー「効果検証入門」 - 成田助教授(Yale)や齋藤優太さ ん(東工大)らとトップティアカン ファレンスに論文量産 - 因果推論、OPE
冨田燿志 - 東大経済学部卒業生総代/経済学研 究科修士課程修了生総代 - メカデザ、ゲーム 機械学習チーム - ハイパラサーチ - 強化学習・ゲーム データサイエンティスト - 課題議論 - 実プロダクトでの実験 外部研究者(星野慶応大教授、成田イエール助 教授、前原AIPユニットリーダー など) 加藤真大 - 学部経済からの院コンピュータサ イエンス - 論文生産マシーン - 因果推論、適応的実験、強化学 習など
メンバー 安井翔太 - ベストセラー「効果検証入門」 - 成田助教授(Yale)や齋藤優太さ ん(東工大)らとトップティアカン ファレンスに論文量産 - 因果推論、OPE
冨田燿志 - 東大経済学部卒業生総代/経済学研 究科修士課程修了生総代 - メカデザ 機械学習チーム - ハイパラサーチ, BB最適化 - 強化学習&ゲーム データサイエンティスト - 課題議論 - 実プロダクトでの実験 外部研究者(星野慶応大教授、成田イエール助 教授、前原AIPユニットリーダー など) 加藤真大 - 学部経済からの院コンピュータサ イエンス - 論文生産マシーン - 因果推論、適応的実験、強化学 習など
これまでの取組 - 学術貢献※ - AAAI2019, WWW2020, ICML2020, SIGIR2020, AdKDD2020 etc.
- 昨年以降日本経済学会各回で、企画セッション登壇・主催 - J. of Comp. Soc. Sci. - 事業貢献 - 広告効果の分析 - 広告効果予測モデル改善 - 新たな入札アルゴリズム etc. ※経済学チームだけの成果。クリエイティブリサーチ、HCIチームもそれぞれの分野でトップ会議採択
これまでの取組 - 学術貢献※ - AAAI2019, WWW2020, ICML2020, SIGIR2020, AdKDD2020 etc.
- 昨年以降日本経済学会各回で、企画セッション登壇・主催 - J. of Comp. Soc. Sci. - 事業貢献 - 広告効果の分析 - 広告効果予測モデル改善 - 新たな入札アルゴリズム etc. ※経済学チームだけの成果。クリエイティブリサーチ、HCIチームもそれぞれの分野でトップ会議採択
リサーチサイエンティストの働き方
よくあるDS/MLミーティングの風景 ビジネス エンジニアのみ なさん データサイエンティス ト リサーチサイ エンティスト
よくあるDS/MLミーティングの風景 ビジネス エンジニアのみ なさん データサイエンティス ト リサーチサイ エンティスト こんなんやりたいんや けどどう?
よくあるDS/MLミーティングの風景 ビジネス エンジニアのみ なさん データサイエンティス ト リサーチサイ エンティスト ええんちゃう?でき る?
よくあるDS/MLミーティングの風景 ビジネス エンジニアのみ なさん データサイエンティス ト リサーチサイ エンティスト 考えてみるわー できるんちゃうん?
リサーチサイエンティストの立ち位置 • 研究として成立していてプロダクトに貢献しそうなアイデアの提案、論文 としての発表 • アイデア出し、提案、プロトタイプ実装、オフライン検証、論文執筆 • プロダクトへの橋渡しはDSのみなさんにお任せ ビジネス エンジニアのみなさん
データサイエンティスト リサーチサイエン ティスト
Unbiased Lift-based bidding system
オンライン広告の仕組み 複数の企業がスマホの広告枠を獲得したい
オンライン広告の仕組み 複数の企業がスマホの広告枠を獲得したい 広告枠オークションを開催
オンライン広告の仕組み 複数の企業がスマホの広告枠を獲得したい オークションによって効率的に配分 最高入札の企業が落札。ハッピーエンド? No!
広告枠オークションの入札戦略 • 入札価格は各企業の私的価値にもとづく 広告枠を買って広告を配信 できたとき(ω=1)に得られる 利益τは・・・?
広告枠オークションの入札戦略 広告枠を買って広告を配信 できたとき(ω=1)に得られる 利益τは・・・? • 入札価格は各企業の私的価値にもとづく
実際の広告枠オークション ? • 何十億のオークションが開催
実際の広告枠オークション • 何十億のオークションが開催 • DSPが代わりに入札
実際の広告枠オークション • 何十億のオークションが開催 • DSPが代わりに入札 • 広告配信後のクリックやページ来訪に対して報酬支払い
インセンティブ整合的? 広告配信後のクリックやページ来訪に対して報酬支払い • DSPの最適戦略は、広告をクリックしそうな 人、ページ来訪しそうな人の広告枠を買い付 ける • しかし、広告配信後のクリックやページ来訪 は必ずしも最終的な売り上げの増加を意味し ない(右図)
• 広告効果の最大化には 効果がありそうな人 の広告枠を買うべき
アップリフトモデリング • ユーザーの属性から個別的因果効果を予測するアップリフトモデリングの研究が 近年盛ん(サーベイ: Olaya and Coussement 2020) • 予測された因果効果にもとづいて入札することが最適
• 課題 ◦ 広告配信データにおけるバイアス ◦ オークションの不確実性 ビジネス エンジニ アのみな さん データサイエンティスト リサー チサイ エンティ スト
広告配信データにおけるバイアス • 予測モデルを訓練するために必要なデータは過去の広告キャンペーンのから入手 • 誰に広告を配信するかは ランダムではない • 広告配信のされやすさとアウトカムが相関している場合、予測が過大もしくは過少ににある (例)家電量販店の広告キャンペーン 定期的に来訪するAさん
普段はライバル店を利用するBさん リタゲロジックによって高値で入札 来店経験がないので安値で入札 高値で入札されるAさんのほうが広告を配信されやすく来訪しやすい ≠ 因果効果
Unbiased Lift-effect Estimation • ロス関数を広告配信のされやすさの予測値( IPS)で割り引くことでデータのバイアスを除去した学習を 実現 • 計算された予測値から効果を推定
オークションの不確実性 ・・・ • それぞれのDSPは各期にどれくらい広告枠のオークションがおきるか、またライバルがどれくらい存在 するか知らない • キャンペーン予算の消化は必須なので環境に対応して入札額を変動させる必要がある • PID制御を用いる
システム全体 • 環境変動への対応パラメータ αと予測されたτを用いて入札額を計算 ビジネス エンジニアのみ なさん データサイエンティス ト リサーチサイ
エンティスト
実装、実験 • 実際の広告キャンペーンにおいて従来の入札戦略と比較 • ユーザーと予算を比例的に分配して実際の広告オークションに 参加させる • ユーザーのコンバージョンなどで比較 ビジネス エンジニアのみなさん
データサイエンティスト リサーチサイエン ティスト
結果 • CVRでは有意な差がつかなかったが、 1コンバージョンあたりコスト( effective CPA)で大きな差が出 た。 • 若干の考察 既存の入札戦略は他の
DSPと似通っているため、高値で入札してもなかなか落札できない 新たな入札戦略は他の DSPと全く違う戦略をとっているので、簡単に広告枠を買うことができた
論文化、採択 • 実験で手一杯だったので、インターンにきてくれていた USCの松井さん、さらにラストのほうで東工大 /半熟仮想の齋藤さんの助力を得て突貫で論文化(二人がいなかったら完成していなかった) • AdKDD2020に採択、リリースを打ってもらう
発表、反省、今後 • AdKDDでの指摘への対応 ◦ 主に実験の不備 • 理想状態は、学術貢献+事業貢献 ◦ 事業貢献側を進めたい