どんな機械学習が広告効果を改善するのか

どんな機械学習が  広告効果を改善するか  株式会社サイバーエージェント  AI ACK   早川裕太 

自己紹介   　早川裕太  • 株式会社サイバーエージェント　AI事業本部　AI ACK  データサイエンティスト  • 2019.
3 東京工業大学情報理工学院 (修士工学)  • 2019. 4 - 現職  ◦ 広告配信プロダクトで分析・  MLアルゴリズム開発・A/Bテスト  • ビジネス/社会貢献ため（広く）技術社会実装に  興味があります 

イントロとして...    インターネット広告 × 機械学習について考えてみる  

インターネット広告 × 機械学習  巨大なインターネット広告市場において   ターゲティング広告必要不可欠     C
予測、C 予測、レコメンド等   機械学習技術が必要とされる       https://iab.com/wp-content/uploads/2019/10/IAB-HY19-Internet-Advertising-Revenue-Report.pdf

なぜ機械学習が必要とされるか  • 機械学習により広告効果が大きい人をみつけることができるず！   • 広告を見たからアプリをインストールしてくれる人がわかる   •
広告を見ることでより商品を購入してくれる人がわかる   • 広告をみてブランド認知をより深めてくれる人がわかる   • 「広告効果が大きいとされた人」に広告を配信すれ広告効果改善されるず！！     機械学習が広告効果を改善するから  仮説

機械学習広告効果を改善しているか? (1)  "思ったよりも広告効果改善  できていない？"    • Northwestern, Netflix, Google（当時）
  研究者による調査   • っきりとリフトしたと言えるも多くない   • なぜ？  https://marketing.wharton.upenn.edu/wp-content/uploads/2017/08/Johnson-Garrett-PAPER-VERSION-2.pdf

機械学習広告効果を改善しているか? (2)    "機械学習、勝手にC する人を  electionしているだけ説"    • Northwestern,
Facebook 研究者による調査   • 広告によるC とされたも中で、   本当に広告効果だった割合わずか   https://thecorrespondent.com/100/the-new-dot-com-bubble-is-here-its-called-online-advertising/13228924500-22d5fd24 https://www.kellogg.northwestern.edu/faculty/gordon_b/files/fb_comparison.pdf

（新卒僕）    広告効果を改善する機械学習がしたいです......   

というわけで本日発表内容  • 広告効果を改善する機械学習と広告配信で使い方  ◦ 事業課題発技術開発にプロダクト×研究組織で取り組んだ  ◦ 研究成果がAdKDD
2020に採択されました  • 事業課題改善に繋がる技術開発ために  ◦ どうプロジェクト進んでいったか  ◦ 事業課題から問題設定、研究組織と連携など     

本日発表でメッセージ  • 広告効果を定義し機械学習で予測しよう    • 事業課題改善に繋がる技術開発最重要項目  
A/Bテストができる環境と文化だ       

広告効果を改善する機械学習と広告配信で使い方  Daisuke Moriwaki, Yuta Hayakawa, Isshu Munemasa, Yuta
aito, Akira Matsui, nbiased Lift-based bidding system, In AdKDD 2020 

なぜ広告効果改善が難しいか  実適切なターゲティングできていない説  仮説

本当にターゲティングしたい人誰か?    広告を見て1000円買うAさん  広告を見て3000円買うBさん  広告を見ず2000円買うCさん  ？ 

本当にターゲティングしたい人誰か?    広告を見せたから1000円買うAさん  実広告を見ないと800円だったAさん    広告配信してよかった  

本当にターゲティングしたい人誰か?  広告を見せたから3000円買うBさん  実広告を見ないと4000円だったBさん  広告配信しないほうがよかった  

本当にターゲティングしたい人  >  広告をみないとき C   広告をみたとき C  

本当にターゲティングしたい人  >  広告をみないとき C   広告をみたとき C   -  0 
C リフト（= 広告効果）  定義

本当にターゲティングしたい人  広告をみないとき C   広告をみたとき C   -  がより大きい人  C
リフト（= 広告効果）  定義

ちなみにC を活用したターゲティング ...  広告をみたとき C   がより大きい人 

因果推論根本問題：反実仮想（パラレルワールド）を知る必要あり  広告をみないとき世界線   広告をみたとき世界線   事前に両方わからないと意思決定できない...
  手元にどちらかデータしかないでお手上げ  

ここまでまとめ：広告効果定義  • 本当にターゲティングしたい人 C リフトが大きい人  ◦ C リフト
= 広告効果と定義づける    • C リフトを直接表すデータが手元にない？    →手元データからなんとかして予測しよう 

予測ため準備：Potential Outcome 導入  広告をみないとき C   広告をみたとき C
 

興味があるも：条件付期待値  広告をみないとき C   広告をみたとき C   特徴量（ユーザに関する情報など） 

予測したいも：C リフト期待値  広告をみないとき C   広告をみたとき C  
を予測する枠組み。 plift Modeling   C リフト（＝広告効果）期待値 

予測ためアイデア：two-model approach   広告をみないとき C   広告をみたとき C
  -  予測モデル1  予測モデル2 

予測ためアイデア：two-model approach   広告をみないとき C   広告をみたとき C
  -  予測モデル1  予測モデル2  学習により最小化する損失  

これで学習できる...！  

...データがない問題どこ行った？  

広告表示バイアス：直感的な解釈  広告をみたとき C   = 広告をみたときデータみ   広告をみないとき
C   = 広告をみないときデータみ   広告表示されやすい人（状況）  データが多い    広告表示されにくい人（状況）  データが多い   

広告表示バイアス：直感的な解釈  広告をみたとき C   = 広告をみたときデータみ   広告をみないとき
C   = 広告をみないときデータみ   広告表示されやすい人（状況）  データが多い    広告表示されにくい人（状況）  データが多い    広告表示されやすい・にくい  状況データだけで学習   バイアスが生じる

広告表示バイアス：広告をみたとき C データを例に      広告をみたとき C   = 広告をみたとき
データみ   最小化したい損失 

データみ   最小化したい損失  反実仮想含めた全て世界  

データみ   最小化したい損失  反実仮想含めた全て世界   広告表示を受けた時み片側世界     実際最小化できる損失  

広告表示バイアス除去：  最小化したい損失  観測可能なデータみから学習  

広告表示バイアス除去：  最小化したい損失  観測可能なデータみから学習   仮定元で  広告表示される確率
  IP (inverse propensity weightingという手法)  

ここまでまとめ  • 手元データだけだと広告表示受けやすさバイアスが学習に影響を及ぼしてしまう  • 広告表示確率で割り戻してunbiasedな学習可能 
 

C リフト予測仕方  推定したC リフト  広告表示時  推定C   広告表示がない時 
推定C   推定したC リフトが大きいひとに積極的にターゲティング 

今日省略すること  • 広告表示を複数回受けるような状態モデリング    • 広告配信システム全貌  ◦ 入札額  ◦
PID制御    詳しく論文をご覧ください ...‍♂ https://arxiv.org/pdf/2007.04002.pdf  

二つモデルを比較              案件：アプリ面で店舗来店促進（O2O広告）
C = 来店  実際広告キャンペーンで実験：結果  C リフトベース   ターゲティング  C ベース   ターゲティング  - 

リーチ率やimp数を有意に増加させた  一方で来店微増（有意差なし）  実際広告キャンペーンで実験：結果 

一方で提案法配信原価をかなり削減していた：コスパよし  実際広告キャンペーンで実験：結果  配信原価をより使う設定で再実験中  better 

実験まとめ  • 実際広告キャンペーンで実験を行った  • C リフトベース配信、 
低コストでC を伸す配信が行われていた  • 引き続き実験予定   

広告効果を改善する機械学習  • 広告効果をきちんと定義し、  それを機械学習で予測する枠組みを与えた  • 実際広告配信で実験  • CAでユーザごと
因果効果推定  aito, Yuta and Yasui hotai. "Counterfactual Cross- alidation:   table Model election Procedure for Causal Inference Models."   ICML. 2020.  

事業課題改善に繋がる  技術開発ために 

事業課題改善に繋がる技術開発ために    • プロジェクト概要とポイントだったこと    • 事業課題改善ため技術開発とA/Bテスト 
   

誰と進めたか：チーム体制  研究組織  社外研究者  D   Biz  Dev  プロダクト  研究者 
       

プロジェクトスタートからゴールまで  基礎となった  プロダクト開発・研究     事業課題から   問題設定  手法開発 
プロダクト実装  PoC実施  論文投稿・採択  プロダクト導入に向けた   仕組みづくり・開発  （今ココ）  G    プロジェクト開始  プロダクトで   継続的運用  （社会実装） 

フェーズごと連携プレー  基礎となった  プロダクト開発・研究     事業課題から   問題設定  手法開発 
プロダクト実装  PoC実施  論文投稿・採択  プロダクト導入に向けた   仕組みづくり・開発  （今ココ）  G  プロジェクト開始    D   Biz  プロダクトで   継続的運用  （社会実装） 

プロダクト実装  PoC実施  論文投稿・採択  プロダクト導入に向けた   仕組みづくり・開発  （今ココ）  G  プロジェクト開始    D       プロダクトで   継続的運用  （社会実装） 

プロダクト実装  PoC実施  論文投稿・採択  プロダクト導入に向けた   仕組みづくり・開発  （今ココ）  G  プロジェクト開始    D   Dev    プロダクトで   継続的運用  （社会実装） 

プロダクト実装  PoC実施  論文投稿・採択  プロダクト導入に向けた   仕組みづくり・開発  （今ココ）  G  プロジェクト開始    D     Biz  Dev  プロダクトで   継続的運用  （社会実装） 

プロダクト実装  PoC実施  論文投稿・採択  プロダクト導入に向けた   仕組みづくり・開発  （今ココ）  G  プロジェクト開始    D       プロダクトで   継続的運用  （社会実装） 

プロダクト実装  PoC実施  論文投稿・採択  プロダクト導入に向けた   仕組みづくり・開発  （今ココ）  G  プロジェクト開始    D   Biz  Dev  プロダクトで   継続的運用  （社会実装） 

どう始まり、どう終わらせるか  基礎となった  プロダクト開発・研究     事業課題から   問題設定  手法開発 
プロダクト実装  PoC実施  論文投稿・採択  プロダクト導入に向けた   仕組みづくり・開発  （今ココ）  G    プロジェクト開始  ①  ②  プロダクトで   継続的運用  （社会実装） 

どう始まり、どう終わらせるか        ① 事業課題から問題設定とA/Bテストありき PJスタート   
② これから運用ため継続的なA/Bテスト   

事業課題から問題設定    Biz  よりCVを伸すようなプロダクトにしたい ... 広告主的に広告をやって、売上 YonY上がったとかが納得度高
そう... CVリフトを目標にしてみるよさそうでしょうか Uplift modelingでリフトするユーザに広告配信する進めてみてもいいですか？ D  

事業課題から問題設定    Biz  D   よりCVを伸すようなプロダクトにしたい ... 広告主的に
広告をやって、売上 YonY上がったとかが納得度高そう... CVリフトを目標にしてみるよさそうでしょうか Uplift modelingでリフトするユーザに広告配信する進めてみてもいいですか？ • まず KPI整理：「よりC を伸すような広告プロダクト」を整理した   ◦ どんな指標を改善したいか：C リフト  ◦ A/Bテスト文脈で Overall Evaluation Criterion (OEC)を決めるとよいとされ、複数指標を組み合わせることが推奨される*  * rustworthy Online Controlled Experiments : A Practical Guide to A/B esting

A/B テストありきプロジェクトスタート  Biz  やってみよう CVリフトを目標にしてみるよさそうでしょうか Uplift modelingでリフトするユーザに広告配信する進
めてみてもいいですか？ • オンラインで事業KPI改善を検証するという着地   ◦ 検証為にA/Bテストをすることに  ◦ 事業的にも嬉しいし、実論文的にも嬉しい   → ビジネス〜研究者まで揃ったチームを組織できた要因  オンラインで既存配信と比較を PoCで評価としましょう     D   D  

これから運用ため継続的なA/Bテスト（ IP）      広告効果を改善する機械学習を考えてきたが、  よりメタに広告効果を改善する配信ロジックがあれ
よい  大切な与えられた予算でよりC リフトさせるような広告配信をすること   広告配信ロジック    広告配信予算  C リフト 

これから運用ため継続的なA/Bテスト（ IP）      プロダクトで広告配信ロジック A/Bテスト基盤でどんどん比較 
よりよいC をもたらすロジックを継続的に見つけることを目指す    大切な与えられた予算でよりC リフトさせるような広告配信をすること   広告配信ロジック    広告配信予算  C リフト 

鍵となる A/Bテスト        ① 事業課題から問題設定とA/Bテストありき PJスタート   
② これから運用ため継続的なA/Bテスト   

事業課題改善に繋がる技術開発ために    • プロジェクト概要とポイントだったこと    • 事業課題改善ため技術開発とA/Bテスト 
   

事業課題改善ため技術開発とA/Bテスト      • 先日話題になっていた、機械学習を「社会実装」するということ  でもビジネスインパクト測定難しさについて言及されていた 
    • A/Bテスト社会実装・効果測定において  どういった役割を果たす？     

A/Bテスト（ C ）      • ある技術・施策を社会実装すべきか  意思決定するため技術  ◦
機械学習とか研究PJに限らず  ビジネス・エンジニア・  デザイナー... 仕事と関係アリ  ◦ 事業KPI改善→採用という意思決定が可能に  ◦ すでに社会実装した技術・施策継続的な改善ためにも必須      技術・施策  社会  ABテスト 

A/Bテスト（ C ）難しさ  • 文化：意思決定技術として組織に浸透するか  ◦ 例）私伝え聞いたこと
ある批判  ▪ 「A/Bテストビジネス上些細な差を見つけるためもだ」  ▪ 「A/Bテストスピードが遅い」  • 技術：正しく評価/実装することが難しい  ◦ 例）予算がある設定で A*が担保されない場合がある   ◦ 例） Aを考慮した予算管理やそためデータ構造にするに ...?     • そ他：コスト面問題や倫理的な問題で難しい      * SUTVA : ある群へ処置が他群に影響を及ぼさないという仮定

それでもやりたいA/Bテスト（ C ）  • 文化：  ◦ 文化を浸透させる手段に関してあまり知りません（教えてください）  ◦ AI事業本部/CA
A/Bテストに対して積極的なよい環境  → 先行事例：で論文採択とA/Bテストを評価地点とする広告AI開発  ◦ ぜひ一緒に実験しましょう！  • 技術：  ◦ D が実験（基盤）デザインをする  ◦ 勉強しました   ▪ rustworthy Online Controlled Experiments : A Practical Guide to A/B esting  ▪ practicalな落とし穴とそ対処法がたくさん学べる 

全体まとめ：メッセージ  • 広告効果を定義し機械学習で予測しよう    • 事業課題改善に繋がる技術開発最重要項目   A/Bテストができる環境と文化だ   
   

ありがとうございました   資料中写真・イラスト www.freepik.com/  

どんな機械学習が広告効果を改善するのか

どんな機械学習が広告効果を改善するのか

More Decks by y.hayakawa

Other Decks in Science

Featured

Transcript