どんな機械学習が広告効果を改善するのか

by y.hayakawa

Slide 1

Slide 1 text

どんな機械学習が  広告効果を改善するか  株式会社サイバーエージェント  AI ACK   早川裕太 

Slide 2

Slide 2 text

自己紹介   　早川裕太  ● 株式会社サイバーエージェント　AI事業本部　AI ACK  データサイエンティスト  ● 2019. 3 東京工業大学情報理工学院 (修士工学)  ● 2019. 4 - 現職  ○ 広告配信プロダクトで分析・  MLアルゴリズム開発・A/Bテスト  ● ビジネス/社会貢献ため（広く）技術社会実装に  興味があります 

Slide 3

Slide 3 text

イントロとして...    インターネット広告 × 機械学習について考えてみる  

Slide 4

Slide 4 text

インターネット広告 × 機械学習  巨大なインターネット広告市場において   ターゲティング広告必要不可欠     C 予測、C 予測、レコメンド等   機械学習技術が必要とされる       https://iab.com/wp-content/uploads/2019/10/IAB-HY19-Internet-Advertising-Revenue-Report.pdf

Slide 5

Slide 5 text

なぜ機械学習が必要とされるか  ● 機械学習により広告効果が大きい人をみつけることができるず！   ● 広告を見たからアプリをインストールしてくれる人がわかる   ● 広告を見ることでより商品を購入してくれる人がわかる   ● 広告をみてブランド認知をより深めてくれる人がわかる   ● 「広告効果が大きいとされた人」に広告を配信すれ広告効果改善されるず！！     機械学習が広告効果を改善するから  仮説

Slide 6

Slide 6 text

機械学習広告効果を改善しているか? (1)  "思ったよりも広告効果改善  できていない？"    ● Northwestern, Netflix, Google（当時）   研究者による調査   ● っきりとリフトしたと言えるも多くない   ● なぜ？  https://marketing.wharton.upenn.edu/wp-content/uploads/2017/08/Johnson-Garrett-PAPER-VERSION-2.pdf

Slide 7

Slide 7 text

機械学習広告効果を改善しているか? (2)    "機械学習、勝手にC する人を  electionしているだけ説"    ● Northwestern, Facebook 研究者による調査   ● 広告によるC とされたも中で、   本当に広告効果だった割合わずか   https://thecorrespondent.com/100/the-new-dot-com-bubble-is-here-its-called-online-advertising/13228924500-22d5fd24 https://www.kellogg.northwestern.edu/faculty/gordon_b/files/fb_comparison.pdf

Slide 8

Slide 8 text

（新卒僕）    広告効果を改善する機械学習がしたいです......   

Slide 9

Slide 9 text

というわけで本日発表内容  ● 広告効果を改善する機械学習と広告配信で使い方  ○ 事業課題発技術開発にプロダクト×研究組織で取り組んだ  ○ 研究成果がAdKDD 2020に採択されました  ● 事業課題改善に繋がる技術開発ために  ○ どうプロジェクト進んでいったか  ○ 事業課題から問題設定、研究組織と連携など     

Slide 10

Slide 10 text

本日発表でメッセージ  ● 広告効果を定義し機械学習で予測しよう    ● 事業課題改善に繋がる技術開発最重要項目   A/Bテストができる環境と文化だ       

Slide 11

Slide 11 text

広告効果を改善する機械学習と広告配信で使い方  Daisuke Moriwaki, Yuta Hayakawa, Isshu Munemasa, Yuta aito, Akira Matsui, nbiased Lift-based bidding system, In AdKDD 2020 

Slide 12

Slide 12 text

なぜ広告効果改善が難しいか  実適切なターゲティングできていない説  仮説

Slide 13

Slide 13 text

本当にターゲティングしたい人誰か?    広告を見て1000円買うAさん  広告を見て3000円買うBさん  広告を見ず2000円買うCさん  ？ 

Slide 14

Slide 14 text

本当にターゲティングしたい人誰か?    広告を見せたから1000円買うAさん  実広告を見ないと800円だったAさん    広告配信してよかった  

Slide 15

Slide 15 text

本当にターゲティングしたい人誰か?  広告を見せたから3000円買うBさん  実広告を見ないと4000円だったBさん  広告配信しないほうがよかった  

Slide 16

Slide 16 text

本当にターゲティングしたい人  >  広告をみないとき C   広告をみたとき C  

Slide 17

Slide 17 text

本当にターゲティングしたい人  >  広告をみないとき C   広告をみたとき C   -  0  C リフト（= 広告効果）  定義

Slide 18

Slide 18 text

本当にターゲティングしたい人  広告をみないとき C   広告をみたとき C   -  がより大きい人  C リフト（= 広告効果）  定義

Slide 19

Slide 19 text

ちなみにC を活用したターゲティング ...  広告をみたとき C   がより大きい人 

Slide 20

Slide 20 text

因果推論根本問題：反実仮想（パラレルワールド）を知る必要あり  広告をみないとき世界線   広告をみたとき世界線   事前に両方わからないと意思決定できない...   手元にどちらかデータしかないでお手上げ  

Slide 21

Slide 21 text

ここまでまとめ：広告効果定義  ● 本当にターゲティングしたい人 C リフトが大きい人  ○ C リフト = 広告効果と定義づける    ● C リフトを直接表すデータが手元にない？    →手元データからなんとかして予測しよう 

Slide 22

Slide 22 text

予測ため準備：Potential Outcome 導入  広告をみないとき C   広告をみたとき C  

Slide 23

Slide 23 text

興味があるも：条件付期待値  広告をみないとき C   広告をみたとき C   特徴量（ユーザに関する情報など） 

Slide 24

Slide 24 text

予測したいも：C リフト期待値  広告をみないとき C   広告をみたとき C   を予測する枠組み。 plift Modeling   C リフト（＝広告効果）期待値 

Slide 25

Slide 25 text

予測ためアイデア：two-model approach   広告をみないとき C   広告をみたとき C   -  予測モデル1  予測モデル2 

Slide 26

Slide 26 text

予測ためアイデア：two-model approach   広告をみないとき C   広告をみたとき C   -  予測モデル1  予測モデル2  学習により最小化する損失  

Slide 27

Slide 27 text

これで学習できる...！  

Slide 28

Slide 28 text

...データがない問題どこ行った？  

Slide 29

Slide 29 text

広告表示バイアス：直感的な解釈  広告をみたとき C   = 広告をみたときデータみ   広告をみないとき C   = 広告をみないときデータみ   広告表示されやすい人（状況）  データが多い    広告表示されにくい人（状況）  データが多い   

Slide 30

Slide 30 text

広告表示バイアス：直感的な解釈  広告をみたとき C   = 広告をみたときデータみ   広告をみないとき C   = 広告をみないときデータみ   広告表示されやすい人（状況）  データが多い    広告表示されにくい人（状況）  データが多い    広告表示されやすい・にくい  状況データだけで学習   バイアスが生じる

Slide 31

Slide 31 text

広告表示バイアス：広告をみたとき C データを例に      広告をみたとき C   = 広告をみたときデータみ   最小化したい損失 

Slide 32

Slide 32 text

広告表示バイアス：広告をみたとき C データを例に      広告をみたとき C   = 広告をみたときデータみ   最小化したい損失  反実仮想含めた全て世界  

Slide 33

Slide 33 text

広告表示バイアス：広告をみたとき C データを例に      広告をみたとき C   = 広告をみたときデータみ   最小化したい損失  反実仮想含めた全て世界   広告表示を受けた時み片側世界     実際最小化できる損失  

Slide 34

Slide 34 text

広告表示バイアス除去：  最小化したい損失  観測可能なデータみから学習  

Slide 35

Slide 35 text

広告表示バイアス除去：  最小化したい損失  観測可能なデータみから学習   仮定元で  広告表示される確率   IP (inverse propensity weightingという手法)  

Slide 36

Slide 36 text

ここまでまとめ  ● 手元データだけだと広告表示受けやすさバイアスが学習に影響を及ぼしてしまう  ● 広告表示確率で割り戻してunbiasedな学習可能   

Slide 37

Slide 37 text

C リフト予測仕方  推定したC リフト  広告表示時  推定C   広告表示がない時  推定C   推定したC リフトが大きいひとに積極的にターゲティング 

Slide 38

Slide 38 text

今日省略すること  ● 広告表示を複数回受けるような状態モデリング    ● 広告配信システム全貌  ○ 入札額  ○ PID制御    詳しく論文をご覧ください ...‍♂ https://arxiv.org/pdf/2007.04002.pdf  

Slide 39

Slide 39 text

二つモデルを比較              案件：アプリ面で店舗来店促進（O2O広告） C = 来店  実際広告キャンペーンで実験：結果  C リフトベース   ターゲティング  C ベース   ターゲティング  - 

Slide 40

Slide 40 text

リーチ率やimp数を有意に増加させた  一方で来店微増（有意差なし）  実際広告キャンペーンで実験：結果 

Slide 41

Slide 41 text

一方で提案法配信原価をかなり削減していた：コスパよし  実際広告キャンペーンで実験：結果  配信原価をより使う設定で再実験中  better 

Slide 42

Slide 42 text

実験まとめ  ● 実際広告キャンペーンで実験を行った  ● C リフトベース配信、  低コストでC を伸す配信が行われていた  ● 引き続き実験予定   

Slide 43

Slide 43 text

広告効果を改善する機械学習  ● 広告効果をきちんと定義し、  それを機械学習で予測する枠組みを与えた  ● 実際広告配信で実験  ● CAでユーザごと因果効果推定  aito, Yuta and Yasui hotai. "Counterfactual Cross- alidation:   table Model election Procedure for Causal Inference Models."   ICML. 2020.  

Slide 44

Slide 44 text

事業課題改善に繋がる  技術開発ために 

Slide 45

Slide 45 text

事業課題改善に繋がる技術開発ために    ● プロジェクト概要とポイントだったこと    ● 事業課題改善ため技術開発とA/Bテスト     

Slide 46

Slide 46 text

事業課題改善に繋がる技術開発ために    ● プロジェクト概要とポイントだったこと    ● 事業課題改善ため技術開発とA/Bテスト     

Slide 47

Slide 47 text

誰と進めたか：チーム体制  研究組織  社外研究者  D   Biz  Dev  プロダクト  研究者         

Slide 48

Slide 48 text

プロジェクトスタートからゴールまで  基礎となった  プロダクト開発・研究     事業課題から   問題設定  手法開発  プロダクト実装  PoC実施  論文投稿・採択  プロダクト導入に向けた   仕組みづくり・開発  （今ココ）  G    プロジェクト開始  プロダクトで   継続的運用  （社会実装） 

Slide 49

Slide 49 text

フェーズごと連携プレー  基礎となった  プロダクト開発・研究     事業課題から   問題設定  手法開発  プロダクト実装  PoC実施  論文投稿・採択  プロダクト導入に向けた   仕組みづくり・開発  （今ココ）  G  プロジェクト開始    D   Biz  プロダクトで   継続的運用  （社会実装） 

Slide 50

Slide 50 text

フェーズごと連携プレー  基礎となった  プロダクト開発・研究     事業課題から   問題設定  手法開発  プロダクト実装  PoC実施  論文投稿・採択  プロダクト導入に向けた   仕組みづくり・開発  （今ココ）  G  プロジェクト開始    D       プロダクトで   継続的運用  （社会実装） 

Slide 51

Slide 51 text

フェーズごと連携プレー  基礎となった  プロダクト開発・研究     事業課題から   問題設定  手法開発  プロダクト実装  PoC実施  論文投稿・採択  プロダクト導入に向けた   仕組みづくり・開発  （今ココ）  G  プロジェクト開始    D   Dev    プロダクトで   継続的運用  （社会実装） 

Slide 52

Slide 52 text

フェーズごと連携プレー  基礎となった  プロダクト開発・研究     事業課題から   問題設定  手法開発  プロダクト実装  PoC実施  論文投稿・採択  プロダクト導入に向けた   仕組みづくり・開発  （今ココ）  G  プロジェクト開始    D     Biz  Dev  プロダクトで   継続的運用  （社会実装） 

Slide 53

Slide 53 text

Slide 54

Slide 54 text

フェーズごと連携プレー  基礎となった  プロダクト開発・研究     事業課題から   問題設定  手法開発  プロダクト実装  PoC実施  論文投稿・採択  プロダクト導入に向けた   仕組みづくり・開発  （今ココ）  G  プロジェクト開始    D   Biz  Dev  プロダクトで   継続的運用  （社会実装） 

Slide 55

Slide 55 text

どう始まり、どう終わらせるか  基礎となった  プロダクト開発・研究     事業課題から   問題設定  手法開発  プロダクト実装  PoC実施  論文投稿・採択  プロダクト導入に向けた   仕組みづくり・開発  （今ココ）  G    プロジェクト開始  ①  ②  プロダクトで   継続的運用  （社会実装） 

Slide 56

Slide 56 text

どう始まり、どう終わらせるか        ① 事業課題から問題設定とA/Bテストありき PJスタート    ② これから運用ため継続的なA/Bテスト   

Slide 57

Slide 57 text

事業課題から問題設定    Biz  よりCVを伸すようなプロダクトにしたい ... 広告主的に広告をやって、売上 YonY上がったとかが納得度高そう... CVリフトを目標にしてみるよさそうでしょうか Uplift modelingでリフトするユーザに広告配信する進めてみてもいいですか？ D  

Slide 58

Slide 58 text

事業課題から問題設定    Biz  D   よりCVを伸すようなプロダクトにしたい ... 広告主的に広告をやって、売上 YonY上がったとかが納得度高そう... CVリフトを目標にしてみるよさそうでしょうか Uplift modelingでリフトするユーザに広告配信する進めてみてもいいですか？ ● まず KPI整理：「よりC を伸すような広告プロダクト」を整理した   ○ どんな指標を改善したいか：C リフト  ○ A/Bテスト文脈で Overall Evaluation Criterion (OEC)を決めるとよいとされ、複数指標を組み合わせることが推奨される*  * rustworthy Online Controlled Experiments : A Practical Guide to A/B esting

Slide 59

Slide 59 text

A/B テストありきプロジェクトスタート  Biz  やってみよう CVリフトを目標にしてみるよさそうでしょうか Uplift modelingでリフトするユーザに広告配信する進めてみてもいいですか？ ● オンラインで事業KPI改善を検証するという着地   ○ 検証為にA/Bテストをすることに  ○ 事業的にも嬉しいし、実論文的にも嬉しい   → ビジネス〜研究者まで揃ったチームを組織できた要因  オンラインで既存配信と比較を PoCで評価としましょう     D   D  

Slide 60

Slide 60 text

これから運用ため継続的なA/Bテスト（ IP）      広告効果を改善する機械学習を考えてきたが、  よりメタに広告効果を改善する配信ロジックがあれよい  大切な与えられた予算でよりC リフトさせるような広告配信をすること   広告配信ロジック    広告配信予算  C リフト 

Slide 61

Slide 61 text

これから運用ため継続的なA/Bテスト（ IP）      プロダクトで広告配信ロジック A/Bテスト基盤でどんどん比較  よりよいC をもたらすロジックを継続的に見つけることを目指す    大切な与えられた予算でよりC リフトさせるような広告配信をすること   広告配信ロジック    広告配信予算  C リフト 

Slide 62

Slide 62 text

鍵となる A/Bテスト        ① 事業課題から問題設定とA/Bテストありき PJスタート    ② これから運用ため継続的なA/Bテスト   

Slide 63

Slide 63 text

事業課題改善に繋がる技術開発ために    ● プロジェクト概要とポイントだったこと    ● 事業課題改善ため技術開発とA/Bテスト     

Slide 64

Slide 64 text

事業課題改善ため技術開発とA/Bテスト      ● 先日話題になっていた、機械学習を「社会実装」するということ  でもビジネスインパクト測定難しさについて言及されていた      ● A/Bテスト社会実装・効果測定において  どういった役割を果たす？     

Slide 65

Slide 65 text

A/Bテスト（ C ）      ● ある技術・施策を社会実装すべきか  意思決定するため技術  ○ 機械学習とか研究PJに限らず  ビジネス・エンジニア・  デザイナー... 仕事と関係アリ  ○ 事業KPI改善→採用という意思決定が可能に  ○ すでに社会実装した技術・施策継続的な改善ためにも必須      技術・施策  社会  ABテスト 

Slide 66

Slide 66 text

A/Bテスト（ C ）難しさ  ● 文化：意思決定技術として組織に浸透するか  ○ 例）私伝え聞いたことある批判  ■ 「A/Bテストビジネス上些細な差を見つけるためもだ」  ■ 「A/Bテストスピードが遅い」  ● 技術：正しく評価/実装することが難しい  ○ 例）予算がある設定で A*が担保されない場合がある   ○ 例） Aを考慮した予算管理やそためデータ構造にするに ...?     ● そ他：コスト面問題や倫理的な問題で難しい      * SUTVA : ある群へ処置が他群に影響を及ぼさないという仮定

Slide 67

Slide 67 text

それでもやりたいA/Bテスト（ C ）  ● 文化：  ○ 文化を浸透させる手段に関してあまり知りません（教えてください）  ○ AI事業本部/CA A/Bテストに対して積極的なよい環境  → 先行事例：で論文採択とA/Bテストを評価地点とする広告AI開発  ○ ぜひ一緒に実験しましょう！  ● 技術：  ○ D が実験（基盤）デザインをする  ○ 勉強しました   ■ rustworthy Online Controlled Experiments : A Practical Guide to A/B esting  ■ practicalな落とし穴とそ対処法がたくさん学べる 

Slide 68

Slide 68 text

全体まとめ：メッセージ  ● 広告効果を定義し機械学習で予測しよう    ● 事業課題改善に繋がる技術開発最重要項目   A/Bテストができる環境と文化だ       

Slide 69

Slide 69 text

ありがとうございました   資料中写真・イラスト www.freepik.com/  