Pro Yearly is on sale from $80 to $50! »

どんな機械学習が広告効果を改善するのか

 どんな機械学習が広告効果を改善するのか

広告効果を改善する機械学習とその広告配信での使い方
また、PJを進める上でA/Bテストが鍵になったという内容です

C1c88587e4b71cc519f2df6b2ba52502?s=128

Yuta Hayakawa

August 05, 2020
Tweet

Transcript

  1. どんな機械学習が
 広告効果を改善する か
 株式会社サイバーエージェント
 AI ACK 
 早川裕太


  2. 自己紹介 
  早川 裕太
 • 株式会社サイバーエージェント AI事業本部 AI ACK
 データサイエンティスト
 • 2019.

    3 東京工業大学 情報理工学院 (修士工学)
 • 2019. 4 - 現職
 ◦ 広告配信プロダクトで 分析・
 MLアルゴリズム 開発・A/Bテスト
 • ビジネス/社会貢献 ため (広く)技術 社会実装に
 興味があります

  3. イントロとして...
 
 インターネット広告 × 機械学習について考えてみる 


  4. インターネット広告 × 機械学習
 巨大なインターネット広告市場において 
 ターゲティング広告 必要不可欠 
 
 C

    予測、C 予測、レコメンド等 
 機械学習技術が必要とされる 
 
 
 https://iab.com/wp-content/uploads/2019/10/IAB-HY19-Internet-Advertising-Revenue-Report.pdf
  5. なぜ機械学習が必要とされる か
 • 機械学習により広告効果が大きい人をみつけることができる ず! 
 • 広告を見たからアプリをインストールしてくれる人がわかる 
 •

    広告を見ることでより商品を購入してくれる人がわかる 
 • 広告をみてブランド認知をより深めてくれる人がわかる 
 • 「広告効果が大きいとされた人」に広告を配信すれ 広告効果 改善される ず!! 
 
 機械学習が広告効果を改善するから
 仮説
  6. 機械学習 広告効果を改善しているか? (1)
 "思ったよりも広告効果改善
 できていない?"
 
 • Northwestern, Netflix, Google(当時)

    
 研究者による調査 
 • っきりとリフトしたと言えるも 多くない 
 • なぜ?
 https://marketing.wharton.upenn.edu/wp-content/uploads/2017/08/Johnson-Garrett-PAPER-VERSION-2.pdf
  7. 機械学習 広告効果を改善しているか? (2)
 
 "機械学習、勝手にC する人を
 electionしているだけ説"
 
 • Northwestern,

    Facebook 研究者による調査 
 • 広告によるC とされたも 中で、 
 本当に広告効果だった割合 わずか 
 https://thecorrespondent.com/100/the-new-dot-com-bubble-is-here-its-called-online-advertising/13228924500-22d5fd24 https://www.kellogg.northwestern.edu/faculty/gordon_b/files/fb_comparison.pdf
  8. (新卒僕)
 
 広告効果を改善する機械学習がしたいです......
 


  9. というわけで本日 発表内容
 • 広告効果を改善する機械学習と広告配信で 使い方
 ◦ 事業課題発 技術開発にプロダクト×研究組織で取り組んだ
 ◦ 研究成果がAdKDD

    2020に採択されました
 • 事業課題改善に繋がる技術開発 ために
 ◦ どうプロジェクト 進んでいった か
 ◦ 事業課題から 問題設定、研究組織と 連携など
 
 

  10. 本日 発表で メッセージ
 • 広告効果を定義し機械学習で予測しよう
 
 • 事業課題改善に繋がる技術開発 最重要項目 


    A/Bテストができる環境と文化だ
 
 
 

  11. 広告効果を改善する機械学習と 広告配信で 使い方
 Daisuke Moriwaki, Yuta Hayakawa, Isshu Munemasa, Yuta

    aito, Akira Matsui, nbiased Lift-based bidding system, In AdKDD 2020

  12. なぜ広告効果 改善が難しい か
 実 適切なターゲティングできていない説
 仮説

  13. 本当にターゲティングしたい人 誰か?
 
 広告を見て1000円買うAさん
 広告を見て3000円買うBさん
 広告を見ず2000円買うCさん
 ?


  14. 本当にターゲティングしたい人 誰か?
 
 広告を見せたから1000円買うAさん
 実 広告を見ないと800円だったAさん
 
 広告配信してよかった 


  15. 本当にターゲティングしたい人 誰か?
 広告を見せたから3000円買うBさん
 実 広告を見ないと4000円だったBさん
 広告配信しないほうがよかった 


  16. 本当にターゲティングしたい人
 >
 広告をみないとき C 
 広告をみたとき C 


  17. 本当にターゲティングしたい人
 >
 広告をみないとき C 
 広告をみたとき C 
 -
 0


    C リフト (= 広告効果)
 定義
  18. 本当にターゲティングしたい人
 広告をみないとき C 
 広告をみたとき C 
 -
 がより大きい人
 C

    リフト (= 広告効果)
 定義
  19. ちなみにC を活用したターゲティング ...
 広告をみたとき C 
 がより大きい人


  20. 因果推論 根本問題:反実仮想(パラレルワールド) を知る必要あり
 広告をみないとき 世界線 
 広告をみたとき 世界線 
 事前に両方わからないと意思決定できない...

    
 手元に どちらか データしかない でお手上げ 

  21. ここまで まとめ:広告効果 定義
 • 本当にターゲティングしたい人 C リフトが大きい人
 ◦ C リフト

    = 広告効果 と定義づける
 
 • C リフトを直接表すデータが手元にない?
 
 →手元 データからなんとかして予測しよう

  22. 予測 ため 準備:Potential Outcome 導入
 広告をみないとき C 
 広告をみたとき C

  23. 興味があるも :条件付期待値
 広告をみないとき C 
 広告をみたとき C 
 特徴量(ユーザに関する情報など)


  24. 予測したいも :C リフト 期待値
 広告をみないとき C 
 広告をみたとき C 


    を予測する枠組み。 plift Modeling 
 C リフト(=広告効果) 期待値

  25. 予測 ため アイデア:two-model approach 
 広告をみないとき C 
 広告をみたとき C

    
 -
 予測モデル1
 予測モデル2

  26. 予測 ため アイデア:two-model approach 
 広告をみないとき C 
 広告をみたとき C

    
 -
 予測モデル1
 予測モデル2
 学習により最小化する損失 

  27. これで学習できる...! 


  28. ...データがない問題どこ行った? 


  29. 広告表示バイアス:直感的な解釈
 広告をみたとき C 
 = 広告をみたとき データ み 
 広告をみないとき

    C 
 = 広告をみないとき データ み 
 広告表示されやすい人(状況)
 データが多い
 
 広告表示されにくい人(状況)
 データが多い
 

  30. 広告表示バイアス:直感的な解釈
 広告をみたとき C 
 = 広告をみたとき データ み 
 広告をみないとき

    C 
 = 広告をみないとき データ み 
 広告表示されやすい人(状況)
 データが多い
 
 広告表示されにくい人(状況)
 データが多い
 
 広告表示されやすい・にくい
 状況 データだけで 学習 
 バイアスが生じる
  31. 広告表示バイアス:広告をみたとき C データを例に
 
 
 広告をみたとき C 
 = 広告をみたとき

    データ み 
 最小化したい損失

  32. 広告表示バイアス:広告をみたとき C データを例に
 
 
 広告をみたとき C 
 = 広告をみたとき

    データ み 
 最小化したい損失
 反実仮想含めた全て 世界 

  33. 広告表示バイアス:広告をみたとき C データを例に
 
 
 広告をみたとき C 
 = 広告をみたとき

    データ み 
 最小化したい損失
 反実仮想含めた全て 世界 
 広告表示を受けた時 み 片側 世界 
 
 実際最小化できる損失 

  34. 広告表示バイアス 除去:
 最小化したい損失
 観測可能なデータ みから 学習 


  35. 広告表示バイアス 除去:
 最小化したい損失
 観測可能なデータ みから 学習 
 仮定 元で
 広告表示される確率

    
 IP (inverse propensity weightingという手法) 

  36. ここまで まとめ
 • 手元 データだけだと広告表示 受けやすさ バイアスが学 習に影響を及ぼしてしまう
 • 広告表示確率で割り戻してunbiasedな学習可能


  37. C リフト 予測 仕方
 推定したC リフト
 広告表示時
 推定C 
 広告表示がない時


    推定C 
 推定したC リフトが大きいひとに積極的にターゲティング

  38. 今日省略すること
 • 広告表示を複数回受けるような状態 モデリング
 
 • 広告配信システム全貌
 ◦ 入札額
 ◦

    PID制御
 
 詳しく 論文をご覧ください ...‍♂ https://arxiv.org/pdf/2007.04002.pdf 

  39. 二つ モデルを比較
 
 
 
 
 
 
 案件:アプリ面で 店舗来店促進(O2O広告)

    C = 来店
 実際 広告キャンペーンで 実験:結果
 C リフトベース 
 ターゲティング
 C ベース 
 ターゲティング
 -

  40. リーチ率やimp数を有意に増加させた
 一方で来店 微増(有意差なし)
 実際 広告キャンペーンで 実験:結果


  41. 一方で提案法 配信原価をかなり削減していた:コスパよし
 実際 広告キャンペーンで 実験:結果
 配信原価をより使う設定で再実験中
 better


  42. 実験 まとめ
 • 実際 広告キャンペーンで実験を行った
 • C リフトベース 配信 、


    低コストでC を伸 す配信が行われていた
 • 引き続き実験予定
 

  43. 広告効果を改善する機械学習
 • 広告効果をきちんと定義し、
 それを機械学習で予測する枠組みを与えた
 • 実際 広告配信で実験
 • CAで ユーザごと

    因果効果推定
 aito, Yuta and Yasui hotai. "Counterfactual Cross- alidation: 
 table Model election Procedure for Causal Inference Models." 
 ICML. 2020. 

  44. 事業課題改善に繋がる
 技術開発 ために


  45. 事業課題改善に繋がる技術開発 ために
 
 • プロジェクト概要とポイントだったこと
 
 • 事業課題改善 ため 技術開発とA/Bテスト


    
 

  46. 事業課題改善に繋がる技術開発 ために
 
 • プロジェクト概要とポイントだったこと
 
 • 事業課題改善 ため 技術開発とA/Bテスト


    
 

  47. 誰と進めた か:チーム体制
 研究組織
 社外研究者
 D 
 Biz
 Dev
 プロダクト
 研究者


    
 
 
 

  48. プロジェクト スタートからゴールまで
 基礎となった
 プロダクト開発・研究 
 
 事業課題から 
 問題設定
 手法開発


    プロダクト実装
 PoC実施
 論文投稿・採択
 プロダクト導入に向けた 
 仕組みづくり・開発
 (今ココ)
 G
 
 プロジェクト開始
 プロダクトで 
 継続的運用
 (社会実装)

  49. フェーズごと 連携プレー
 基礎となった
 プロダクト開発・研究 
 
 事業課題から 
 問題設定
 手法開発


    プロダクト実装
 PoC実施
 論文投稿・採択
 プロダクト導入に向けた 
 仕組みづくり・開発
 (今ココ)
 G
 プロジェクト開始
 
 D 
 Biz
 プロダクトで 
 継続的運用
 (社会実装)

  50. フェーズごと 連携プレー
 基礎となった
 プロダクト開発・研究 
 
 事業課題から 
 問題設定
 手法開発


    プロダクト実装
 PoC実施
 論文投稿・採択
 プロダクト導入に向けた 
 仕組みづくり・開発
 (今ココ)
 G
 プロジェクト開始
 
 D 
 
 
 プロダクトで 
 継続的運用
 (社会実装)

  51. フェーズごと 連携プレー
 基礎となった
 プロダクト開発・研究 
 
 事業課題から 
 問題設定
 手法開発


    プロダクト実装
 PoC実施
 論文投稿・採択
 プロダクト導入に向けた 
 仕組みづくり・開発
 (今ココ)
 G
 プロジェクト開始
 
 D 
 Dev
 
 プロダクトで 
 継続的運用
 (社会実装)

  52. フェーズごと 連携プレー
 基礎となった
 プロダクト開発・研究 
 
 事業課題から 
 問題設定
 手法開発


    プロダクト実装
 PoC実施
 論文投稿・採択
 プロダクト導入に向けた 
 仕組みづくり・開発
 (今ココ)
 G
 プロジェクト開始
 
 D 
 
 Biz
 Dev
 プロダクトで 
 継続的運用
 (社会実装)

  53. フェーズごと 連携プレー
 基礎となった
 プロダクト開発・研究 
 
 事業課題から 
 問題設定
 手法開発


    プロダクト実装
 PoC実施
 論文投稿・採択
 プロダクト導入に向けた 
 仕組みづくり・開発
 (今ココ)
 G
 プロジェクト開始
 
 D 
 
 
 プロダクトで 
 継続的運用
 (社会実装)

  54. フェーズごと 連携プレー
 基礎となった
 プロダクト開発・研究 
 
 事業課題から 
 問題設定
 手法開発


    プロダクト実装
 PoC実施
 論文投稿・採択
 プロダクト導入に向けた 
 仕組みづくり・開発
 (今ココ)
 G
 プロジェクト開始
 
 D 
 Biz
 Dev
 プロダクトで 
 継続的運用
 (社会実装)

  55. どう始まり、どう終わらせる か
 基礎となった
 プロダクト開発・研究 
 
 事業課題から 
 問題設定
 手法開発


    プロダクト実装
 PoC実施
 論文投稿・採択
 プロダクト導入に向けた 
 仕組みづくり・開発
 (今ココ)
 G
 
 プロジェクト開始
 ①
 ②
 プロダクトで 
 継続的運用
 (社会実装)

  56. どう始まり、どう終わらせる か
 
 
 
 ① 事業課題から 問題設定とA/Bテストありき PJスタート
 


    ② これから 運用 ため 継続的なA/Bテスト
 

  57. 事業課題から 問題設定
 
 Biz
 よりCVを伸 すようなプロダクトにしたい ... 広告主的に 広告をやって、売上 YonY上がったとかが納得度高

    そう... CVリフトを目標にしてみる よさそうでしょうか Uplift modelingでリフトするユーザに広告配信する 進 めてみてもいいですか? D 

  58. 事業課題から 問題設定
 
 Biz
 D 
 よりCVを伸 すようなプロダクトにしたい ... 広告主的に

    広告をやって、売上 YonY上がったとかが納得度高 そう... CVリフトを目標にしてみる よさそうでしょうか Uplift modelingでリフトするユーザに広告配信する 進 めてみてもいいですか? • まず KPI整理:「よりC を伸 すような広告プロダクト」を整理した 
 ◦ どんな指標を改善したい か:C リフト
 ◦ A/Bテスト 文脈で Overall Evaluation Criterion (OEC)を決めるとよいとされ、複数 指標を組み合わせることが推奨される*
 * rustworthy Online Controlled Experiments : A Practical Guide to A/B esting
  59. A/B テストありき プロジェクトスタート
 Biz
 やってみよう CVリフトを目標にしてみる よさそうでしょうか Uplift modelingでリフトするユーザに広告配信する 進

    めてみてもいいですか? • オンラインで 事業KPI改善を検証するという着地 
 ◦ 検証 為にA/Bテストをすることに
 ◦ 事業的にも嬉しいし、実 論文的にも嬉しい 
 → ビジネス〜研究者まで揃った チームを組織できた要因
 オンラインで 既存配信と 比較を PoCで 評価としま しょう 
 
 D 
 D 

  60. これから 運用 ため 継続的なA/Bテスト( IP)
 
 
 広告効果を改善する機械学習を考えてきたが、
 よりメタに 広告効果を改善する配信ロジックがあれ

    よい
 大切な 与えられた予算でよりC リフトさせるような広告配信をすること 
 広告配信ロジック
 
 広告配信予算
 C リフト

  61. これから 運用 ため 継続的なA/Bテスト( IP)
 
 
 プロダクトで 広告配信ロジック A/Bテスト基盤でどんどん比較


    よりよいC をもたらすロジックを継続的に見つけることを目指す
 
 大切な 与えられた予算でよりC リフトさせるような広告配信をすること 
 広告配信ロジック
 
 広告配信予算
 C リフト

  62. 鍵となる A/Bテスト
 
 
 
 ① 事業課題から 問題設定とA/Bテストありき PJスタート
 


    ② これから 運用 ため 継続的なA/Bテスト
 

  63. 事業課題改善に繋がる技術開発 ために
 
 • プロジェクト概要とポイントだったこと
 
 • 事業課題改善 ため 技術開発とA/Bテスト


    
 

  64. 事業課題改善 ため 技術開発とA/Bテスト
 
 
 • 先日話題になっていた、機械学習を「社会実装」するということ
 でもビジネスインパクト 測定 難しさについて言及されていた


    
 
 • A/Bテスト 社会実装・効果測定において
 どういった役割を果たす?
 
 

  65. A/Bテスト( C )
 
 
 • ある技術・施策を社会実装すべきか
 意思決定するため 技術
 ◦

    機械学習とか研究PJに限らず
 ビジネス・エンジニア・
 デザイナー... 仕事と関係アリ
 ◦ 事業KPI改善→採用 という意思決定が可能に
 ◦ すでに社会実装した技術・施策 継続的な改善 ためにも必須
 
 
 技術・施策
 社会
 ABテスト

  66. A/Bテスト( C ) 難しさ
 • 文化:意思決定 技術として組織に浸透するか
 ◦ 例)私 伝え聞いたこと

    ある批判
 ▪ 「A/Bテスト ビジネス上些細な差を見つけるため も だ」
 ▪ 「A/Bテスト スピードが遅い」
 • 技術:正しく評価/実装することが難しい
 ◦ 例)予算がある設定で A*が担保されない場合がある 
 ◦ 例) Aを考慮した予算管理やそ ため データ構造にするに ...? 
 
 • そ 他:コスト面 問題や倫理的な問題で難しい
 
 
 * SUTVA : ある群へ 処置が他 群に影響を及ぼさないという仮定
  67. それでもやりたいA/Bテスト( C )
 • 文化:
 ◦ 文化を浸透させる手段に関して あまり知りません(教えてください)
 ◦ AI事業本部/CA

    A/Bテストに対して積極的なよい環境
 → 先行事例: で 論文採択とA/Bテストを評価地点とする広告AI開発
 ◦ ぜひ一緒に実験しましょう!
 • 技術:
 ◦ D が実験(基盤) デザインをする
 ◦ 勉強しました 
 ▪ rustworthy Online Controlled Experiments : A Practical Guide to A/B esting
 ▪ practicalな落とし穴とそ 対処法がたくさん学べる

  68. 全体まとめ:メッセージ
 • 広告効果を定義し機械学習で予測しよう
 
 • 事業課題改善に繋がる技術開発 最重要項目 
 A/Bテストができる環境と文化だ
 


    
 

  69. ありがとうございました 
 資料中 写真・イラスト www.freepik.com/