広告効果を改善する機械学習とその広告配信での使い方 また、PJを進める上でA/Bテストが鍵になったという内容です
どんな機械学習が 広告効果を改善する か 株式会社サイバーエージェント AI ACK 早川裕太
View Slide
自己紹介 早川 裕太 ● 株式会社サイバーエージェント AI事業本部 AI ACK データサイエンティスト ● 2019. 3 東京工業大学 情報理工学院 (修士工学) ● 2019. 4 - 現職 ○ 広告配信プロダクトで 分析・ MLアルゴリズム 開発・A/Bテスト ● ビジネス/社会貢献 ため （広く）技術 社会実装に 興味があります
イントロとして... インターネット広告 × 機械学習について考えてみる
インターネット広告 × 機械学習 巨大なインターネット広告市場において ターゲティング広告 必要不可欠 C 予測、C 予測、レコメンド等 機械学習技術が必要とされる https://iab.com/wp-content/uploads/2019/10/IAB-HY19-Internet-Advertising-Revenue-Report.pdf
なぜ機械学習が必要とされる か ● 機械学習により広告効果が大きい人をみつけることができる ず！ ● 広告を見たからアプリをインストールしてくれる人がわかる ● 広告を見ることでより商品を購入してくれる人がわかる ● 広告をみてブランド認知をより深めてくれる人がわかる ● 「広告効果が大きいとされた人」に広告を配信すれ 広告効果 改善される ず！！ 機械学習が広告効果を改善するから 仮説
機械学習 広告効果を改善しているか? (1) "思ったよりも広告効果改善 できていない？" ● Northwestern, Netflix, Google（当時） 研究者による調査 ● っきりとリフトしたと言えるも 多くない ● なぜ？ https://marketing.wharton.upenn.edu/wp-content/uploads/2017/08/Johnson-Garrett-PAPER-VERSION-2.pdf
機械学習 広告効果を改善しているか? (2) "機械学習、勝手にC する人を electionしているだけ説" ● Northwestern, Facebook 研究者による調査 ● 広告によるC とされたも 中で、 本当に広告効果だった割合 わずか https://thecorrespondent.com/100/the-new-dot-com-bubble-is-here-its-called-online-advertising/13228924500-22d5fd24https://www.kellogg.northwestern.edu/faculty/gordon_b/files/fb_comparison.pdf
（新卒僕） 広告効果を改善する機械学習がしたいです......
というわけで本日 発表内容 ● 広告効果を改善する機械学習と広告配信で 使い方 ○ 事業課題発 技術開発にプロダクト×研究組織で取り組んだ ○ 研究成果がAdKDD 2020に採択されました ● 事業課題改善に繋がる技術開発 ために ○ どうプロジェクト 進んでいった か ○ 事業課題から 問題設定、研究組織と 連携など
本日 発表で メッセージ ● 広告効果を定義し機械学習で予測しよう ● 事業課題改善に繋がる技術開発 最重要項目 A/Bテストができる環境と文化だ
広告効果を改善する機械学習と広告配信で 使い方 Daisuke Moriwaki, Yuta Hayakawa, Isshu Munemasa, Yuta aito,Akira Matsui, nbiased Lift-based bidding system, In AdKDD2020
なぜ広告効果 改善が難しい か 実 適切なターゲティングできていない説 仮説
本当にターゲティングしたい人 誰か? 広告を見て1000円買うAさん 広告を見て3000円買うBさん 広告を見ず2000円買うCさん ？
本当にターゲティングしたい人 誰か? 広告を見せたから1000円買うAさん 実 広告を見ないと800円だったAさん 広告配信してよかった
本当にターゲティングしたい人 誰か? 広告を見せたから3000円買うBさん 実 広告を見ないと4000円だったBさん 広告配信しないほうがよかった
本当にターゲティングしたい人 > 広告をみないとき C 広告をみたとき C
本当にターゲティングしたい人 > 広告をみないとき C 広告をみたとき C - 0 C リフト （= 広告効果） 定義
本当にターゲティングしたい人 広告をみないとき C 広告をみたとき C - がより大きい人 C リフト （= 広告効果） 定義
ちなみにC を活用したターゲティング ... 広告をみたとき C がより大きい人
因果推論 根本問題：反実仮想（パラレルワールド）を知る必要あり 広告をみないとき 世界線 広告をみたとき 世界線 事前に両方わからないと意思決定できない... 手元に どちらか データしかない でお手上げ
ここまで まとめ：広告効果 定義 ● 本当にターゲティングしたい人 C リフトが大きい人 ○ C リフト = 広告効果 と定義づける ● C リフトを直接表すデータが手元にない？ →手元 データからなんとかして予測しよう
予測 ため 準備：Potential Outcome 導入 広告をみないとき C 広告をみたとき C
興味があるも ：条件付期待値 広告をみないとき C 広告をみたとき C 特徴量（ユーザに関する情報など）
予測したいも ：C リフト 期待値 広告をみないとき C 広告をみたとき C を予測する枠組み。 plift Modeling C リフト（＝広告効果） 期待値
予測 ため アイデア：two-model approach 広告をみないとき C 広告をみたとき C - 予測モデル1 予測モデル2
予測 ため アイデア：two-model approach 広告をみないとき C 広告をみたとき C - 予測モデル1 予測モデル2 学習により最小化する損失
これで学習できる...！
...データがない問題どこ行った？
広告表示バイアス：直感的な解釈 広告をみたとき C = 広告をみたとき データ み 広告をみないとき C = 広告をみないとき データ み 広告表示されやすい人（状況） データが多い 広告表示されにくい人（状況） データが多い
広告表示バイアス：直感的な解釈 広告をみたとき C = 広告をみたとき データ み 広告をみないとき C = 広告をみないとき データ み 広告表示されやすい人（状況） データが多い 広告表示されにくい人（状況） データが多い 広告表示されやすい・にくい 状況 データだけで 学習 バイアスが生じる
広告表示バイアス：広告をみたとき C データを例に 広告をみたとき C = 広告をみたとき データ み 最小化したい損失
広告表示バイアス：広告をみたとき C データを例に 広告をみたとき C = 広告をみたとき データ み 最小化したい損失 反実仮想含めた全て 世界
広告表示バイアス：広告をみたとき C データを例に 広告をみたとき C = 広告をみたとき データ み 最小化したい損失 反実仮想含めた全て 世界 広告表示を受けた時 み 片側 世界 実際最小化できる損失
広告表示バイアス 除去： 最小化したい損失 観測可能なデータ みから 学習
広告表示バイアス 除去： 最小化したい損失 観測可能なデータ みから 学習 仮定 元で 広告表示される確率 IP (inverse propensity weightingという手法)
ここまで まとめ ● 手元 データだけだと広告表示 受けやすさ バイアスが学習に影響を及ぼしてしまう ● 広告表示確率で割り戻してunbiasedな学習可能
C リフト 予測 仕方 推定したC リフト 広告表示時 推定C 広告表示がない時 推定C 推定したC リフトが大きいひとに積極的にターゲティング
今日省略すること ● 広告表示を複数回受けるような状態 モデリング ● 広告配信システム全貌 ○ 入札額 ○ PID制御 詳しく 論文をご覧ください ...♂https://arxiv.org/pdf/2007.04002.pdf
二つ モデルを比較 案件：アプリ面で 店舗来店促進（O2O広告） C = 来店 実際 広告キャンペーンで 実験：結果 C リフトベース ターゲティング C ベース ターゲティング -
リーチ率やimp数を有意に増加させた 一方で来店 微増（有意差なし） 実際 広告キャンペーンで 実験：結果
一方で提案法 配信原価をかなり削減していた：コスパよし 実際 広告キャンペーンで 実験：結果 配信原価をより使う設定で再実験中 better
実験 まとめ ● 実際 広告キャンペーンで実験を行った ● C リフトベース 配信 、 低コストでC を伸 す配信が行われていた ● 引き続き実験予定
広告効果を改善する機械学習 ● 広告効果をきちんと定義し、 それを機械学習で予測する枠組みを与えた ● 実際 広告配信で実験 ● CAで ユーザごと 因果効果推定 aito, Yuta and Yasui hotai. "Counterfactual Cross- alidation: table Model election Procedure for Causal Inference Models." ICML. 2020.
事業課題改善に繋がる 技術開発 ために
事業課題改善に繋がる技術開発 ために ● プロジェクト概要とポイントだったこと ● 事業課題改善 ため 技術開発とA/Bテスト
誰と進めた か：チーム体制 研究組織 社外研究者 D Biz Dev プロダクト 研究者
プロジェクト スタートからゴールまで 基礎となった プロダクト開発・研究 事業課題から 問題設定 手法開発 プロダクト実装 PoC実施 論文投稿・採択 プロダクト導入に向けた 仕組みづくり・開発 （今ココ） G プロジェクト開始 プロダクトで 継続的運用 （社会実装）
フェーズごと 連携プレー 基礎となった プロダクト開発・研究 事業課題から 問題設定 手法開発 プロダクト実装 PoC実施 論文投稿・採択 プロダクト導入に向けた 仕組みづくり・開発 （今ココ） G プロジェクト開始 D Biz プロダクトで 継続的運用 （社会実装）
フェーズごと 連携プレー 基礎となった プロダクト開発・研究 事業課題から 問題設定 手法開発 プロダクト実装 PoC実施 論文投稿・採択 プロダクト導入に向けた 仕組みづくり・開発 （今ココ） G プロジェクト開始 D プロダクトで 継続的運用 （社会実装）
フェーズごと 連携プレー 基礎となった プロダクト開発・研究 事業課題から 問題設定 手法開発 プロダクト実装 PoC実施 論文投稿・採択 プロダクト導入に向けた 仕組みづくり・開発 （今ココ） G プロジェクト開始 D Dev プロダクトで 継続的運用 （社会実装）
フェーズごと 連携プレー 基礎となった プロダクト開発・研究 事業課題から 問題設定 手法開発 プロダクト実装 PoC実施 論文投稿・採択 プロダクト導入に向けた 仕組みづくり・開発 （今ココ） G プロジェクト開始 D Biz Dev プロダクトで 継続的運用 （社会実装）
どう始まり、どう終わらせる か 基礎となった プロダクト開発・研究 事業課題から 問題設定 手法開発 プロダクト実装 PoC実施 論文投稿・採択 プロダクト導入に向けた 仕組みづくり・開発 （今ココ） G プロジェクト開始 ① ② プロダクトで 継続的運用 （社会実装）
どう始まり、どう終わらせる か ① 事業課題から 問題設定とA/Bテストありき PJスタート ② これから 運用 ため 継続的なA/Bテスト
事業課題から 問題設定 Biz よりCVを伸 すようなプロダクトにしたい...広告主的に 広告をやって、売上 YonY上がったとかが納得度高そう...CVリフトを目標にしてみる よさそうでしょうかUplift modelingでリフトするユーザに広告配信する 進めてみてもいいですか？D
事業課題から 問題設定 Biz D よりCVを伸 すようなプロダクトにしたい...広告主的に 広告をやって、売上 YonY上がったとかが納得度高そう...CVリフトを目標にしてみる よさそうでしょうかUplift modelingでリフトするユーザに広告配信する 進めてみてもいいですか？● まず KPI整理：「よりC を伸 すような広告プロダクト」を整理した ○ どんな指標を改善したい か：C リフト ○ A/Bテスト 文脈で Overall Evaluation Criterion (OEC)を決めるとよいとされ、複数指標を組み合わせることが推奨される* * rustworthy Online Controlled Experiments : A Practical Guide to A/B esting
A/B テストありき プロジェクトスタート Biz やってみようCVリフトを目標にしてみる よさそうでしょうかUplift modelingでリフトするユーザに広告配信する 進めてみてもいいですか？● オンラインで 事業KPI改善を検証するという着地 ○ 検証 為にA/Bテストをすることに ○ 事業的にも嬉しいし、実 論文的にも嬉しい → ビジネス〜研究者まで揃ったチームを組織できた要因 オンラインで 既存配信と 比較をPoCで 評価としましょう D D
これから 運用 ため 継続的なA/Bテスト（ IP） 広告効果を改善する機械学習を考えてきたが、 よりメタに 広告効果を改善する配信ロジックがあれ よい 大切な 与えられた予算でよりC リフトさせるような広告配信をすること 広告配信ロジック 広告配信予算 C リフト
これから 運用 ため 継続的なA/Bテスト（ IP） プロダクトで 広告配信ロジック A/Bテスト基盤でどんどん比較 よりよいC をもたらすロジックを継続的に見つけることを目指す 大切な 与えられた予算でよりC リフトさせるような広告配信をすること 広告配信ロジック 広告配信予算 C リフト
鍵となる A/Bテスト ① 事業課題から 問題設定とA/Bテストありき PJスタート ② これから 運用 ため 継続的なA/Bテスト
事業課題改善 ため 技術開発とA/Bテスト ● 先日話題になっていた、機械学習を「社会実装」するということ でもビジネスインパクト 測定 難しさについて言及されていた ● A/Bテスト 社会実装・効果測定において どういった役割を果たす？
A/Bテスト（ C ） ● ある技術・施策を社会実装すべきか 意思決定するため 技術 ○ 機械学習とか研究PJに限らず ビジネス・エンジニア・ デザイナー... 仕事と関係アリ ○ 事業KPI改善→採用 という意思決定が可能に ○ すでに社会実装した技術・施策 継続的な改善 ためにも必須 技術・施策 社会 ABテスト
A/Bテスト（ C ） 難しさ ● 文化：意思決定 技術として組織に浸透するか ○ 例）私 伝え聞いたこと ある批判 ■ 「A/Bテスト ビジネス上些細な差を見つけるため も だ」 ■ 「A/Bテスト スピードが遅い」 ● 技術：正しく評価/実装することが難しい ○ 例）予算がある設定で A*が担保されない場合がある ○ 例） Aを考慮した予算管理やそ ため データ構造にするに ...? ● そ 他：コスト面 問題や倫理的な問題で難しい * SUTVA : ある群へ 処置が他 群に影響を及ぼさないという仮定
それでもやりたいA/Bテスト（ C ） ● 文化： ○ 文化を浸透させる手段に関して あまり知りません（教えてください） ○ AI事業本部/CA A/Bテストに対して積極的なよい環境 → 先行事例： で 論文採択とA/Bテストを評価地点とする広告AI開発 ○ ぜひ一緒に実験しましょう！ ● 技術： ○ D が実験（基盤） デザインをする ○ 勉強しました ■ rustworthy Online Controlled Experiments : A Practical Guide to A/B esting ■ practicalな落とし穴とそ 対処法がたくさん学べる
全体まとめ：メッセージ ● 広告効果を定義し機械学習で予測しよう ● 事業課題改善に繋がる技術開発 最重要項目 A/Bテストができる環境と文化だ
ありがとうございました 資料中 写真・イラスト www.freepik.com/
qiringji
dasaptaerwin
chokkan
konakalab
lcolladotor
mkkon
joisino
genomethica
icoxfog417
bob3bob3
shunk031
sshimizu2006
dougneiner
rasmusluckow
palkan
bcantrill
zakiyama
schacon
lara
trallard
colly
jmmastey
moore
addyosmani