広告とAI（とハイパーパラメータ最適化） / Ad with AI

by Masahiro Nomura

Slide 1

Slide 1 text

広告とAI （とハイパーパラメータ最適化）野村将寛 (AI Lab) 2018/07/19(木) @慶應義塾大学

Slide 2

Slide 2 text

自己紹介: ■ 名前: 野村将寛（のむらまさひろ） ■ 経歴: 2017・4 〜 ○ Black-box関数最適化を研究（修士） ■ 入社後: ○ アドテクスタジオ所属 ○ 【AMoAd】データエンジニアリング ○ 【AI Lab】ハイパーパラメータ最適化

Slide 3

Slide 3 text

Outline: ■ RTB（Real Time Bidding） ■ アドテクで行われている研究を一部紹介 ○ 深層学習によるFacebook広告のCTR予測[岩崎 18] ○ 「土地勘」は学習できるのか[宗政 18] ○ CycleGANを用いた感情スタイル転送[大田 18] ■ ハイパーパラメータ最適化

Slide 4

Slide 4 text

RTB (Real Time Bidding): Publisher 広告を表示してたくさん収益欲しい！ Advertiser ギターを売るために広告効果を最大化したい！ Publisher, Advertiserの願いを RTBにより実現する

Slide 5

Slide 5 text

RTB (Real Time Bidding): 広告枠

Slide 6

Slide 6 text

RTB (Real Time Bidding): 広告枠 Ad Call

Slide 7

Slide 7 text

RTB (Real Time Bidding): 広告枠 SSP Ad Call Publisherの利益を最大化する (Supply Side Platform)

Slide 8

Slide 8 text

RTB (Real Time Bidding): 広告枠 SSP Ad Call Bid Request メディアID:〜ユーザID:〜 Publisherの利益を最大化する (Supply Side Platform)

Slide 9

Slide 9 text

RTB (Real Time Bidding): 広告枠 SSP DSP DSP DSP DSP Ad Call Bid Request メディアID:〜ユーザID:〜 Publisherの利益を最大化する (Supply Side Platform) Advertiserの利益を最大化する (Demand Side Platform)

Slide 10

Slide 10 text

RTB (Real Time Bidding): 広告枠 SSP DSP DSP DSP DSP Ad Call Publisherの利益を最大化する (Supply Side Platform) Advertiserの利益を最大化する (Demand Side Platform) ¥300 ¥200 ¥100 ¥50

Slide 11

Slide 11 text

RTB (Real Time Bidding): 広告枠 SSP DSP DSP DSP DSP Ad Call Publisherの利益を最大化する (Supply Side Platform) Advertiserの利益を最大化する (Demand Side Platform) ¥300 ¥200 ¥100 ¥50 ¥200で落札

Slide 12

Slide 12 text

Slide 13

Slide 13 text

どの位の確率で広告がclickされるのか？: 〜 CTR, CVR推定について〜 ■ DSPは何をもとに入札額を決めればいいか？ ■ 「この金額でconversionを獲得したい」という指標(CPA)を持っている ■ そこから1回表示あたりの価値(eCPM)を計算してみる広告枠 O. Chapelle, Modeling delayed feedback in display advertising, KDD(2014)

Slide 14

Slide 14 text

どの位の確率で広告がclickされるのか？: 〜 CTR, CVR推定について〜 ■ DSPは何をもとに入札額を決めればいいか？ ■ 「この金額でconversionを獲得したい」という指標(CPA)を持っている ■ そこから1回表示あたりの価値(eCPM)を計算してみるクリック率（CTR）コンバージョン率（CVR）広告枠 O. Chapelle, Modeling delayed feedback in display advertising, KDD(2014)

Slide 15

Slide 15 text

深層学習によるFacebook広告のCTR予測[岩崎 18]: 基本的なfeature （ユーザ属性など） Facebook広告の例）画像テキストこれらを組み合わせて CTR推定できないか？岩崎, 深層学習によるFacebook広告のCTR予測, 人工知能学会(2018)

Slide 16

Slide 16 text

深層学習によるFacebook広告のCTR予測[岩崎 18]: Deep Neural Network Batch-Normalization Fully-connected layer Fully-connected layer 384 256 1 CTR ConvNet 197×197 128 ConvNet 128 Fully-connected layer 128 daily_budget, bid_amount, reach_estimate, age, gender, location, interests,,, etc 0 0 1 0 ······ 1 0 0 1 それぞれをDeep Learningで学習 - 基本的なfeature (ユーザ属性など) - 画像 - テキスト岩崎, 深層学習によるFacebook広告のCTR予測, 人工知能学会(2018) Validation Loss

Slide 17

Slide 17 text

image net CTR post like comment

Slide 18

Slide 18 text

No content

Slide 19

Slide 19 text

「土地勘」は学習できるのか[宗政 18]: 特定の趣味・嗜好を持つユーザに配信したいオフライン上の行動履歴からユーザのデモグラを推定できると嬉しい釣りが好きだから海沿いをよく歩いてるよテーマパーク好きだから遊園地によく行くよ宗政, 深見, 森脇,「土地勘」は学習できるのか -機械学習によるエリアラベリング, 人工知能学会(2018)

Slide 20

Slide 20 text

「土地勘」は学習できるのか[宗政 18]: ただ，行動が即座に判断できる場所は多くないその場所の「土地勘」がある人物なら判別できるのでは？ロジスティック回帰，SVM，XGBoostを用いて「飲屋街」かどうか判定宗政, 深見, 森脇,「土地勘」は学習できるのか -機械学習によるエリアラベリング, 人工知能学会(2018) 駅からの距離敷地面積収入地価公示階数女性_宿泊・飲食サービス業女性_分類不能スイーツ系店舗女性_製造業男性_製造業

Slide 21

Slide 21 text

CycleGANを用いた感情スタイル転送[大田 18]: 画像データから感情表現を抽出できれば，バナー広告のデザイン元の素材に対して感情を付与できるバナー広告の制作現場に対する支援ができるのでは大田，CycleGANを用いた感情スタイル転送，人工知能学会(2018) ‘happy’, ‘scary’ 間でCycleGANにより変換を学習

Slide 22

Slide 22 text

大田，CycleGANを用いた感情スタイル転送，人工知能学会(2018)

Slide 23

Slide 23 text

ハイパーパラメータ最適化: ハイパーパラメータ: 学習の前に設定されるパラメータ学習により更新されるパラメータとは区別される e.g) Deep Learning - 学習率 ( + 最適化手法固有のパラメータ) - Dropout率 - 層数 - 各層のユニットサイズ - 活性化関数の種類（ReLu, Tanh, Sigmoidなど） - バッチサイズ e.g) XGBoost - 学習率 - 木の本数 - 木の深さ - サブサンプル率 - 正則化係数 - 分割の閾値の重み e.g) SVM - カーネルの種類（RBF, Polynominal, Sigmoidなど） - カーネルのbandwidth - 正則化係数ハイパーパラメータの例)

Slide 24

Slide 24 text

ハイパーパラメータ最適化問題は Black-box関数最適化問題と見なせる実はそういう問題は身の回りにある Black-box関数最適化問題？ - 目的関数の数式がわからない - つまり微分もできない関数 - 目的関数値のみが利用可能

Slide 25

Slide 25 text

Googleによるクッキー作成 Googleではおいしいクッキーを作る問題を Black-box関数最適化問題として解いている - baking soda - brown sugar - white sugar - butter - vanilla - egg - flour - chocolate 社員に食べてもらい，Feedbackから改善 - chip type - salt - cayenne - orange extract - baking time - baking temperature D. Golovin, B. Solnik, S. Moitra, G. Kochanski, J. Karro, D. Sculley, Google Vizier: A Service for Black-Box Optimization, KDD(2017)

Slide 26

Slide 26 text

これからやりたいこと: ● CA内のチューニング課題を一手に引き受けたい！ ○ チューニングのような面倒な作業は後回しにしがち ○ でもそれによって発生してる機会損失が必ずあるはず ○ モデル化からサポートできれば理想 ● 広告という枠組みを超えて貢献していきたい． ○ Black-box関数はゲームなどでもよく現れる(気がする) ● 世界一の最適化アルゴリズムを開発する ○ 論文と一緒にOSSも流行らせたい

Slide 27

Slide 27 text

Appendix

Slide 28

Slide 28 text

AI Labとは: アドテクスタジオにある広告やマーケティングに特化した研究組織

Slide 29

Slide 29 text

No content

Slide 30

Slide 30 text

対話エージェントによる接客対話技術の研究 - チャットボット - ロボット自動応答や感情抑制，情報推薦　などの技術開発に挑戦対話エージェント自動対話技術

Slide 31

Slide 31 text

広告市場の拡大に伴って，バナーや動画などの広告クリエイティブの制作コスト増大が課題 - デザイナーの制作支援 - 機械学習を用いたクリエイティブの自動生成技術広告クリエイティブの制作支援と自動生成

Slide 32

Slide 32 text

広告のどの要因が効果に結びつくのか分析より因果効果が高いであろう場所やタイミング，ユーザに対してターゲティングを行う広告の因果効果の分析

Slide 33

Slide 33 text

AI Lab: 産学連携

Slide 34

Slide 34 text

RTB (Real Time Bidding): セカンドプライスオークション ■ 2位のDSPの入札額が落札額として用いられるオークション ■ なぜこんなことをするのか？ ← 買う側は自身の思う適切な金額を入札することが最適な戦略となっている（耐戦略性を満たす） ■ e.g) 「200円なら広告出したい！」という場合，200円で入札することが最適な戦略となる

Slide 35

Slide 35 text

どの位の確率で広告がclickされるのか？: 〜 CTR, CVR推定について〜 ■ Q. 「クリックされるかどうかの判定って簡単じゃないの？」 ■ A. 簡単じゃないよ！ ○ データ量が膨大: 月間数千億リクエストをさばくプロダクトもあります ○ スパース性: 広告ID, メディアID, ユーザIDなどのfeatureはユニーク数が非常に多い ○ imbalanced data: click, conversionされる数は，されない数に比べて非常に少ない ○ モデル更新: 古いモデルのままでは新規広告に対応できない

Slide 36

Slide 36 text

ハイパーパラメータ最適化: Grid search 探索範囲をグリッドに分けて探索を行う

Slide 37

Slide 37 text

ハイパーパラメータ最適化: Grid search 探索範囲をグリッドに分けて探索を行う

Slide 38

Slide 38 text

ハイパーパラメータ最適化: Grid search 探索範囲をグリッドに分けて探索を行う 0.1 5.1 2.8 4.4 1.4 7.2 2.3 0.7 2.7

Slide 39

Slide 39 text

ハイパーパラメータ最適化: Random search 範囲内でランダムに探索を行う J. Bergstra, and Y. Bengio, Random search for hyper-parameter optimization, The Journal of Machine Learning Research, 13:281–305, (2012)

Slide 40

Slide 40 text

ハイパーパラメータ最適化: ベイズ最適化 https://adtech.cyberagent.io/research/archives/24