DSOps #2

Transcript

1. DSタスクと 利益との結びつき ~Dynalyst編~ 1/30 2021年度DSOps研修 第2回 担当:加藤 直
2. 担当 加藤 直 (2019年度入社) DynalystのDSチーム所属 担当領域: データ分析、提案 MLモデル作成・運用 MLOps 2/30
3. 今回学んでほしいこと DynalystのDSP運用をモデルに、 お金の流れからDSが取り組むべきこと・問題点を知る 　　│ 　　├─ 1. RTBの概要とお金の流れ 　　└─ 2. DynalystのDSタスク例 3/30
4. RTBの概要とお金の流れ 4/30
5. RTBに関わるプレイヤー 5/30
6. RTBに関わるプレイヤー 6/30 基本的に、左から右にお金が流れていく
7. SSP、DSPの関係性 7/30 SSP 　- メディアから広告枠を買い、DSPに売る 　- 広告が表示された際にオークションを開催して 　　最高入札額のDSPに広告表示の権利を与える DSP 　- 広告主から広告を預かって代理で配信する 　- 入札額をうまく決定することで効果最大化を図る 　- 広告がクリックされた際に広告主からお金を貰う
8. 広告表示の流れ - Webページの一例 　 - 赤枠の部分が広告 8/30
9. 広告表示の流れ - 最初から広告内容が決まってる わけではなく、枠だけが存在 　 - 広告枠にはJSなどで書かれたタグ が埋め込まれている 9/30 <タグ>
10. 広告表示の流れ 10/30 　- サイトへアクセスがあると、リクエストが送信 　 　- SSPへのアクセスが行われる． <タグ> SSP
11. 広告表示の流れ 11/30 <タグ> SSP DSP DSP DSP - SSPがDSPに入札リクエストを送る 　 - 入札リクエストの中身 　　- 表示日時 　　- 表示サイト 　　- 枠のサイズ 　　- デバイスのOS 　　- etc.
12. 広告表示の流れ 12/30 - それぞれのDSPが入札額を決定 - もちろん入札しなくてもよい <タグ> 入札額: 100円 入札額: 80円 SSP DSP DSP DSP
13. 広告表示の流れ 13/30 勝者が落札。Win通知に対して出したい 広告を返し、広告が表示される <タグ> Win! SSP DSP DSP DSP
14. DynalystのDSタスク例 14/30
15. Dynalystは主にスマホアプリのリターゲティング広告を配信している 　 リターゲティング広告: 　- 「前にこのゲームで遊んでたけど◦日間ログインしてない」 　　　というようなユーザーがを対象にした広告 (前提)Dynalystと広告主の取引体系 15/30 Come back here! I'm bored.
16. Dynalystが利益を生み出すには 16/30 Dynalystがもっと利益を生み出すためには、大きく 　 予算を増やす 配信費を最適化する のどちらかの行動を取る必要がある Budget Profit
17. オークションに勝つ度にSSPに配信費を払い、 広告がClickされたら広告主からお金を貰っている(その上限=予算) Dynalyst周辺のお金の動き 17/30 広告主 SSP
18. Dynalyst周辺のお金の動き 18/30 予算を増やす 広告主が予算を増やしたくなるような配信 　- Dynalystから介入できるのは 　　- 配信した広告の(利益/コスト)が良い 　　　→ 入札額の最適化 　　- 配信量を多くする余地がある 　　　→ クリエイティブ戦略による 　　　　 CTR,CVRの増大
19. Dynalyst周辺のお金の動き 19/30 配信費を最適化する 高値で入札→お金の無駄 低値で入札→配信機会の損失 配信することの本質的価値を予測して、 それに基づいた最適価格を決定する必要がある 　→ CTR,CVR予測、入札戦略 配信事故が起きるとその分だけ損失発生 　→ モニタリング（詳細は時間の都合で省略）
20. Dynalystで取り組んでいる主なDSタスク クリックやCVがつきそうな広告デザインの配信をおこないたい 　→ クリエイティブ選択 　 広告の価値を正確に見積もることで、最適な入札価格で入札したい 　→ CTR/CVR予測, 入札戦略 　 それらに付随する諸問題 　→ 遅れCV, FeedbackLoop, SelectionBias, 予算ペーシング, ... それぞれの例を紹介していく 20/30
21. どちらの広告のほうがCTRが良いか? 　- 広告枠/サイズは同じ Q : A/Bテストすれば? A : 可能だが問題がある クリエイティブ選択 21/30 広告B 広告A Save the town! Zombie Panic!
22. - クリエイティブは豊富にある 　　- キャラクターを変えたら? 　　- 色を変えたら? 　　- テキストを変えたら? 　 - 新規キャンペーンの度に新クリエイティブ 　　- 新イベ, 新ガチャ, ... A/Bテストの問題点: 　サンプルサイズ不足, 機会損失 　 解決方法: Bandit Algorithm クリエイティブ選択 22/30 Save the town! Zombie Panic! Save the town! Save the town! Defeat the enemy! Zombie Army! ︙ ︙
23. なぜCTR予測やCVR予測が大事なのか eCTRやeCVRに基づいて広告の価値（＝入札額）を算出しているので、 これらの予測値の精度を上げることがそのまま 　- 良い価値の広告をきちんと高値で入札して、配信できる確率を上げる 　- 悪い価値の広告に無駄に配信コストをかけないようにする といったことに繋がり、Dynalystの利益が向上する →CTR, CVR予測は非常に大事 23/30
24. CTR,CVR予測にまつわる種々の問題 手法: 例えばDNNなどを使った時に入札は間に合うのか? データサイズ: 学習の時間/メモリなどの計算資源的な問題 不均衡データ: CTRはせいぜい1% データ鮮度: 古いデータを使ったままだと精度は悪化する 遅れCV: CVがつくまでは時間がかかる 評価: 「精度がいいモデル = DSPにとっていいモデル」は本当に成立する? 　　　 本当に平等に評価できてる？ 24/30
25. CTR,CVR予測にまつわる種々の問題 手法: 例えばDNNなどを使った時に入札は間に合うのか? データサイズ: 学習の時間/メモリなどの計算資源的な問題 不均衡データ: CTRはせいぜい1% データ鮮度: 古いデータを使ったままだと精度は悪化する 遅れCV: CVがつくまでは時間がかかる 評価: 「精度がいいモデル = DSPにとっていいモデル」は本当に成立? 　　　 本当に平等に評価できてる？ 　　　　→ 結局、売上に影響しないと意味がない 25/30
26. まとめ 26/30
27. お金儲けの観点からDSタスクを考えてみた 　- クリエイティブの最適化 　- 配信費の最適化 CTR予測, CVR予測みたいな問題でも、目的をキチンと考える必要がある 　- 予測精度が上がりました！導入します！ 　- 予測精度が上がって売上が伸びました！導入します！ 時間は有限...各タスクがどれくらい売上にインパクトがあるのか 　　　　　 優先順位を考える必要がある DSがやる仕事 = ロジックで売上最大化 27/30
28. さいごに 28/30
29. ディスカッション 売上 vs 利益 29/30
30. 売上 vs 利益 一口に「お金を稼ぐ」といっても、実は様々な測り方がある 　- 売上を最大化する (そもそもの貰える予算を増やしたい) 　- 利益を最大化する (決められた予算内での儲けを増やしたい) それぞれをKPIとしたときにどんな未来に繋がるか 30/30
31. 売上 vs 利益 売上を最大化 　- 市場におけるDynalystの存在が大きくなる 　- 売上だけ上がっても儲けが減る恐れがある 　- 利益がないと単なるボランティアなので企業としての価値がない 利益を最大化 　- ダイレクトに儲けが増える 　- 「売上ちょっと減るけどコストがかなり削減できます」みたいな施策が 　 通ると、長期的には事業規模が縮小していく 双方のバランスを取りつつ、企業として何を優先すべきか軸を作る必要がある
32. おわり