マイクロアドのアドテクを支える技術

以下イベントの発表資料
https://camphor.connpass.com/event/146724/

Transcript

1. マイクロアドの アドテクを支える技術 2019/10/05 【マイクロアド】〜ネット広告を支える技術を知る〜 #microad_CAMPHOR MicroAd, Inc. システム開発本部 中野翔太
2. #microad_CAMPHOR アジェンダ • 基本の説明 • RTB ◦ 概要 ◦ オーディエンス ◦ 広告配信制御 ◦ 広告配信計測 • マイクロアドにおけるRTBの実現 ◦ データパイプライン ◦ DSPの広告選択 2
3. 基本の説明 3 インターネット広告における
4. #microad_CAMPHOR 基本用語 広告主: 広告を出すことで製品の認知度を上げたりブランドの形成を行いたい 媒体主: 運営しているメディアに広告を掲載して利益を得たい インプレッション: 広告の表示のこと クリック: 広告のクリックのこと コンバージョン: 広告により成果を達成すること LP: Landing Pageのこと 4 サイトを表示すると広告のインプレッションが発生 →ユーザはその広告をクリック →LPに遷移 →LPから会員登録を行いコンバージョン
5. #microad_CAMPHOR インターネット広告の種類 ◦◦広告という言葉も様々 • リスティング広告 • 純広告 • ネイティブ広告 • 動画広告 etc... 5
6. RTB 6
7. 概要 7
8. #microad_CAMPHOR RTBとは • Real Time Biddingの略 • 広告枠が表示されるたびにオークションが行われ 最も高い値段をつけられた広告が表示される 8 リーマンショックで金融系のエンジニアが広告業界に 流れ込み、株取引の仕組みをインターネット広告に取 り入れたと言われている
9. #microad_CAMPHOR SSPとDSP RTBで誰がオークションを行うのか? SSP(Supply Side Platform): メディアの収益を最大化するプラットフォーム DSP(Demand Side Platform): 広告配信を最適化するプラットフォーム 9 SSP DSP 出来るだけ収益を 高くしたい 出来るだけ安く効 果的に配信したい メディア 広 告
10. 10 SSP DSP1 DSP2 DSP3 サイトA 広告枠 STEP1 サイトが表示されSSPにリクエストが送られる SSPは接続しているDSPにリクエストを送る RTBの処理フローのイメージ
11. 11 SSP DSP1 DSP2 DSP3 サイトA 転職広告 10円 50円 30円 車広告 家広告 広告枠 STEP2 DSPはそれぞれ入札する広告とその金額を決定する RTBの処理フローのイメージ
12. 12 SSP DSP1 DSP2 DSP3 サイトA 転職広告 10円 50円 30円 車広告 家広告 車広告 STEP3 DSPはSSPにレスポンスを返す SSPはその中から最も高い値段の付いた広告を選択し、 表示する RTBの処理フローのイメージ
13. #microad_CAMPHOR OpenRTB 13 SSP DSP1 DSP2 DSP3 - RTBにおける標準的な仕様 - SSP⇄DSPのプロトコル - オブジェクトの定義
14. オーディエンス 14
15. #microad_CAMPHOR オーディエンス • 個人の識別性の無いデータ • 位置情報、購買履歴などの個人の行動や状態 • 代表的なものとしてCookie 15
16. #microad_CAMPHOR 1st/3rd party cookie 1st party: ユーザが訪問しているサイトのドメインから直接発行 3rd party: ユーザが訪問しているサイトのドメイン以外から発行 16 abcdefg.com 広告枠
17. #microad_CAMPHOR Cookie Sync 17 SSP Sync Table SSPとDSPという異なるシステム間でユーザを識別するために行わ れる RTBとは別のタイミングでクッキーシンクが行われている シンクされたIDをRTB時に使ってターゲティングなどに利用 DSP SSP DSP AAA XXX BBB YYY CCC ZZZ 広告主のサイト SSPでID=CCCのユーザ パラメータにIDを乗せ DSPにリダイレクト DSPでID=ZZZのユーザ
18. #microad_CAMPHOR Cookieの扱い ITP(Intelligent Tracking Prevention) Safariでクロスサイトトラッキングを制限。3rd party cookieは1日で削除。 SameSite ChromeにおけるCookieの扱いを改善し、サイトがどのようにCookieを使用して いるかの透明性を高める。 GDPR(General Data Protection Regulation) IPアドレスやCookieなどのオンライン上での識別子も個人情報として扱う。 18
19. 広告配信制御 19
20. #microad_CAMPHOR 広告配信制御 広告に設定された条件に従い配信を行う • ターゲティング • フリークエンシー • リーセンシー • アドベリフィケーション 20
21. #microad_CAMPHOR ターゲティング 位置情報ターゲティング デモグラフィックターゲティング リターゲティング etc... 21 広告主のサイト DSPの サーバ ユーザのアクセス履歴を蓄積 配信時に参照 リターゲティングの例 広告主のサイトを訪れたユーザを対象に広告配信
22. #microad_CAMPHOR フリークエンシー 広告とユーザの接触回数や接触頻度 フリークエンシーブースト: 表示回数が増えるにつれ入札額を徐々に低くする 22 同じユーザに同じ広告は 10回までにしたい KVS KEY VALUE AAA_1 5 AAA_2 0 BBB_1 10
23. #microad_CAMPHOR リーセンシー 広告とユーザの接触間隔や接触時間 リーセンシーブースト: 最終接触から一定時間内の場合を入札額を上げる 23 最終接触から1分以内の ユーザには多少高くても広 告を出したい KVS KEY VALUE AAA_1 1569832969 AAA_2 1569832969 BBB_1 1569832969
24. #microad_CAMPHOR アドベリフィケーション 広告主のブランドイメージを損なうようなメディアに広告を配信していないか アドベリフィケーションツールを使用 24
25. 広告配信計測 25
26. #microad_CAMPHOR Impression計測 1×1pxの透過画像(impビーコン)を広告に埋め込み広告表示時にリクエストを計測 サーバに送る 26 メディア 広告 Impression計測サーバ
27. 27 SSP DSP1 DSP2 DSP3 サイトA 転職広告 10円 50円 30円 車広告 家広告 車広告 DSP2の Impression 計測サーバ impビーコンからのリクエスト DSPが落札額を知るために SSPでマクロの置換を行う
28. #microad_CAMPHOR Viewable Impression計測 • 広告が視認可能な範囲に入った場合のみ計測対象とする • マイクロアドではIntersection Observer APIを利用した実装 • 広告全体の何%以上表示された時だけ計測する、というような制御も可能 28
29. 29 メディア メディア 広告 Viewable Impression 計測サーバ 初期表示時 広告は全体の20% だけ表示 スクロールされ 全体の50%以上が1 秒以上表示された時 計測サーバにリクエ スト 下にスクロール 閾値が50%の場合
30. #microad_CAMPHOR Product Impression計測 ダイナミック広告においては商品ごとの計測も可能 30 AD1 AD2 AD3 AD4 AD5 AD6 右のボタン をクリック 最初に表示される広告 ボタンクリック後に表示される広告
31. #microad_CAMPHOR Click計測 DSPやSSPのクリック計測サーバをリダイレクトし最終的にLPに到達する (クリック計測ツールを間に挟む場合もある) ※マイクロアドではImpressionから一定時間を超えたクリックは不正クリックと判定 ※その他BOTなどによる不正なクリックの動作を検出するために別途機械学習を利用しています 31 広告 SSP DSP LP リダイレクト リダイレクト
32. #microad_CAMPHOR Conversion計測 • 広告主のサイトのコンバージョンポイントにコンバージョン計測用のタグを 設置 • 直接/ビュースルー/クリックスルーなど ◦ コンバージョンとみなされる期間は異なる ◦ 後でAudienceIdでクリックとコンバージョンポイントへアクセスしたログを付き合わせてコ ンバージョンを判断 32
33. マイクロアドにおけるRTBの実現 33 データパイプラインとDSPにおける広告選択
34. データパイプライン 34
35. #microad_CAMPHOR データパイプライン 6TB/dayのデータを処理 Bidリクエスト 150億件/day、Impression 30億件/day 35
36. 36 log log log App App App データパイプライン全体像
37. 37 log log log App App App データパイプライン全体像 ストリーム バッチ 信頼性と性能のトレードオフ at least once ユニークIDによる重複排除
38. 38 log log log App App App データパイプライン全体像 アプリケーションが ファイルに出力したログをリア ルタイムで処理する
39. 39 log log log App App App データパイプライン全体像 全てのログは1度kafkaに集約される リアルタイムで複雑な加工処理が必要な場 合はSparkStreamingを用いて加工し、 kafkaに入れ直す
40. 40 log log log App App App データパイプライン全体像 kafkaからhadoopもリアルタイムで データを処理 hadoopに蓄積されたログに対して digdagを用いてETL処理を行う raw orc リアルタイムに転送され たデータはrawテーブル バッチでrawからorcに変 換する際に重複排除
41. #microad_CAMPHOR ワークフロー管理 ワークフロー管理に求められる機能 • スケジュール実行 • タスク同士の依存を制御 • 実行履歴の保持 マイクロアドではDigdagを使用 - ワークフローをコードで管理 - UIから再実行が可能 https://speakerdeck.com/tosametal/digdagdeetlchu-li-wosuru 41 digdagのワークフロー定義ファイル例
42. #microad_CAMPHOR ストリーム処理 • 断片的なアクセスデータでなく連続的な行動を追跡したい • その瞬間にCVする確率の高いユーザに配信したい • アクセスデータをマイクロアドの持つデータと組み合わせて価値の高い情報 にした状態で配信に使用したい • 2~5万QPS 42 トップ ページ 購入 ページ 商品 ページ 12:00:00 12:00:05 12:00:10 全体図のこの部分
43. DSPの広告選択 43
44. #microad_CAMPHOR DSPの広告選択 44 SSP DSP サイト 50円 車広告 車広告 ここで何をしているの ? (1)リクエストが有効か判定...不正なフォーマット、不正なサイト、不正なユーザ (2)配信可能な広告を選択...広告の設定やSSPのリクエスト内容に応じた広告を入札候補にする (3)広告の値付け...候補となった広告全てに金額をつける (4)入札広告の選択...値段のついた広告のなかから最も高いものを選択
45. 45 デシリアライズ RTB リクエスト RTB レスポンス 不正リクエスト除 外 •Bot •不正Site/App など シリアライズ 最高値の広告を 選択 RequestAdapter GateKeeper Targeting ResponseAdapter Selector Filter 1回のRTBリクエストごとに以下の処理を行う 条件に一致しない 広告を除外 配信条件に合致 する広告を選択
46. #microad_CAMPHOR リアルタイムな広告の値付け 46 Hadoop 配信アプリ 機械学習基盤 モデルRedis 特徴量Redis 配信アプリ(DSP)で定期的にモデルRedisを参照してモデルを更新 RTBリクエストごとに特徴量Redisから分散表現を取得しモデルに適用することで 確率を計算 確率をベースに諸々計算して入札額を算出する