技育CAMPアカデミア講演『Web広告エンジニアのお仕事』

技育CAMPアカデミアにて、Supershipアドテクノロジーセンター副センター長 三宅が講演した際のスライドです（講演日：2023年5月17日）。
▼【25新卒】Supershipテックサマーインターンシップ（就業型インターン）のご応募はこちらから！
https://hrmos.co/pages/supership/jobs/0000250
▼Supership新卒採用サイトはこちら
https://recruit-newgrad.supership.jp/
■講演タイトル：
技術の総合格闘技！Web広告エンジニアのお仕事～100msec以内の高速処理とペタバイトの大規模データ処理～
■アジェンダ：100msec以内での高速処理やペタバイトクラスの超大規模データ処理が求められるWeb広告の概要と仕組みについて、この業界のエバンジェリストであるSupershipアドテクノロジーセンター副センター長の三宅が、徹底解説します。
■登壇者：Supership株式会社 プロダクト開発本部アドテクノロジーセンター 副センター長
三宅 佑磨（みやけ ゆうま）
Ruby/Railsエンジニアとして、2018年5月からSupershipの広告事業に参加。
現在はSupershipの全広告プロダクトを統括するアドテクセンターの副センター長 兼 データ/機械学習チームのマネージャーを担当。

Transcript

1. 2023.05.17 yuma.miyake 100msec以内の高速処理とペタバイトの大規模データ処理
2. 自己紹介 三宅 佑磨(yuma.miyake) Supership株式会社 プロダクト開発本部アドテクノロジーセンター 副センター長 ヒューマンネットワーク高専 事務局 Ruby/Railsエンジニアとして、2018年5月からSupershipの 広告事業に参加。 現在はSupershipの全広告プロダクトを統括するアドテクセンター の副センター長 兼 データ/機械学習チームのマネージャーを担当。 2
3. 自己紹介 略歴 • 2004年4月 津山高専 電子制御工学科 入学 • 2010年4月 津山高専 専攻科 電子・情報システム工学専攻 入学 • 2012年4月 (株)OPTiM 入社 • 2018年5月 Supership(株) 入社 イベント参加 • 高専プロコン ◦ 茨城大会 自由部門 ◦ 津山大会 課題部門 • ハッカソンや高専カンファレンスの開催など 3
4. 4 Supershipグループについて
5. Supershipグループについて 5 5 合計 10社のスタートアップの共創体 KDDI 電通 グループ 関連会社 TV CMのデジタル化に 向けた事業 （テレビ朝日等とのJV） グループ企業 6社合併 アドプラットフォーム / データソリューション/ DXコンサル 広告詐欺 ブランド毀損防止 AI構築 / DXコンサル アドベリフィケーション スタートアップならではのスピード感や高度なテクノロジーに加え、大企業のアセットを活用しながらビジネスを 展開する「ハイブリッドスタートアップ」として、数多くのベンチャー企業をM&Aしながら成長を続けています。 （　　　　） 大企業 × スタートアップが共創するハイブリッドスタートアップ
6. Supershipグループは、 データをコアに、 クライアント企業のビジネスを支援する 様々なサービスを提供することで、 クライアント企業の収益向上だけでなく、 その先にいる消費者にも より良い体験の提供を目指しています。 ＼データをコアに様々なサービスを展開／ 6 Supershipグループについて
7. Web広告のおしごと 7
8. 8 広告とは何か
9. 広告とは 広く世間に知らせること。特に、商品や興行物などを広く知らせ、人の関心を引 きつけること。また、それを記したものやコマーシャル。 9 https://languages.oup.com/google-dictionary-ja/
10. 広告とは 10 一般にこういったファネル状で表現される消費者の購買行動モデルを次 の段階に進めるために行う活動が広告。 興味関心や購買意欲といったような人間の感情,潜在意識に作用するもの のため、心理学的な側面を持つ。 購買意欲未満の人を見込み顧客と呼び、その人たちを購入まで到達させ 顧客に転換させることをコンバージョン(CV)と言います。 このコンバージョン率を上げ、売上を増やす事が目的。 無知 認知 関心 購買意欲 購入
11. 広告の歴史 11 https://ja.wikipedia.org/wiki/%E5%BA%83%E5%91%8A https://medium.com/@wesfrycopywriter/from-papyrus-to-ppc-1000-year-old-ads-secret-to-agele ss-advertising-c8761ead9cc2 パピルスに書かれたポスター
12. 広告の歴史 世界のあらゆる技術的・商業的・政治的変化が影響してくるのが広告 • いい意味でも悪い意味でも、社会から受ける / 社会に与える影響が大きい • 逆に言うと、広告業界に携わっていると社会情勢がなんとなく分かる 12 人類に購買行動が存在する以上、消えることはない
13. Web広告とは よくインターネットで見かける広告の種類 13 バナー(静止画)広告 動画広告 PR
14. Web広告とは よくインターネットで見かける広告の種類 14 アプリのリワード広告 ネイティブと呼ばれるサイトと一体化した広告
15. Web広告とは 最近増えてきた広告の種類 15 音声広告(Spotify, radiko等) 街頭ビジョンやタクシー等の屋外広告
16. 時代の変化についていく必要がある • スマホ料金の低下 → 通勤中にYoutubeやTVerを見る人の増加 • 5Gの回線速度アップ → 屋外ディスプレイなどへのCM動画配信 • スマートスピーカーの普及 → (ラジオ的な)音声広告の再評価 16 それらの広告配信を支える技術が アドテクノロジー(アドテク) Web広告とは
17. 以降、テクノロジーについてのみ焦点を当てるので、 広告の中身については触れません 17
18. 18 アドテクについて
19. 19 Web広告の仕組み
20. Web広告の仕組み 登場人物 • 広告主(デマンド) ◦ お金を払って広告を出したい会社 • メディア媒体(サプライ) ◦ 広告を表示してお金を稼ぎたいサイトやアプリ • ユーザー ◦ メディアとそこに表示される広告を見て、実際に商品を買う人々 20
21. Web広告の仕組み 21 広告主 メディア ユーザー ターゲットのユーザーだけに 広告を出したいなぁ 広告枠をうまく運用して広告 収益を拡大させたいなぁ 興味のある広告だけ見たい なぁ 広告出稿費 情報 商品売上
22. Web広告の仕組み パターン1 予約型広告：決まった期間の間、同じ広告を表示する方法 　　　　　　　　　　　画像/動画が表示できればいいので、最悪広告システムは不要 22 ユーザー 配信 広告主 メディア SALE 入稿 SALE
23. Web広告の仕組み 23 パターン2 運用型広告：オークションを通して広告を売買する方法 　　　　　　　　　　　DSP / SSP という2システムがオークションする ①広告リクエスト ⑤DSP Aの広告タグ ②BidRequest ②BidRequest ③BidResponse ③BidResponse SSP メディア DSP1 DSP2 120円 80円 120円の車 広告を表示
24. Web広告の仕組み それぞれのメリット 予約型広告 • システムがシンプル ◦ = レスポンスが早い(サーバー負荷が低い) ◦ = 利用料が安い 運用型広告 • オークションの原理が働く ◦ 自分が買いたいものだけ買う = ターゲティングが行える 24
25. Web広告の仕組み 25 24,801億円 21,189億円 2,647億円 965億円 2022年 日本のインターネット広告媒体費 「2022年 日本の広告費 インターネット広告媒体費 詳細分析」電通 2023/3/14 を元に生成 https://www.dentsu.co.jp/news/release/2023/0314-010594.html
26. 26 アドテクで解決すること
27. アドテクで解決すること アドテクで解決すること • メディアにとって最大限の収益 ◦ 一番広告価格が高い広告主とのマッチング • 広告主にとって最大限の効果 ◦ 一番広告効果の高いメディアとのマッチング • 誰にとっても無価値な広告をゼロに 27
28. アドテクで解決すること 無価値な広告とは • 視聴ユーザー的に、 ◦ ユーザビリティを損なう表示 ◦ 興味関心が全くない内容 • メディア的に、 ◦ 違法な商材 • 広告主的に、 ◦ 見込み顧客にならない人への配信 ◦ Botによる表示やクリック ◦ 違法サイト • など... 28
29. アドテクで解決すること 無価値な広告とは • 視聴ユーザー的に、 ◦ ユーザビリティを損なう表示　　　　→　メディアターゲティング ◦ 興味関心が全くない内容　　　　　　→　ユーザーターゲティング • メディア的に、 ◦ 違法な/不適切な商材　　　　　　　 →　手動/自動の広告審査、肌色検知 • 広告主的に、 ◦ 見込み顧客にならない人への配信　　→　ユーザーターゲティング ◦ Botによる表示やクリック　　　　　 →　Bot検知、メディアターゲティング ◦ 違法サイト　　　　　　　　　　　　→　メディアターゲティング、不正取引検知 • など... 29
30. SupershipのWeb広告のプロダクト Supershipでは以下のような広告プロダクトを開発運用しています 30 DSP (Demand Side Platform) SSP (Supply Side Platform) DMP (Data Management Platform)
31. 31 アドテクを支える技術
32. トラフィックの流れ 32 SSP DSP1 DSP2 ①広告くれ ②案件くれ
33. トラフィックの流れ 33 SSP DSP1 DSP2 ③案件の探索 ・日本車A社 ・化粧品B社 ・おむつC社
34. トラフィックの流れ 34 SSP DSP1 DSP2 ⑤一番高いやつ やる ④案件やる
35. 35 Q: Webページの表示に 何秒待てますか？ https://gigazine.biz/word-advertising-slot/
36. トラフィックの流れ SSP DSP1 ①広告くれ ⑤一番高いやつ やる ここが500ms(0.5秒) ネットワークレイテンシ + SSPの応答時間
37. トラフィックの流れ SSP DSP1 ①広告くれ ⑤一番高いやつ やる ここが500ms(0.5秒) ③案件くれ ④案件やる ここが100ms ネットワークレイテンシ + SSPの応答時間 ネットワークレイテンシ + DSPの応答時間
38. トラフィックの流れ SSP DSP1 ①広告くれ ⑤一番高いやつ やる ここが500ms(0.5秒) ③案件くれ ④案件やる ここが100ms ③案件の探索 ネットワークレイテンシ + SSPの応答時間 ネットワークレイテンシ + DSPの応答時間 DSPの応答時間 何秒使えるか？
39. トラフィックの流れ SSP DSP1 ①広告くれ ⑤一番高いやつ やる ここが500ms(0.5秒) ③案件くれ ④案件やる ここが100ms ③案件の探索 ネットワークレイテンシ + SSPの応答時間 ネットワークレイテンシ + DSPの応答時間 DSPの応答時間 何秒使えるか？ → 40ms
40. 40 40msの世界
41. 40msの世界 40msの間にやること 41 他社DSPの落札価格を予想し、自分が入札する価格を決定 そのユーザーが一番クリック/購入しそうな案件を選ぶ 配信期間中の広告案件(商品)の中からターゲティングにマッチす るものを選択 ブラウザ、UserAgent、IPアドレス、Cookieなどの識別
42. 40msの世界 40msを支える技術 • そもそも動作が速い言語で書く ◦ Scaleout/AdGenerationの場合はC++ • 高速なDatabaseを使う ◦ Scaleout/AdGenerationの場合はオンメモリDBにKeyValueの形で保持 • リクエストの内容をflag化して足切りを行う ◦ stringとして処理するのではなく、予めbooleanやintの形に変換して無駄な文字列マッチなど なくす • 40ms超えそうな場合は途中で探索を止めてレスポンスを返す ◦ 案件探索のアルゴリズムを最後まで流すのではなく、途中で打ち切ってレスポンスを返す • など 42
43. 43 20万req/sec と PB級データの世界
44. 20万 request / secの世界 1メディアに複数枠広告が表示される • 右のGigazineの例だと4箇所表示されるので、4回広 告リクエストが発生する ◦ 通常Webサイト/アプリの数倍〜十数倍のトラ フィックが発生する • 夜中でもそこそこのトラフィックが発生する 44 https://gigazine.biz/word-advertising-slot/
45. 20万 request / secの世界 3月の広告リクエスト実績：4000億 rquest • 平均 15万 request / sec • ピーク時 20万 request / sec 以上 • 広告動画/画像配信に使っているCDNは毎月 2PB 以上 45 サーバー稼働費 = 原価になるため、 大量トラフィックを 安く かつ 確実に さばく必要がある (広告がタイムアウトして白い枠がWebサイトに表示されるのは事故)
46. 20万 request / secの世界 近年Live配信、特にスポーツ中継の地上波/Web同時配信が盛んになっている スポーツLive配信 • 時には数百万同時接続を見込む必要がある ◦ Youtubeや見逃し配信などのVODコンテンツはユーザーの任意のタイミングで視聴を開始する ため、CMタイミングが分散される ◦ Live配信ではサッカーハーフタイムなど、視聴者全員が同じタイミングでCMに入るため、同 じタイミングで数百万リクエストを処理しないといけない • Live配信以外の広告トラフィックも当然流れるため、そっちに影響を出してはいけない 46
47. 20万 request / secの世界 24時間365日トラフィックが耐えないという特性から、通常配信はオンプレで 行っている • データセンターのサーバー約2300台を64クラスタ化して、冗長性を確保 • 各データセンターとインターネット間の通信が通常時 7Gbps / ピーク時 10Gpbsオーバーで発生、 それに耐えうるネットワークの設計、構築 • サーバー故障検知なども実施 一方Live配信時は急激なトラフィック増が起こるのでクラウドで受ける • AWS上に想定同時視聴数分のサーバーを用意 47 オンプレ/クラウドのハイブリッド基盤で運用
48. 20万 request / secの世界 用途に合わせてサーバークラスタを設計 オンプレサーバー環境 • 都心型データセンター：高価、低遅延　　　 →　配信基盤で利用 • 郊外型データセンター：割安、遅延が大きい →　クラウドデータ基盤移行前の 　　　　　　　　　　　　　　　　　　　　　　 データ基盤で利用 48 都心型DC 郊外型DC 都心で利用しているサーバーラック
49. PB級データの世界 20万 request/sec の世界ではアクセスログの処理もテクニックが必要 • 1リクエスト1行のnginxログが吐かれるとしても秒間20万行のログが追加されていき、 実際には毎時 2TB 以上のログが生成され処理されている • 3月実績で合計 1PB 以上のログ/データを保有 広告配信においてアクセスログは極めて重要 • ログ = 効果/売上の証明なので、正常にログが処理できないと売上が請求できなくなる • 広告を配信した実績をユーザや周辺システムへとフィードバックし次の広告配信に活かしてもらう のが広告配信ログの存在意義 • したがってPB級のデータをいかに早くユーザへのフィードバックループに乗せるかが重要 49
50. PB級データの世界 PB級データを数秒単位で集計するのは不可能 Supershipでは以下の仕組みで速度と精度のバランスを取っている • 配信実績のサマリはできるだけ早くユーザーにフィードバックしたいので、配信サーバ上で動作す るC++のモジュールで集計データを作って高速化 ◦ 画面表示用 • 相関する複数のイベントを使ってレポートを作る場合はGoogle Cloud上に配信ログを取り込んで大 規模分析処理にかけることでスケーラビリティを確保 ◦ CSVレポート用 50 データ量は少ないが高速なデータ処理系と、 時間はかかるが詳細なデータ処理系の2系統で運用
51. 51 最適化の世界
52. ターゲティング ターゲティングがない場合 52 PR ユーザー: 20代男性 広告主: 化粧品会社 興味がない、 というかむしろ嫌いになった お金をかけているのに、 なぜか売上が上がらない
53. ターゲティング ターゲティングがある場合 53 PR ユーザー: 20代女性 広告主: 化粧品会社 新作が知れて嬉しい 新製品が知られて嬉しい
54. ターゲティング ターゲティングがない場合 54 PR 子供 広告主: ビール会社
55. ターゲティング ターゲティングがない場合 55 PR 子供 そもそも見せてはダメ 広告主: ビール会社
56. ターゲティング ターゲティングが行えることが運用型広告の強み どのようなターゲティングを行うか？ • サイト/アプリターゲティング ◦ 特定、もしくはあるカテゴリのサイトやアプリに絞って広告を配信する • 位置情報ターゲティング ◦ IPアドレスなどを使って国や都道府県を絞る • ユーザーターゲティング ◦ Cookieを使い過去に商品サイトに来た人を絞る ◦ 社内や連携先のデータを使って性別や年代のクラスタを作成する • 類似ユーザーターゲティング ◦ 特定のユーザー属性と近しい行動をしている人に配信する 56
57. ターゲティング 類似ユーザーターゲティング • 過去の配信ログ(アクセス履歴)から、対象データ(正解データ)の行動パターンが似ているユーザーを 選び出す ◦ 少ない正解データから対象を増やせるので嬉しい • 例えば実際に化粧品を購入したユーザーグループと同じようなサイト(@cosmeなど)を見ているユー ザーグループは購入の確率が高いだろうという予測 57 https://www.adkdd.org/Papers/Tencent-Ads%3A-Interesting-Problems-and-Unique-Challenges/2019
58. 配信最適化 最適な入札戦略とは？ 広告をクリックする確率が高い人のリクエストのみを、他社をギリギリ上回る価格で入札すること そのためには以下を行い、最適な配信価格を決定する • クリックする確率の予測 • 他社の落札価格の予測 国際的な論文も出ており日々の進捗が非常に速い kaggleコンペも開催 58 https://www.kaggle.com/c/avazu-ctr-prediction
59. 59 その他のアドテクに使われる技術
60. それ以外で使われている主な技術たち • Web Backend ◦ データ基盤からのスピーディーなレポーティング ◦ 他社広告サービスとの連携 • Web Frontend ◦ 入稿画面 ◦ Webサイトに組み込んでもらうためのJSの広告SDK • Native App ◦ ゲームやアプリに組み込んでもらうための様々なフレームワーク用の広告SDKの提供 • データエンジニアリング ◦ 配信ログの集計、マーケティングでの利用 • 画像/動画処理 ◦ 広告画像の肌の露出の検知、デバイスに合わせた動画エンコード • その他 ◦ セキュリティ、データガバナンス、詐欺虚偽対策など 60
61. 61 まとめ
62. まとめ • Web広告は、インフラ、クラウド、機械学習をはじめ、Web開 発、アプリ開発などほぼ全ての技術領域の上に成り立っている • 1つの技術領域を突き詰めるもよし、広く全体を見通すでもよ し • 日常的に見かけるものだからこそ、興味があったら是非アドテ クの世界を知って欲しい 62
63. インターンシップのお知らせ 63 対象 内容 広告コース：国内最大級の広告プロダクト開発 検索コース：大量の検索ログデータを用いたサジェストシステム開発 日時 報酬 2025年卒業予定の大学生、大学院生、高専生、専門学校生 2023年8月29日（火）～2023年9月11日（月） ※平日のみの10日間 16万円 人数 14名（広告コース：8名、検索コース：6名） Supership 2023 Summer Internship（就業型インターン） ご応募はこちら Supership新卒サイト
64. 64 ご視聴ありがとうございました 去年のインターンシップ