AdKDD2025 Keynote から見る広告ランキングシステムのトレンド

2025年8月に開催されたデータマイニング関連の国際会議 KDD 2025 で発表された論文の 論文読み会 における発表資料です。

インターネット広告領域に焦点を当てたワークショップである AdKDD 2025 における Meta, Pinterest の Keynote から見る、広告ランキングシステムにおけるトレンドを紹介します。

Transcript

1. © LY Corporation Public AdKDD2025 Keynote から見る 広告ランキングシステムのトレンド 2025/10/09 LINEヤフー株式会社 江島 昇太 | Shota Ejima
2. © LY Corporation Public Agenda 01 自己紹介 02 AdKDD とは 03 広告配信におけるランキングシステム 04 Keynote by Meta 05 Keynote by Pinterest 06 まとめ 07 参考文献 08 Appendix 2
3. © LY Corporation Public 江島 昇太 | Shota Ejima AD R&D Unit / Research Division Div Lead 3 • 2019年 • 大学院卒業後、ヤフー株式会社に新卒入社 • 研究領域： Web Science • 2019年 ~ 2022年 • 広告領域のデータエンジニアチームに配属 • ETL Pipeline, DataLake, DWH 構築 など • 2022年 ~ 2024年 • 広告領域の機械学習エンジニアチームへ異動 • 広告配信で利用する機械学習モデルに対する プライバシー規制への対応 など • 2024年 ~ 現在 • 広告領域のデータサイエンス観点での R&D を行うチームのマネージャー
4. © LY Corporation Public AdKDD とは 4
5. © LY Corporation Public • インターネット広告領域における理論や機械学習の応用に焦点を当てたワークショップ • RTB (Real-Time Bidding) • CTR予測・CVR予測 • オークション • 予算制御 • 入札戦略 • 審査・不正検知 • プライバシー保護 • etc .... • 初開催は 2007年、以後毎年開催（歴史がある） • ネット企業をはじめとした産業界と大学などの研究機関の結びつきが強い • ワークショップに accept された論文の発表と Keynote の発表から構成される 5 AdKDD とは https://www.adkdd.org/
6. © LY Corporation Public 6 AdKDD 2025 Keynote https://www.adkdd.org/ より引用 Today’s topic Today’s topic User Journey と 広告配信 検索広告における positional auction の未来 広告ランキングシステムの スケーリング
7. © LY Corporation Public 広告配信における ランキングシステム 7
8. © LY Corporation Public 8 広告配信におけるステークホルダー Ad Slot User 広告を閲覧する Ads Platform 配信する広告を決定する （オークション） Media 広告配信枠を提供する Ad A Ad B Ad C Advertisers 広告を入稿する 入札 配信 訪問 広告リクエスト News Site
9. © LY Corporation Public Rank Score = 期待報酬 として、これが最も大きい広告に配信機会を与える 9 古典的な広告配信 1000円 x 0.01 = 10円 入札額 𝑏𝑖𝑑 クリック確率 𝑝𝐶𝑇𝑅 期待収益 𝑒𝐶𝑃𝑀 500円 x 0.05 = 25円 200円 x 0.03 = 6円 Winner! ※1 クリック課金広告を想定している ※2 ここでは eCPM は単に 1 impression あたりの期待収益を表すものとする Ad A Ad B Ad C
10. © LY Corporation Public 各ステークホルダーの利益を最大化するために Rank Score は様々なモデルの予測値を含み複雑化 10 現代の広告配信 Ad Slot User Ads Platform Media Ad A Advertisers 自分の興味関心に 合った広告を見たい メディア価値やエンゲー ジメントを最大化したい 広告収益を最大化したい 広告効果を最大化したい 楽に運用したい Rank Score = 𝑓(𝑝𝐶𝑇𝑅, 𝑝𝐶𝑉𝑅, 𝑡𝐶𝑃𝐴, 𝑏𝑢𝑑𝑔𝑒𝑡, 𝑄𝑢𝑎𝑙𝑖𝑡𝑦, 𝐸𝑛𝑔𝑎𝑔𝑒𝑚𝑒𝑛𝑡, … ) News Site
11. © LY Corporation Public • 現代のインターネット広告における大きな焦点は パーソナライズ にあると考える • より高度にパーソナライズされた広告配信が「誰もが得をする」ことに繋がる • Rank Score を構成する様々なモデルがユーザの嗜好を反映し正確に予測できることが必要 • どのようにしてユーザの嗜好をモデルに学習させ、精度向上を目指すのか？ 11 現代の広告配信の目指すところ What do you like?
12. © LY Corporation Public Keynote by Meta “Ads Ranking at Scale” Wenlin Chen（Director of Engineering at Meta) 12
13. © LY Corporation Public • Meta はモデルの計算量(x軸)とモデルの精 度(y軸)の間に Scaling law が存在すること を発見した • スケーリング • モデルを巨大化させる • 学習データを増やす • 学習時間（epoch数）を増やす 13 Scaling law AdKDD2025 Keynote スライドから引用
14. © LY Corporation Public • Foundation Model： 膨大なデータを用いて事前 学習された汎用モデル • ここでは、Meta が持つあらゆるデータを用いて ユーザの興味関心・趣味嗜好などの特徴を表した リッチな分散表現（User Embedding）を得るた めの巨大なモデルを表す • Foundation Model から得られた User Embedding が広告ランキングシステムをはじめ としてあらゆる Downstream task で特徴量とし て活用される 14 Large-scale Foundation Model 巨大化によってリッチなユーザ表現を得る これを活用し高度なパーソナライズを実現 AdKDD2025 Keynote スライドから引用
15. © LY Corporation Public • Data • 37億人のユーザが生み出す「ほとんどすべてのログ」を活用 • 様々な Meta のサービスから生み出されるマルチモーダルな数兆レコードの学習データ • 1年以上の長期間の時系列データを利用 • Model • Downstream task のアクション確率予測のマルチタスク学習になってることが多そう • パラメータ数 1兆 • アーキテクチャは Wukong * を巨大化したもの（Sequence Learning + Factorization Machine + MLP） • Training • 数千〜数万の GPU で処理 • バッチサイズは 100万〜 • 学習期間は 1ヶ月 • 今はオフライン学習だが、オンライン学習を研究中 15 Large-scale Foundation Model * Buyun Zhang, et al. Wukong: towards a scaling law for large-scale recommendation. In Proceedings of ICML'24
16. © LY Corporation Public • あらゆる Downstream task で Foundation Model から得られた User Embedding を活用する • 広告配信モデル（CTR予測, CVR予測, …） • コンテンツ配信モデル（Reels, Feed, …） • Foundation Model の改善があらゆる Downstream task の精度改善に効いてくる • Ads Retrieval Models: • 膨大な広告在庫から少量の候補を素早く選択 • レイテンシ制約が厳しくモデルを巨大化しづ らいため、特徴量としてリッチな User Embedding の恩恵をより受けやすい • Ads Ranking Models: • 候補の中から精緻なランキングを行い実際に 表示する広告を決定 Downstream tasks AdKDD2025 Keynote スライドから引用 16
17. © LY Corporation Public 17 関連する Meta の取り組み in KDD’25 • DV365: Extremely Long User History Modeling at Instagram (Lyu et al., KDD’25) • ユーザの長期間のログから Embedding を得るための Foundation Model の話 • Instagram のコンテンツの CTR 予測をはじめ様々な Downstream task で使う • DV365 の他にも様々な Embedding が使われているが、これが一番 Importance が高い らしい （著者談） • SIDE: Semantic ID Embedding for effective learning from sequences (Ramasamy et al., KDD’25) • Foundation Model から得られる User Embedding などのデータはストレージコストや 推論コストを圧迫する • 量子化して効率的に保存・活用できるようにしようという話 • Embedding よりも離散的な Semantic ID という表現体型との組み合わせを提案 • Meta の研究はどの発表も大人気で、常に質問攻めにあっていた
18. © LY Corporation Public 18 Q&A • Q. 普通の企業は、Meta のように数十億人のユーザ・数兆の学習データ・数万の GPU は持っ ていない。そのような企業は、どうやって ML モデルの精度を改善していけばよいのか？ • A. • サプライチェーンの問題で GPU の確保が難しいのはわかる • Meta では、アーキテクチャ（モデル間の接続等）は複雑だが、モデル自体はシンプルな ものを使うようにしている • スモールなデータしかない企業は、まずは Feature Engineering をしっかりやるといった ところから頑張ると良いんじゃないか • 自前で Foundation Model を学習するのが難しい場合は、学習済みの LLM を使うという のも一つの手である • ただし、 LLM の推論コストの高さは課題になるかもしれない
19. © LY Corporation Public Keynote by Pinterest ”From Inspiration to Checkout” Mita Mahadevan (VP of Engineering at Pinterest) 19
20. © LY Corporation Public • レシピ、インテリア、ファッションなどの画像・動画共有 SNS • 北米では Instagram の競合というような扱い • シリコンバレーのテック企業の一つ • 最近様々な会議で論文を見かけることが多く、Tech Blog なども活発でテック企業としての 情報発信に力を入れていそう 20 Pinterest https://jp.pinterest.com より引用
21. © LY Corporation Public • ユーザのショッピング行動は 非常に Multiple Journey である • ユーザが今何を欲しいのか正確に教えてく れるわけではない • A を見た後に でも実際には B を買うと いった行動もよくある • ユーザのファネル移動を捉えて 適切なタイミ ングでその瞬間の意図にあった適切な広告を配 信したい Multiple User Journeys Sequence Learning を活用してユーザ の興味の変遷を捉え、高度なパーソナ ライズを実現する AdKDD2025 Keynote スライドから引用 21
22. © LY Corporation Public • Sequence Learning： 順序を持った系列デー タから学習する手法 • ユーザの行動履歴を時系列で扱い、興味関心 の推移を捉える • 中間表現として User Embedding を得て Downstream task で活用 • 長期的な関心と短期的な(直近の)関心を表現 するモデルを別々に学習させる * • Long-Term Interest • Transformer encoder • Short-Term Interest • Deep Interest Network (DIN) Sequence Learning * User Action Sequence Modeling for Pinterest Ads Engagement Modeling, 2024 AdKDD2025 Keynote スライドから引用 22
23. © LY Corporation Public • 「ユーザが今 Pinterest のどこで何をしているのか」 がユーザの意図を反映するメディア設計 • Home Feed = Upper Funnel (暇つぶし) • Search = Middle Funnel (何かを探している) • Related = Lower Funnel (特定の商品に興味あり) ファネルと連動したメディア設計 Lower Middle Upper 高 低 興味度 ユーザ数 AdKDD2025 Keynote スライドから引用 23
24. © LY Corporation Public まとめ 24
25. © LY Corporation Public • 現代の広告配信は高度なパーソナライズが重要である • パーソナライズされた広告配信を実現するために Foundation Model, Sequence Learning を活用して User Embedding を抽出し あらゆる Downstream task の特徴量として活用す ることでモデルにユーザの嗜好を反映させることがトレンドとなっている • 広告配信のみならずコンテンツのレコメンドなどにも活用できることから Recommendation System 全般の文脈で研究されている • Meta の報告した Scaling law が正しいとすると、 User Embedding を得るモデルをどうやっ て巨大にしていくかは今後のホットトピックになりそう 25 Take Away
26. © LY Corporation Public • 使い分けは？ • Foundation Model： • 1年以上など長期間の学習データを活用することでユーザの 長期的・恒常的・潜在的な嗜好を抽出する • オンラインで Embedding を更新していくことは（まだ）あまりなさそう • Sequence Learning： • Foundation Model と比較すると、短期的な興味関心の変遷やその瞬間の意図を捉える • ユーザの新たな行動が起こるたびにオンラインで Embedding を更新可能 26 Foundation Model と Sequence Learning
27. © LY Corporation Public 参考文献 27
28. © LY Corporation Public 28 参考文献 • Meta • DV365: Extremely Long User History Modeling at Instagram (Lyu et al., KDD’25) • SIDE: Semantic ID Embedding for effective learning from sequences (Ramasamy et al., KDD’25) • Wukong: Towards a Scaling Law for Large-Scale Recommendation (Zhang et al., ICML’24) • Scaling User Modeling: Large-scale Online User Representations for Ads Personalization in Meta (Zhang et al., WWW’24) • Sequence learning: A paradigm shift for personalized ads recommendations (Reddy et al., Engineering at Meta ’24) • Pinterest • Synergizing Implicit and Explicit User Interests: A Multi-Embedding Retrieval Framework at Pinterest (Fan et al., KDD’25) • User Action Sequence Modeling for Pinterest Ads Engagement Modeling (Lei et al., Pinterest Engineering Blog ’24) • PinnerFormer: Sequence Modeling for User Representation at Pinterest (Pancha et al., KDD’22)
29. © LY Corporation Public Thank You!
30. © LY Corporation Public
31. © LY Corporation Public Appendix 31
32. © LY Corporation Public https://www.adkdd.org/papers/2025 32 AdKDD2025 論文雑感 • 採択論文数: 10件（うち、現地での発表は 9件） • CTR, CVR 予測などの予測モデルの改善を通じた広告配信パフォーマンスの向上がテーマの論 文が半分以上 • 広告売上とユーザ満足度、広告売上とOrganic Contents の売上といったトレードオフの最適 化をテーマにしている、実務上よく発生する問題を取り扱った論文もあり興味深い • More Ads, Happier Shoppers: Unified-Valuation Ad Allocation at Scale (Kolbin et al.) • Profit Aware Ad Ranking with Relevance Constraint (Malgireddy et al.) • LLM を使って云々… みたいなのがもっと多いかと思ったが、そうでもなかった