Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
サイバーエージェントメディア事業部における推薦システム
Search
CyberAgent
PRO
February 29, 2024
Technology
0
890
サイバーエージェントメディア事業部における推薦システム
メディア統括本部/Data Science Center(DSC) 所属 MLエンジニア 松月大輔
CyberAgent
PRO
February 29, 2024
Tweet
Share
More Decks by CyberAgent
See All by CyberAgent
FastlyとfalcoでNode.jsレスなWebサーバーの構築: IPTV版ABEMAアプリのインフラ刷新
cyberagentdevelopers
PRO
1
17
Amebaチョイス立ち上げの裏側 ~ 依存システムとの闘い ~
cyberagentdevelopers
PRO
1
21
マイグレーションコード自作して File-Based Routing に自動移行!! ~250 ページの歴史的経緯を添えて~
cyberagentdevelopers
PRO
1
16
コードメトリクス計測による課題可視化と品質確保
cyberagentdevelopers
PRO
1
26
サイバーエージェントにおけるインナーソーシングの取り組み
cyberagentdevelopers
PRO
3
110
ABEMAにおけるLLMを用いたコンテンツベース推薦システム導入と効果検証
cyberagentdevelopers
PRO
6
2.8k
クリエイティブ制作領域の データ活用を0から推進した話
cyberagentdevelopers
PRO
2
810
opt-in camera:カメラによる行動計測におけるオプトインの仕組みの実現
cyberagentdevelopers
PRO
2
780
競輪選手の体力を視覚化するための物体認識とデータサイエンスの融合
cyberagentdevelopers
PRO
3
1.1k
Other Decks in Technology
See All in Technology
エンジニア採用ノウハウ0から継続的な採用に至るまで / Try recruiting engineers
ohageeq
0
130
データウェアハウス製品のSnowflakeでPythonが動くって知ってました?
foursue
1
150
[RSJ24] Object Segmentation from Open-Vocabulary Manipulation Instructions Based on Optimal Transport Polygon Matching with Foundation Models
keio_smilab
PRO
0
120
目標設定と習慣化で今よりも一歩生産性を上げる
sansantech
PRO
6
2.2k
PlaywrightによるE2Eテスト入門 / Introduction to E2E Testing with Playwright
rhumie
3
690
SHIFTの課題と目指したい組織像 / 20240827 Rinto Ikenoue
shift_evolve
0
140
Our Journey from in-House CD System to Open Source
ffjlabo
0
100
実践ジオフェンス 効率的に開発するために
navitimejapan
PRO
2
120
バックログを導入し やっぱやめた話
ota42y
0
150
RAGHack: Kickoff and RAG 101
pamelafox
0
160
New Relicで実践する外形監視
aeonpeople
1
110
「名前解決」から振り返るAmazon VPC
yuki_ink
0
320
Featured
See All Featured
In The Pink: A Labor of Love
frogandcode
139
22k
A Tale of Four Properties
chriscoyier
155
22k
The Illustrated Children's Guide to Kubernetes
chrisshort
46
48k
Designing for Performance
lara
604
68k
Building an army of robots
kneath
302
42k
YesSQL, Process and Tooling at Scale
rocio
167
14k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
22
3.9k
Imperfection Machines: The Place of Print at Facebook
scottboms
263
13k
WebSockets: Embracing the real-time Web
robhawkes
59
7.3k
The Straight Up "How To Draw Better" Workshop
denniskardys
230
130k
How to name files
jennybc
75
97k
We Have a Design System, Now What?
morganepeng
48
7.1k
Transcript
サイバーエージェントメ ディア事業部における推薦 システム 松⽉ ⼤輔 (Matsuzuki Daisuke)
⾃⼰紹介 • 名前︓松⽉ ⼤輔(Matsuzuki Daisuke) • 所属︓サイバーエージェント/メディア統括本部/Data Science Center(DSC) •
職種︓MLエンジニア(データサイエンティスト) • 仕事/専⾨︓CV、推薦システム、MLOps
1.メディア事業部について 2.どのように推薦システムが使⽤されているのか︖ 3.タップルの推薦について 4.ABEMAの推薦について 5.お知らせ
メディア事業部について
サイバーエージェントの事業部 メディア事業 インターネット広告事業 ゲーム事業 多彩なコンテンツを提供する新しい未来のテレビ「ABEMA」、国内最⼤ 級のブログサービス、マッチングアプリなど、インターネット産業の変化 にあわせ、多くの⽅々にお楽しみいただけるサービスを提供しています。 1998年の創業以来インターネット広告事業を展開しており、国内トップ シェアを誇ります。 広告効果を最⼤化する運⽤⼒および
クリエイティブ⼒を強みに、AIを活⽤したアドテクノロジーなど総合的な ソリューションを提供します。 ゲーム・エンターテイメント事業を主軸とし、サイバーエージェントの ゲーム事業に携わる12の⼦会社が所属。 バンドリ︕ ガールズバンドパーティ︕、NieR Re[in]carnationなど、多 数のゲームをリリースしています。
メディア事業部 動画、ブログ、公営競技、⾳楽エンタメ、ECなど約20事業のtoCサービス
どのように推薦システムが 使⽤されているのか︖
推薦システムが使われている部分
推薦システム活⽤事例 最適化 ABEMA 動画配信サービス CTVR データ 視聴履歴、ユーザーデータ 最適化 AWA ⾳楽配信サービス
CTR データ ⾳楽の好み、聴き⽅
推薦システム活⽤事例 最適化 タップル オンラインマッチングサービス マッチ率 データ ⾏動履歴、ユーザーデータ 最適化 Ameba ブログサービス
CTR データ 視聴履歴、⾔語、画像
サイバーエージェントでの推薦システム 共通ロジック 固有の課題 共通処理︓Reranking, Candidate Generator アルゴリズム︓Matrix Factoriza5on, Collabora5ve Filtering,
ANN Keywords︓MLOps, 汎⽤化, 共通化, 固有の処理︓コールドスタート問題, ランキング結果の活⽤ Keywords︓コールドスタート問題, ビジネスロジック
サイバーエージェントでの推薦システム 共通ロジック 固有の課題 共通処理︓Reranking, Candidate Generator アルゴリズム︓Matrix Factoriza5on, Collabora5ve Filtering,
ANN Keywords︓MLOps, 汎⽤化, 共通化, 固有の処理︓コールドスタート問題, ランキング結果の活⽤ Keywords︓コールドスタート問題, ビジネスロジック 今回紹介する部分
関連記事 マッチングアプリにおける推薦システム ABEMAのレコメンドにおける基盤とA/Bテスト Amebaブログにおける記事カテゴリ 付与プロジェクト
タップルの推薦について
タップルについて
タップルにおける推薦 タップルでマッチングするまで いいかも(右フリック)かイマイチ(左フリック)を選択 送ったいいかもに「ありがとう」をされるとマッチング 適切に推薦することが重要 「おすすめ」のユーザーが表⽰される マッチングが成功するとメッセージが交換可能に
相互推薦システム(RRS) 通常の推薦システム • ユーザーにアイテムを推薦 • ユーザーがアイテムを好むか否かが重要 相互推薦システム • ユーザーにユーザーを推薦 •
ユーザーとユーザーが互いに相⼿に興味を持つこと • 推薦される機会を⼈気ユーザーに集中させないこと
従来のRRS • 従来のRRSの流れ 1. 各男性から⼥性,各⼥性から男性への好みスコアの推定 (Matrix Factoriza.onなど通常の推薦システム⼿法により) 2. 双⽅向の好みから,各男性・⼥性の相互スコアを計算 3.
相互スコアの⾼い順に各男性・⼥性に異性ユーザーを推薦 • 相互スコアの計算⽅法 ・好みスコアを単純に調和平均、幾何平均などで合算 ・相互の興味の⼀致/⼈気ユーザーへの集中の緩和が⼗分でない
従来のRRS • 従来のRRSの流れ 1. 各男性から⼥性,各⼥性から男性への好みスコアの推定 (Matrix Factoriza.onなど通常の推薦システム⼿法により) 2. 双⽅向の好みから,各男性・⼥性の相互スコアを計算 3.
相互スコアの⾼い順に各男性・⼥性に異性ユーザーを推薦 • 相互スコアの計算⽅法 ・好みスコアを単純に調和平均、幾何平均などで合算 ・相互の興味の⼀致/⼈気ユーザーへの集中の緩和が⼗分でない → この2点に対応する相互スコアを「マッチング理論」の⼿法を⽤いて計算したい
TUマッチング︓Choo-Siowモデル • Choo-Siowモデル(Choo and Siow, 2006) o 結婚市場・労働市場の実証分析のため開発された経済学分野のマッチングモデル o 男性
𝑥 と⼥性 𝑦 がマッチした場合,それぞれ以下の効⽤を得るものとする︓ 𝑝$,& + 𝜖$,& − τ$,&, 𝑝&,$ + 𝜖&,$ − τ&,$ o 各男性・⼥性は,好みと市場で決まる移転額をもとに最も好む相⼿を確率的に選択する o 両側からの確率的な需要が⼀致するような移転額が存在するとき,そのマッチ確率を 𝜇!,# とする 好み推定値 推定誤差 市場で決ま る転移額 好み推定値 推定誤差 市場で決ま る転移額
TUマッチング推薦 • TUマッチング推薦 o ε の分布をガンベル分布と仮定すると、以下のアルゴリズムでマッチ確率を計算できる 1. 各男性 𝑥 と⼥性
𝑦 について、それぞれ次のように初期化: 𝐴! = 1, 𝐵" = 1 2. 以下の更新を収束するまで繰り返す 3. 各男性-⼥性ペアについて、マッチ確率を次とする: 𝜇!," = exp $!,#%$#,! & 𝐴! 𝐵" 4. このマッチ確率スコアに基づいて、各男性にスコアの⾼い順に⼥性を、⼥性には男性を推薦する
シミュレーション実験 oデータセット o⼈⼯データ︓500⼈規模の市場を作り、好みスコ アはランダム発⽣するものとする o 実データ︓タップルの男⼥1000⼈ずつをサンプ リングし、好みスコアをMatrix Factoriza/onで計算 oシミュレーション oユーザーへの推薦、いいね、マッチ⾏動を10,000
回実施 o結果 o従来⼿法と⽐較し、期待マッチ数は増加 ⼈⼯データ 実データ
続きが気になる⽅へ Tomita, Togashi, Hashizume, and Ohsaka (2023), “Fast and Examination-agnostic
Reciprocal Recommendation in Matching Markets,” RecSys. Tomita, Togashi, and Moriwaki (2022), “Matching Theory-based Recommender Systems in Online Dating ,” RecSys.
ABEMAの推薦について
ABEMAとは 新しい未来のテレビとして展開する動画配信事業。 国内唯⼀の24 時間編成のニュース専⾨チャンネルをはじめ、 オリジナルのドラマや恋愛番組など、多彩なジャンルを24時間365⽇放送している。
ABEMAにおける推薦 ここで何を⾒せるかがコンテンツ消費に影響する ・どのコンテンツを⾒せるか︖(推薦) ・どのサムネイルを⾒せるか︖(サムネイル)
推薦とサムネイル 推薦でCTVRを改善 コンテンツのランキング CTVRを⼀番伸ばすサムネイルは何か︖ サムネイル画像の最適化
サムネイル検証 各要素の有無、位置や⾊、内容等の影響を検証 ・ロゴ ・バッジ ・タイトル ・キャプション ・素材画像 検証の実例
評価⽅法 ABテストを実施 𝐶𝑇𝑉𝑅 = 𝑤𝑎𝑡𝑐ℎ𝑈𝑈 𝑖𝑚𝑝𝑈𝑈 ・・・① • watchUU -
サムネイルをクリックして遷移し たエピソードを試聴したUU • impUU - サムネイルが表⽰されたUU数 評価指標 • ベイズ検定 - ベータ分布から導出した事後分布の平 均の差で判定 検定⼿法
検証項⽬ 検証コンテンツ オオカミちゃんとオオカミくんには騙されない 検証場所
検証サムネイル 3つのサムネイルでABテストを実施
検証 CTVRの差が12.5% この差は何が起因しているの だろうか︖ CTVR +12.5%
仮説の設定と検証サイクル • 仮説 - 表⽰しているキャスト - キャプション - タイトルの視認性
仮説の設定と検証サイクル • タイトルの視認性の違いがCTVRの差を作るのか︖
仮説の設定と検証サイクル CTVR +19.9% CTVRの差が19.9% タイトルの視認性が重要︖
仮説の設定と検証サイクル 再現性の検証 CTVR +23.4% 別のコンテンツでは︖
検証結果 • サムネイルがコンテンツの消費に⼤きく影響する。 • タイトルの視認性が重要 • CTVR20%以上の改善 • 再現性のある結果が得られている 検証結果から、次は最適なサムネイル選択を⾃動決定することを考えたい…
続きが気になる⽅へ 資料のURL
お知らせ
インターンご案内 内容 期間 応募条件 トレーナーの指導のもと実際にプロダクトにJOINし業務の⼀部をお任せし ます。サイバーエージェントで就業するために必要なスキルや考え⽅の獲 得を⽬的としたインターンシップとなります。 通年募集 ※インターンシップ就業希望⽉の3ヶ⽉前の⽉末までにエントリーください o
応募希望職種の開発経験がある⽅ o 2025年4⽉以降に⼊社可能な学⽣ o ⾼い意欲を持ち、主体的かつ積極的に取り組むことができる⽅
本選考エントリー受付中【全職種/通年募集】 選考サイトではサイバーエージェントの若⼿の活躍事例、 社員の様々なキャリアパスのご紹介等コンテンツも充実。 エントリーをお待ちしております︕
ありがとうございました
Appendix