Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
サイバーエージェントメディア事業部における推薦システム
Search
CyberAgent
PRO
February 29, 2024
Technology
0
1k
サイバーエージェントメディア事業部における推薦システム
メディア統括本部/Data Science Center(DSC) 所属 MLエンジニア 松月大輔
CyberAgent
PRO
February 29, 2024
Tweet
Share
More Decks by CyberAgent
See All by CyberAgent
Unity6世代のアップデートをサラッとまとめ
cyberagentdevelopers
PRO
0
46
Unity6の新機能 STPについての話
cyberagentdevelopers
PRO
0
31
Unity 6 シェーダーWarmupガイド
cyberagentdevelopers
PRO
0
18
Unity6 の Android周辺の アップデートについて
cyberagentdevelopers
PRO
0
41
ジャンプTOONにおけるサイトマップの自動生成手法について
cyberagentdevelopers
PRO
0
48
ABEMA スマートテレビアプリケーションのパフォーマンス改善: 業界トップクラスを目指して / Muddy Web #10 ~Special Edition~ 【ゲスト: pixiv】
cyberagentdevelopers
PRO
0
32
未来のテレビを形づくる ABEMAのグロース戦略:ユーザー体験と品質向上のアプローチ
cyberagentdevelopers
PRO
1
470
IBC 2024 動画技術関連レポート / IBC 2024 Report
cyberagentdevelopers
PRO
1
260
生成AIは安心・安全に貢献できるのか
cyberagentdevelopers
PRO
0
55
Other Decks in Technology
See All in Technology
オーティファイ会社紹介資料 / Autify Company Deck
autifyhq
10
120k
パフォーマンスとコスト改善のために法人データ分析基盤をBigQueryに移行した話
seiya303
1
110
Amazon GuardDuty Malware Protection for Amazon S3のここがすごい!
ryder472
1
100
Classmethod AI Talks(CATs) #15 司会進行スライド(2025.02.06) / classmethod-ai-talks-aka-cats_moderator-slides_vol15_2025-02-06
shinyaa31
0
120
AIプロダクト開発から得られた知見 - 2025年1月版
takaakikakei
0
150
生成AIの利活用を加速させるための取り組み「prAIrie-dog」/ Shibuya_AI_1
visional_engineering_and_design
1
120
パブリッククラウドのプロダクトマネジメントとアーキテクト
tagomoris
4
950
AIエージェントについてまとめてみた
pharma_x_tech
20
13k
Amazon Location Serviceを使ってラーメンマップを作る
ryder472
2
180
Active Directory の保護
eurekaberry
6
3.4k
Server Side Swift 実践レポート: 2024年に案件で採用して見えた課題と可能性
yusuga
2
460
開発者が自律的に AWS Security Hub findings に 対応する仕組みと AWS re:Invent 2024 登壇体験談 / Developers autonomously report AWS Security Hub findings Corresponding mechanism and AWS re:Invent 2024 presentation experience
kaminashi
0
120
Featured
See All Featured
Designing Experiences People Love
moore
139
23k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
4
390
Producing Creativity
orderedlist
PRO
343
39k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
8
1.3k
Making the Leap to Tech Lead
cromwellryan
133
9.1k
Git: the NoSQL Database
bkeepers
PRO
427
64k
Designing for humans not robots
tammielis
250
25k
GitHub's CSS Performance
jonrohan
1030
460k
Unsuck your backbone
ammeep
669
57k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
29
1k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.4k
Code Review Best Practice
trishagee
66
17k
Transcript
サイバーエージェントメ ディア事業部における推薦 システム 松⽉ ⼤輔 (Matsuzuki Daisuke)
⾃⼰紹介 • 名前︓松⽉ ⼤輔(Matsuzuki Daisuke) • 所属︓サイバーエージェント/メディア統括本部/Data Science Center(DSC) •
職種︓MLエンジニア(データサイエンティスト) • 仕事/専⾨︓CV、推薦システム、MLOps
1.メディア事業部について 2.どのように推薦システムが使⽤されているのか︖ 3.タップルの推薦について 4.ABEMAの推薦について 5.お知らせ
メディア事業部について
サイバーエージェントの事業部 メディア事業 インターネット広告事業 ゲーム事業 多彩なコンテンツを提供する新しい未来のテレビ「ABEMA」、国内最⼤ 級のブログサービス、マッチングアプリなど、インターネット産業の変化 にあわせ、多くの⽅々にお楽しみいただけるサービスを提供しています。 1998年の創業以来インターネット広告事業を展開しており、国内トップ シェアを誇ります。 広告効果を最⼤化する運⽤⼒および
クリエイティブ⼒を強みに、AIを活⽤したアドテクノロジーなど総合的な ソリューションを提供します。 ゲーム・エンターテイメント事業を主軸とし、サイバーエージェントの ゲーム事業に携わる12の⼦会社が所属。 バンドリ︕ ガールズバンドパーティ︕、NieR Re[in]carnationなど、多 数のゲームをリリースしています。
メディア事業部 動画、ブログ、公営競技、⾳楽エンタメ、ECなど約20事業のtoCサービス
どのように推薦システムが 使⽤されているのか︖
推薦システムが使われている部分
推薦システム活⽤事例 最適化 ABEMA 動画配信サービス CTVR データ 視聴履歴、ユーザーデータ 最適化 AWA ⾳楽配信サービス
CTR データ ⾳楽の好み、聴き⽅
推薦システム活⽤事例 最適化 タップル オンラインマッチングサービス マッチ率 データ ⾏動履歴、ユーザーデータ 最適化 Ameba ブログサービス
CTR データ 視聴履歴、⾔語、画像
サイバーエージェントでの推薦システム 共通ロジック 固有の課題 共通処理︓Reranking, Candidate Generator アルゴリズム︓Matrix Factoriza5on, Collabora5ve Filtering,
ANN Keywords︓MLOps, 汎⽤化, 共通化, 固有の処理︓コールドスタート問題, ランキング結果の活⽤ Keywords︓コールドスタート問題, ビジネスロジック
サイバーエージェントでの推薦システム 共通ロジック 固有の課題 共通処理︓Reranking, Candidate Generator アルゴリズム︓Matrix Factoriza5on, Collabora5ve Filtering,
ANN Keywords︓MLOps, 汎⽤化, 共通化, 固有の処理︓コールドスタート問題, ランキング結果の活⽤ Keywords︓コールドスタート問題, ビジネスロジック 今回紹介する部分
関連記事 マッチングアプリにおける推薦システム ABEMAのレコメンドにおける基盤とA/Bテスト Amebaブログにおける記事カテゴリ 付与プロジェクト
タップルの推薦について
タップルについて
タップルにおける推薦 タップルでマッチングするまで いいかも(右フリック)かイマイチ(左フリック)を選択 送ったいいかもに「ありがとう」をされるとマッチング 適切に推薦することが重要 「おすすめ」のユーザーが表⽰される マッチングが成功するとメッセージが交換可能に
相互推薦システム(RRS) 通常の推薦システム • ユーザーにアイテムを推薦 • ユーザーがアイテムを好むか否かが重要 相互推薦システム • ユーザーにユーザーを推薦 •
ユーザーとユーザーが互いに相⼿に興味を持つこと • 推薦される機会を⼈気ユーザーに集中させないこと
従来のRRS • 従来のRRSの流れ 1. 各男性から⼥性,各⼥性から男性への好みスコアの推定 (Matrix Factoriza.onなど通常の推薦システム⼿法により) 2. 双⽅向の好みから,各男性・⼥性の相互スコアを計算 3.
相互スコアの⾼い順に各男性・⼥性に異性ユーザーを推薦 • 相互スコアの計算⽅法 ・好みスコアを単純に調和平均、幾何平均などで合算 ・相互の興味の⼀致/⼈気ユーザーへの集中の緩和が⼗分でない
従来のRRS • 従来のRRSの流れ 1. 各男性から⼥性,各⼥性から男性への好みスコアの推定 (Matrix Factoriza.onなど通常の推薦システム⼿法により) 2. 双⽅向の好みから,各男性・⼥性の相互スコアを計算 3.
相互スコアの⾼い順に各男性・⼥性に異性ユーザーを推薦 • 相互スコアの計算⽅法 ・好みスコアを単純に調和平均、幾何平均などで合算 ・相互の興味の⼀致/⼈気ユーザーへの集中の緩和が⼗分でない → この2点に対応する相互スコアを「マッチング理論」の⼿法を⽤いて計算したい
TUマッチング︓Choo-Siowモデル • Choo-Siowモデル(Choo and Siow, 2006) o 結婚市場・労働市場の実証分析のため開発された経済学分野のマッチングモデル o 男性
𝑥 と⼥性 𝑦 がマッチした場合,それぞれ以下の効⽤を得るものとする︓ 𝑝$,& + 𝜖$,& − τ$,&, 𝑝&,$ + 𝜖&,$ − τ&,$ o 各男性・⼥性は,好みと市場で決まる移転額をもとに最も好む相⼿を確率的に選択する o 両側からの確率的な需要が⼀致するような移転額が存在するとき,そのマッチ確率を 𝜇!,# とする 好み推定値 推定誤差 市場で決ま る転移額 好み推定値 推定誤差 市場で決ま る転移額
TUマッチング推薦 • TUマッチング推薦 o ε の分布をガンベル分布と仮定すると、以下のアルゴリズムでマッチ確率を計算できる 1. 各男性 𝑥 と⼥性
𝑦 について、それぞれ次のように初期化: 𝐴! = 1, 𝐵" = 1 2. 以下の更新を収束するまで繰り返す 3. 各男性-⼥性ペアについて、マッチ確率を次とする: 𝜇!," = exp $!,#%$#,! & 𝐴! 𝐵" 4. このマッチ確率スコアに基づいて、各男性にスコアの⾼い順に⼥性を、⼥性には男性を推薦する
シミュレーション実験 oデータセット o⼈⼯データ︓500⼈規模の市場を作り、好みスコ アはランダム発⽣するものとする o 実データ︓タップルの男⼥1000⼈ずつをサンプ リングし、好みスコアをMatrix Factoriza/onで計算 oシミュレーション oユーザーへの推薦、いいね、マッチ⾏動を10,000
回実施 o結果 o従来⼿法と⽐較し、期待マッチ数は増加 ⼈⼯データ 実データ
続きが気になる⽅へ Tomita, Togashi, Hashizume, and Ohsaka (2023), “Fast and Examination-agnostic
Reciprocal Recommendation in Matching Markets,” RecSys. Tomita, Togashi, and Moriwaki (2022), “Matching Theory-based Recommender Systems in Online Dating ,” RecSys.
ABEMAの推薦について
ABEMAとは 新しい未来のテレビとして展開する動画配信事業。 国内唯⼀の24 時間編成のニュース専⾨チャンネルをはじめ、 オリジナルのドラマや恋愛番組など、多彩なジャンルを24時間365⽇放送している。
ABEMAにおける推薦 ここで何を⾒せるかがコンテンツ消費に影響する ・どのコンテンツを⾒せるか︖(推薦) ・どのサムネイルを⾒せるか︖(サムネイル)
推薦とサムネイル 推薦でCTVRを改善 コンテンツのランキング CTVRを⼀番伸ばすサムネイルは何か︖ サムネイル画像の最適化
サムネイル検証 各要素の有無、位置や⾊、内容等の影響を検証 ・ロゴ ・バッジ ・タイトル ・キャプション ・素材画像 検証の実例
評価⽅法 ABテストを実施 𝐶𝑇𝑉𝑅 = 𝑤𝑎𝑡𝑐ℎ𝑈𝑈 𝑖𝑚𝑝𝑈𝑈 ・・・① • watchUU -
サムネイルをクリックして遷移し たエピソードを試聴したUU • impUU - サムネイルが表⽰されたUU数 評価指標 • ベイズ検定 - ベータ分布から導出した事後分布の平 均の差で判定 検定⼿法
検証項⽬ 検証コンテンツ オオカミちゃんとオオカミくんには騙されない 検証場所
検証サムネイル 3つのサムネイルでABテストを実施
検証 CTVRの差が12.5% この差は何が起因しているの だろうか︖ CTVR +12.5%
仮説の設定と検証サイクル • 仮説 - 表⽰しているキャスト - キャプション - タイトルの視認性
仮説の設定と検証サイクル • タイトルの視認性の違いがCTVRの差を作るのか︖
仮説の設定と検証サイクル CTVR +19.9% CTVRの差が19.9% タイトルの視認性が重要︖
仮説の設定と検証サイクル 再現性の検証 CTVR +23.4% 別のコンテンツでは︖
検証結果 • サムネイルがコンテンツの消費に⼤きく影響する。 • タイトルの視認性が重要 • CTVR20%以上の改善 • 再現性のある結果が得られている 検証結果から、次は最適なサムネイル選択を⾃動決定することを考えたい…
続きが気になる⽅へ 資料のURL
お知らせ
インターンご案内 内容 期間 応募条件 トレーナーの指導のもと実際にプロダクトにJOINし業務の⼀部をお任せし ます。サイバーエージェントで就業するために必要なスキルや考え⽅の獲 得を⽬的としたインターンシップとなります。 通年募集 ※インターンシップ就業希望⽉の3ヶ⽉前の⽉末までにエントリーください o
応募希望職種の開発経験がある⽅ o 2025年4⽉以降に⼊社可能な学⽣ o ⾼い意欲を持ち、主体的かつ積極的に取り組むことができる⽅
本選考エントリー受付中【全職種/通年募集】 選考サイトではサイバーエージェントの若⼿の活躍事例、 社員の様々なキャリアパスのご紹介等コンテンツも充実。 エントリーをお待ちしております︕
ありがとうございました
Appendix