Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
サイバーエージェントメディア事業部における推薦システム
Search
CyberAgent
PRO
February 29, 2024
Technology
0
1.1k
サイバーエージェントメディア事業部における推薦システム
メディア統括本部/Data Science Center(DSC) 所属 MLエンジニア 松月大輔
CyberAgent
PRO
February 29, 2024
Tweet
Share
More Decks by CyberAgent
See All by CyberAgent
The Composable Architecture (TCA) を用いたAmebaのリアーキテクチャ
cyberagentdevelopers
PRO
0
10
SwiftUI導入から1年、SwiftUI導入とVueFluxライクな状態管理
cyberagentdevelopers
PRO
0
5
大規模プロジェクトにおける段階的な技術刷新
cyberagentdevelopers
PRO
0
9
SwiftUI移行のためのインプレッショントラッキング基板の構築
cyberagentdevelopers
PRO
0
7
Unity6世代のアップデートをサラッとまとめ
cyberagentdevelopers
PRO
0
320
Unity6の新機能 STPについての話
cyberagentdevelopers
PRO
0
180
Unity 6 シェーダーWarmupガイド
cyberagentdevelopers
PRO
0
210
Unity6 の Android周辺の アップデートについて
cyberagentdevelopers
PRO
1
210
ジャンプTOONにおけるサイトマップの自動生成手法について
cyberagentdevelopers
PRO
0
63
Other Decks in Technology
See All in Technology
Ruby on Railsで持続可能な開発を行うために取り組んでいること
am1157154
3
160
事業を差別化する技術を生み出す技術
pyama86
2
450
4th place solution Eedi - Mining Misconceptions in Mathematics
rist
0
150
30→150人のエンジニア組織拡大に伴うアジャイル文化を醸成する役割と取り組みの変化
nagata03
0
240
AWSアカウントのセキュリティ自動化、どこまで進める? 最適な設計と実践ポイント
yuobayashi
7
990
Pwned Labsのすゝめ
ken5scal
2
530
いまからでも遅くない!コンテナでWebアプリを動かしてみよう!コンテナハンズオン編
nomu
0
170
IAMポリシーのAllow/Denyについて、改めて理解する
smt7174
2
210
入門 PEAK Threat Hunting @SECCON
odorusatoshi
0
170
急成長する企業で作った、エンジニアが輝ける制度/ 20250227 Rinto Ikenoue
shift_evolve
0
190
2025/3/1 公共交通オープンデータデイ2025
morohoshi
0
100
手を動かしてレベルアップしよう!
maruto
0
240
Featured
See All Featured
Reflections from 52 weeks, 52 projects
jeffersonlam
348
20k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9.3k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
27
1.9k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Typedesign – Prime Four
hannesfritz
41
2.5k
Building Flexible Design Systems
yeseniaperezcruz
328
38k
Unsuck your backbone
ammeep
669
57k
Building a Modern Day E-commerce SEO Strategy
aleyda
38
7.1k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
227
22k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
160
15k
Making Projects Easy
brettharned
116
6k
Transcript
サイバーエージェントメ ディア事業部における推薦 システム 松⽉ ⼤輔 (Matsuzuki Daisuke)
⾃⼰紹介 • 名前︓松⽉ ⼤輔(Matsuzuki Daisuke) • 所属︓サイバーエージェント/メディア統括本部/Data Science Center(DSC) •
職種︓MLエンジニア(データサイエンティスト) • 仕事/専⾨︓CV、推薦システム、MLOps
1.メディア事業部について 2.どのように推薦システムが使⽤されているのか︖ 3.タップルの推薦について 4.ABEMAの推薦について 5.お知らせ
メディア事業部について
サイバーエージェントの事業部 メディア事業 インターネット広告事業 ゲーム事業 多彩なコンテンツを提供する新しい未来のテレビ「ABEMA」、国内最⼤ 級のブログサービス、マッチングアプリなど、インターネット産業の変化 にあわせ、多くの⽅々にお楽しみいただけるサービスを提供しています。 1998年の創業以来インターネット広告事業を展開しており、国内トップ シェアを誇ります。 広告効果を最⼤化する運⽤⼒および
クリエイティブ⼒を強みに、AIを活⽤したアドテクノロジーなど総合的な ソリューションを提供します。 ゲーム・エンターテイメント事業を主軸とし、サイバーエージェントの ゲーム事業に携わる12の⼦会社が所属。 バンドリ︕ ガールズバンドパーティ︕、NieR Re[in]carnationなど、多 数のゲームをリリースしています。
メディア事業部 動画、ブログ、公営競技、⾳楽エンタメ、ECなど約20事業のtoCサービス
どのように推薦システムが 使⽤されているのか︖
推薦システムが使われている部分
推薦システム活⽤事例 最適化 ABEMA 動画配信サービス CTVR データ 視聴履歴、ユーザーデータ 最適化 AWA ⾳楽配信サービス
CTR データ ⾳楽の好み、聴き⽅
推薦システム活⽤事例 最適化 タップル オンラインマッチングサービス マッチ率 データ ⾏動履歴、ユーザーデータ 最適化 Ameba ブログサービス
CTR データ 視聴履歴、⾔語、画像
サイバーエージェントでの推薦システム 共通ロジック 固有の課題 共通処理︓Reranking, Candidate Generator アルゴリズム︓Matrix Factoriza5on, Collabora5ve Filtering,
ANN Keywords︓MLOps, 汎⽤化, 共通化, 固有の処理︓コールドスタート問題, ランキング結果の活⽤ Keywords︓コールドスタート問題, ビジネスロジック
サイバーエージェントでの推薦システム 共通ロジック 固有の課題 共通処理︓Reranking, Candidate Generator アルゴリズム︓Matrix Factoriza5on, Collabora5ve Filtering,
ANN Keywords︓MLOps, 汎⽤化, 共通化, 固有の処理︓コールドスタート問題, ランキング結果の活⽤ Keywords︓コールドスタート問題, ビジネスロジック 今回紹介する部分
関連記事 マッチングアプリにおける推薦システム ABEMAのレコメンドにおける基盤とA/Bテスト Amebaブログにおける記事カテゴリ 付与プロジェクト
タップルの推薦について
タップルについて
タップルにおける推薦 タップルでマッチングするまで いいかも(右フリック)かイマイチ(左フリック)を選択 送ったいいかもに「ありがとう」をされるとマッチング 適切に推薦することが重要 「おすすめ」のユーザーが表⽰される マッチングが成功するとメッセージが交換可能に
相互推薦システム(RRS) 通常の推薦システム • ユーザーにアイテムを推薦 • ユーザーがアイテムを好むか否かが重要 相互推薦システム • ユーザーにユーザーを推薦 •
ユーザーとユーザーが互いに相⼿に興味を持つこと • 推薦される機会を⼈気ユーザーに集中させないこと
従来のRRS • 従来のRRSの流れ 1. 各男性から⼥性,各⼥性から男性への好みスコアの推定 (Matrix Factoriza.onなど通常の推薦システム⼿法により) 2. 双⽅向の好みから,各男性・⼥性の相互スコアを計算 3.
相互スコアの⾼い順に各男性・⼥性に異性ユーザーを推薦 • 相互スコアの計算⽅法 ・好みスコアを単純に調和平均、幾何平均などで合算 ・相互の興味の⼀致/⼈気ユーザーへの集中の緩和が⼗分でない
従来のRRS • 従来のRRSの流れ 1. 各男性から⼥性,各⼥性から男性への好みスコアの推定 (Matrix Factoriza.onなど通常の推薦システム⼿法により) 2. 双⽅向の好みから,各男性・⼥性の相互スコアを計算 3.
相互スコアの⾼い順に各男性・⼥性に異性ユーザーを推薦 • 相互スコアの計算⽅法 ・好みスコアを単純に調和平均、幾何平均などで合算 ・相互の興味の⼀致/⼈気ユーザーへの集中の緩和が⼗分でない → この2点に対応する相互スコアを「マッチング理論」の⼿法を⽤いて計算したい
TUマッチング︓Choo-Siowモデル • Choo-Siowモデル(Choo and Siow, 2006) o 結婚市場・労働市場の実証分析のため開発された経済学分野のマッチングモデル o 男性
𝑥 と⼥性 𝑦 がマッチした場合,それぞれ以下の効⽤を得るものとする︓ 𝑝$,& + 𝜖$,& − τ$,&, 𝑝&,$ + 𝜖&,$ − τ&,$ o 各男性・⼥性は,好みと市場で決まる移転額をもとに最も好む相⼿を確率的に選択する o 両側からの確率的な需要が⼀致するような移転額が存在するとき,そのマッチ確率を 𝜇!,# とする 好み推定値 推定誤差 市場で決ま る転移額 好み推定値 推定誤差 市場で決ま る転移額
TUマッチング推薦 • TUマッチング推薦 o ε の分布をガンベル分布と仮定すると、以下のアルゴリズムでマッチ確率を計算できる 1. 各男性 𝑥 と⼥性
𝑦 について、それぞれ次のように初期化: 𝐴! = 1, 𝐵" = 1 2. 以下の更新を収束するまで繰り返す 3. 各男性-⼥性ペアについて、マッチ確率を次とする: 𝜇!," = exp $!,#%$#,! & 𝐴! 𝐵" 4. このマッチ確率スコアに基づいて、各男性にスコアの⾼い順に⼥性を、⼥性には男性を推薦する
シミュレーション実験 oデータセット o⼈⼯データ︓500⼈規模の市場を作り、好みスコ アはランダム発⽣するものとする o 実データ︓タップルの男⼥1000⼈ずつをサンプ リングし、好みスコアをMatrix Factoriza/onで計算 oシミュレーション oユーザーへの推薦、いいね、マッチ⾏動を10,000
回実施 o結果 o従来⼿法と⽐較し、期待マッチ数は増加 ⼈⼯データ 実データ
続きが気になる⽅へ Tomita, Togashi, Hashizume, and Ohsaka (2023), “Fast and Examination-agnostic
Reciprocal Recommendation in Matching Markets,” RecSys. Tomita, Togashi, and Moriwaki (2022), “Matching Theory-based Recommender Systems in Online Dating ,” RecSys.
ABEMAの推薦について
ABEMAとは 新しい未来のテレビとして展開する動画配信事業。 国内唯⼀の24 時間編成のニュース専⾨チャンネルをはじめ、 オリジナルのドラマや恋愛番組など、多彩なジャンルを24時間365⽇放送している。
ABEMAにおける推薦 ここで何を⾒せるかがコンテンツ消費に影響する ・どのコンテンツを⾒せるか︖(推薦) ・どのサムネイルを⾒せるか︖(サムネイル)
推薦とサムネイル 推薦でCTVRを改善 コンテンツのランキング CTVRを⼀番伸ばすサムネイルは何か︖ サムネイル画像の最適化
サムネイル検証 各要素の有無、位置や⾊、内容等の影響を検証 ・ロゴ ・バッジ ・タイトル ・キャプション ・素材画像 検証の実例
評価⽅法 ABテストを実施 𝐶𝑇𝑉𝑅 = 𝑤𝑎𝑡𝑐ℎ𝑈𝑈 𝑖𝑚𝑝𝑈𝑈 ・・・① • watchUU -
サムネイルをクリックして遷移し たエピソードを試聴したUU • impUU - サムネイルが表⽰されたUU数 評価指標 • ベイズ検定 - ベータ分布から導出した事後分布の平 均の差で判定 検定⼿法
検証項⽬ 検証コンテンツ オオカミちゃんとオオカミくんには騙されない 検証場所
検証サムネイル 3つのサムネイルでABテストを実施
検証 CTVRの差が12.5% この差は何が起因しているの だろうか︖ CTVR +12.5%
仮説の設定と検証サイクル • 仮説 - 表⽰しているキャスト - キャプション - タイトルの視認性
仮説の設定と検証サイクル • タイトルの視認性の違いがCTVRの差を作るのか︖
仮説の設定と検証サイクル CTVR +19.9% CTVRの差が19.9% タイトルの視認性が重要︖
仮説の設定と検証サイクル 再現性の検証 CTVR +23.4% 別のコンテンツでは︖
検証結果 • サムネイルがコンテンツの消費に⼤きく影響する。 • タイトルの視認性が重要 • CTVR20%以上の改善 • 再現性のある結果が得られている 検証結果から、次は最適なサムネイル選択を⾃動決定することを考えたい…
続きが気になる⽅へ 資料のURL
お知らせ
インターンご案内 内容 期間 応募条件 トレーナーの指導のもと実際にプロダクトにJOINし業務の⼀部をお任せし ます。サイバーエージェントで就業するために必要なスキルや考え⽅の獲 得を⽬的としたインターンシップとなります。 通年募集 ※インターンシップ就業希望⽉の3ヶ⽉前の⽉末までにエントリーください o
応募希望職種の開発経験がある⽅ o 2025年4⽉以降に⼊社可能な学⽣ o ⾼い意欲を持ち、主体的かつ積極的に取り組むことができる⽅
本選考エントリー受付中【全職種/通年募集】 選考サイトではサイバーエージェントの若⼿の活躍事例、 社員の様々なキャリアパスのご紹介等コンテンツも充実。 エントリーをお待ちしております︕
ありがとうございました
Appendix