Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
サイバーエージェントメディア事業部における推薦システム
Search
CyberAgent
PRO
February 29, 2024
Technology
0
840
サイバーエージェントメディア事業部における推薦システム
メディア統括本部/Data Science Center(DSC) 所属 MLエンジニア 松月大輔
CyberAgent
PRO
February 29, 2024
Tweet
Share
More Decks by CyberAgent
See All by CyberAgent
ABEMAにおけるLLMを用いたコンテンツベース推薦システム導入と効果検証
cyberagentdevelopers
PRO
1
790
クリエイティブ制作領域の データ活用を0から推進した話
cyberagentdevelopers
PRO
2
500
opt-in camera:カメラによる行動計測におけるオプトインの仕組みの実現
cyberagentdevelopers
PRO
2
420
競輪選手の体力を視覚化するための物体認識とデータサイエンスの融合
cyberagentdevelopers
PRO
3
380
学園アイドルマスターの アイドルをより輝かせる ライティング手法
cyberagentdevelopers
PRO
3
17k
スマートフォンGPUの特性を解析! 社内で実施予定のGPUパフォーマンスチューニング研修を紹介します!
cyberagentdevelopers
PRO
1
400
NAB Show 2024 動画技術関連レポート/ NAB Show 2024 Report
cyberagentdevelopers
PRO
3
500
CI/CDのススメ(サイバーエージェント新卒研修2024)
cyberagentdevelopers
PRO
1
140
Kubernetesのススメ(サイバーエージェント新卒研修2024)
cyberagentdevelopers
PRO
2
170
Other Decks in Technology
See All in Technology
サーバーレスAPI(API Gateway+Lambda)とNext.jsで 個人ブログを作ろう!
shuntaka
PRO
0
560
[NIKKEI Tech Talk] KDDI/KAG Scrum & Community for Engineering Training
curanosuke
2
230
5分で流し読むCloudflare Developer Platform
nkzn
1
100
コミュニティサービスに「あなたへ」フィードを リリースするまでの試行錯誤
takapy
1
160
Azure OpenAI Service Dev Day / LLMでできる!使える!生成AIエージェント
masahiro_nishimi
3
840
公共領域から学ぶ クラウド移行についてエンジニアが意識していること
kawakawa2222
0
140
実践ARMアーキテクチャ移行
pyama86
1
100
テスト・設計研修【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
170
年間一億円削減した時系列データベースのアーキテクチャ改善~不確実性の高いプロジェクトへの挑戦~
lycorptech_jp
PRO
3
2.9k
Luupの開発組織におけるインシデントマネジメントの変遷 ver.RoadtoSRENEXT2024
grimoh
1
270
Azure AI ことはじめ
tsubakimoto_s
0
130
「単なる OAuth 2.0 を認証に使うと、車が通れるほどのどでかいセキュリティー・ホールができる」のか検証してみた
terara
0
380
Featured
See All Featured
Java REST API Framework Comparison - PWX 2021
mraible
PRO
20
7.2k
Art, The Web, and Tiny UX
lynnandtonic
291
20k
10 Git Anti Patterns You Should be Aware of
lemiorhan
652
58k
GraphQLとの向き合い方2022年版
quramy
36
13k
Become a Pro
speakerdeck
PRO
15
4.8k
The World Runs on Bad Software
bkeepers
PRO
63
11k
Rails Girls Zürich Keynote
gr2m
93
13k
Building a Modern Day E-commerce SEO Strategy
aleyda
25
6.7k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
13
430
WebSockets: Embracing the real-time Web
robhawkes
59
7.2k
Reflections from 52 weeks, 52 projects
jeffersonlam
346
19k
We Have a Design System, Now What?
morganepeng
46
7k
Transcript
サイバーエージェントメ ディア事業部における推薦 システム 松⽉ ⼤輔 (Matsuzuki Daisuke)
⾃⼰紹介 • 名前︓松⽉ ⼤輔(Matsuzuki Daisuke) • 所属︓サイバーエージェント/メディア統括本部/Data Science Center(DSC) •
職種︓MLエンジニア(データサイエンティスト) • 仕事/専⾨︓CV、推薦システム、MLOps
1.メディア事業部について 2.どのように推薦システムが使⽤されているのか︖ 3.タップルの推薦について 4.ABEMAの推薦について 5.お知らせ
メディア事業部について
サイバーエージェントの事業部 メディア事業 インターネット広告事業 ゲーム事業 多彩なコンテンツを提供する新しい未来のテレビ「ABEMA」、国内最⼤ 級のブログサービス、マッチングアプリなど、インターネット産業の変化 にあわせ、多くの⽅々にお楽しみいただけるサービスを提供しています。 1998年の創業以来インターネット広告事業を展開しており、国内トップ シェアを誇ります。 広告効果を最⼤化する運⽤⼒および
クリエイティブ⼒を強みに、AIを活⽤したアドテクノロジーなど総合的な ソリューションを提供します。 ゲーム・エンターテイメント事業を主軸とし、サイバーエージェントの ゲーム事業に携わる12の⼦会社が所属。 バンドリ︕ ガールズバンドパーティ︕、NieR Re[in]carnationなど、多 数のゲームをリリースしています。
メディア事業部 動画、ブログ、公営競技、⾳楽エンタメ、ECなど約20事業のtoCサービス
どのように推薦システムが 使⽤されているのか︖
推薦システムが使われている部分
推薦システム活⽤事例 最適化 ABEMA 動画配信サービス CTVR データ 視聴履歴、ユーザーデータ 最適化 AWA ⾳楽配信サービス
CTR データ ⾳楽の好み、聴き⽅
推薦システム活⽤事例 最適化 タップル オンラインマッチングサービス マッチ率 データ ⾏動履歴、ユーザーデータ 最適化 Ameba ブログサービス
CTR データ 視聴履歴、⾔語、画像
サイバーエージェントでの推薦システム 共通ロジック 固有の課題 共通処理︓Reranking, Candidate Generator アルゴリズム︓Matrix Factoriza5on, Collabora5ve Filtering,
ANN Keywords︓MLOps, 汎⽤化, 共通化, 固有の処理︓コールドスタート問題, ランキング結果の活⽤ Keywords︓コールドスタート問題, ビジネスロジック
サイバーエージェントでの推薦システム 共通ロジック 固有の課題 共通処理︓Reranking, Candidate Generator アルゴリズム︓Matrix Factoriza5on, Collabora5ve Filtering,
ANN Keywords︓MLOps, 汎⽤化, 共通化, 固有の処理︓コールドスタート問題, ランキング結果の活⽤ Keywords︓コールドスタート問題, ビジネスロジック 今回紹介する部分
関連記事 マッチングアプリにおける推薦システム ABEMAのレコメンドにおける基盤とA/Bテスト Amebaブログにおける記事カテゴリ 付与プロジェクト
タップルの推薦について
タップルについて
タップルにおける推薦 タップルでマッチングするまで いいかも(右フリック)かイマイチ(左フリック)を選択 送ったいいかもに「ありがとう」をされるとマッチング 適切に推薦することが重要 「おすすめ」のユーザーが表⽰される マッチングが成功するとメッセージが交換可能に
相互推薦システム(RRS) 通常の推薦システム • ユーザーにアイテムを推薦 • ユーザーがアイテムを好むか否かが重要 相互推薦システム • ユーザーにユーザーを推薦 •
ユーザーとユーザーが互いに相⼿に興味を持つこと • 推薦される機会を⼈気ユーザーに集中させないこと
従来のRRS • 従来のRRSの流れ 1. 各男性から⼥性,各⼥性から男性への好みスコアの推定 (Matrix Factoriza.onなど通常の推薦システム⼿法により) 2. 双⽅向の好みから,各男性・⼥性の相互スコアを計算 3.
相互スコアの⾼い順に各男性・⼥性に異性ユーザーを推薦 • 相互スコアの計算⽅法 ・好みスコアを単純に調和平均、幾何平均などで合算 ・相互の興味の⼀致/⼈気ユーザーへの集中の緩和が⼗分でない
従来のRRS • 従来のRRSの流れ 1. 各男性から⼥性,各⼥性から男性への好みスコアの推定 (Matrix Factoriza.onなど通常の推薦システム⼿法により) 2. 双⽅向の好みから,各男性・⼥性の相互スコアを計算 3.
相互スコアの⾼い順に各男性・⼥性に異性ユーザーを推薦 • 相互スコアの計算⽅法 ・好みスコアを単純に調和平均、幾何平均などで合算 ・相互の興味の⼀致/⼈気ユーザーへの集中の緩和が⼗分でない → この2点に対応する相互スコアを「マッチング理論」の⼿法を⽤いて計算したい
TUマッチング︓Choo-Siowモデル • Choo-Siowモデル(Choo and Siow, 2006) o 結婚市場・労働市場の実証分析のため開発された経済学分野のマッチングモデル o 男性
𝑥 と⼥性 𝑦 がマッチした場合,それぞれ以下の効⽤を得るものとする︓ 𝑝$,& + 𝜖$,& − τ$,&, 𝑝&,$ + 𝜖&,$ − τ&,$ o 各男性・⼥性は,好みと市場で決まる移転額をもとに最も好む相⼿を確率的に選択する o 両側からの確率的な需要が⼀致するような移転額が存在するとき,そのマッチ確率を 𝜇!,# とする 好み推定値 推定誤差 市場で決ま る転移額 好み推定値 推定誤差 市場で決ま る転移額
TUマッチング推薦 • TUマッチング推薦 o ε の分布をガンベル分布と仮定すると、以下のアルゴリズムでマッチ確率を計算できる 1. 各男性 𝑥 と⼥性
𝑦 について、それぞれ次のように初期化: 𝐴! = 1, 𝐵" = 1 2. 以下の更新を収束するまで繰り返す 3. 各男性-⼥性ペアについて、マッチ確率を次とする: 𝜇!," = exp $!,#%$#,! & 𝐴! 𝐵" 4. このマッチ確率スコアに基づいて、各男性にスコアの⾼い順に⼥性を、⼥性には男性を推薦する
シミュレーション実験 oデータセット o⼈⼯データ︓500⼈規模の市場を作り、好みスコ アはランダム発⽣するものとする o 実データ︓タップルの男⼥1000⼈ずつをサンプ リングし、好みスコアをMatrix Factoriza/onで計算 oシミュレーション oユーザーへの推薦、いいね、マッチ⾏動を10,000
回実施 o結果 o従来⼿法と⽐較し、期待マッチ数は増加 ⼈⼯データ 実データ
続きが気になる⽅へ Tomita, Togashi, Hashizume, and Ohsaka (2023), “Fast and Examination-agnostic
Reciprocal Recommendation in Matching Markets,” RecSys. Tomita, Togashi, and Moriwaki (2022), “Matching Theory-based Recommender Systems in Online Dating ,” RecSys.
ABEMAの推薦について
ABEMAとは 新しい未来のテレビとして展開する動画配信事業。 国内唯⼀の24 時間編成のニュース専⾨チャンネルをはじめ、 オリジナルのドラマや恋愛番組など、多彩なジャンルを24時間365⽇放送している。
ABEMAにおける推薦 ここで何を⾒せるかがコンテンツ消費に影響する ・どのコンテンツを⾒せるか︖(推薦) ・どのサムネイルを⾒せるか︖(サムネイル)
推薦とサムネイル 推薦でCTVRを改善 コンテンツのランキング CTVRを⼀番伸ばすサムネイルは何か︖ サムネイル画像の最適化
サムネイル検証 各要素の有無、位置や⾊、内容等の影響を検証 ・ロゴ ・バッジ ・タイトル ・キャプション ・素材画像 検証の実例
評価⽅法 ABテストを実施 𝐶𝑇𝑉𝑅 = 𝑤𝑎𝑡𝑐ℎ𝑈𝑈 𝑖𝑚𝑝𝑈𝑈 ・・・① • watchUU -
サムネイルをクリックして遷移し たエピソードを試聴したUU • impUU - サムネイルが表⽰されたUU数 評価指標 • ベイズ検定 - ベータ分布から導出した事後分布の平 均の差で判定 検定⼿法
検証項⽬ 検証コンテンツ オオカミちゃんとオオカミくんには騙されない 検証場所
検証サムネイル 3つのサムネイルでABテストを実施
検証 CTVRの差が12.5% この差は何が起因しているの だろうか︖ CTVR +12.5%
仮説の設定と検証サイクル • 仮説 - 表⽰しているキャスト - キャプション - タイトルの視認性
仮説の設定と検証サイクル • タイトルの視認性の違いがCTVRの差を作るのか︖
仮説の設定と検証サイクル CTVR +19.9% CTVRの差が19.9% タイトルの視認性が重要︖
仮説の設定と検証サイクル 再現性の検証 CTVR +23.4% 別のコンテンツでは︖
検証結果 • サムネイルがコンテンツの消費に⼤きく影響する。 • タイトルの視認性が重要 • CTVR20%以上の改善 • 再現性のある結果が得られている 検証結果から、次は最適なサムネイル選択を⾃動決定することを考えたい…
続きが気になる⽅へ 資料のURL
お知らせ
インターンご案内 内容 期間 応募条件 トレーナーの指導のもと実際にプロダクトにJOINし業務の⼀部をお任せし ます。サイバーエージェントで就業するために必要なスキルや考え⽅の獲 得を⽬的としたインターンシップとなります。 通年募集 ※インターンシップ就業希望⽉の3ヶ⽉前の⽉末までにエントリーください o
応募希望職種の開発経験がある⽅ o 2025年4⽉以降に⼊社可能な学⽣ o ⾼い意欲を持ち、主体的かつ積極的に取り組むことができる⽅
本選考エントリー受付中【全職種/通年募集】 選考サイトではサイバーエージェントの若⼿の活躍事例、 社員の様々なキャリアパスのご紹介等コンテンツも充実。 エントリーをお待ちしております︕
ありがとうございました
Appendix