サイバーエージェントメディア事業部における推薦システム

メディア統括本部/Data Science Center(DSC) 所属 MLエンジニア 松月大輔

Transcript

1. サイバーエージェントメ ディア事業部における推薦 システム 松⽉ ⼤輔 (Matsuzuki Daisuke)
2. ⾃⼰紹介 • 名前︓松⽉ ⼤輔(Matsuzuki Daisuke) • 所属︓サイバーエージェント/メディア統括本部/Data Science Center(DSC) • 職種︓MLエンジニア(データサイエンティスト) • 仕事/専⾨︓CV、推薦システム、MLOps
3. 1.メディア事業部について 2.どのように推薦システムが使⽤されているのか︖ 3.タップルの推薦について 4.ABEMAの推薦について 5.お知らせ
4. メディア事業部について
5. サイバーエージェントの事業部 メディア事業 インターネット広告事業 ゲーム事業 多彩なコンテンツを提供する新しい未来のテレビ「ABEMA」、国内最⼤ 級のブログサービス、マッチングアプリなど、インターネット産業の変化 にあわせ、多くの⽅々にお楽しみいただけるサービスを提供しています。 1998年の創業以来インターネット広告事業を展開しており、国内トップ シェアを誇ります。 広告効果を最⼤化する運⽤⼒および クリエイティブ⼒を強みに、AIを活⽤したアドテクノロジーなど総合的な ソリューションを提供します。 ゲーム・エンターテイメント事業を主軸とし、サイバーエージェントの ゲーム事業に携わる12の⼦会社が所属。 バンドリ︕ ガールズバンドパーティ︕、NieR Re［in］carnationなど、多 数のゲームをリリースしています。
6. メディア事業部 動画、ブログ、公営競技、⾳楽エンタメ、ECなど約20事業のtoCサービス
7. どのように推薦システムが 使⽤されているのか︖
8. 推薦システムが使われている部分
9. 推薦システム活⽤事例 最適化 ABEMA 動画配信サービス CTVR データ 視聴履歴、ユーザーデータ 最適化 AWA ⾳楽配信サービス CTR データ ⾳楽の好み、聴き⽅
10. 推薦システム活⽤事例 最適化 タップル オンラインマッチングサービス マッチ率 データ ⾏動履歴、ユーザーデータ 最適化 Ameba ブログサービス CTR データ 視聴履歴、⾔語、画像
11. サイバーエージェントでの推薦システム 共通ロジック 固有の課題 共通処理︓Reranking, Candidate Generator アルゴリズム︓Matrix Factoriza5on, Collabora5ve Filtering, ANN Keywords︓MLOps, 汎⽤化, 共通化, 固有の処理︓コールドスタート問題, ランキング結果の活⽤ Keywords︓コールドスタート問題, ビジネスロジック
12. サイバーエージェントでの推薦システム 共通ロジック 固有の課題 共通処理︓Reranking, Candidate Generator アルゴリズム︓Matrix Factoriza5on, Collabora5ve Filtering, ANN Keywords︓MLOps, 汎⽤化, 共通化, 固有の処理︓コールドスタート問題, ランキング結果の活⽤ Keywords︓コールドスタート問題, ビジネスロジック 今回紹介する部分
13. 関連記事 マッチングアプリにおける推薦システム ABEMAのレコメンドにおける基盤とA/Bテスト Amebaブログにおける記事カテゴリ 付与プロジェクト
14. タップルの推薦について
15. タップルについて
16. タップルにおける推薦 タップルでマッチングするまで いいかも(右フリック)かイマイチ(左フリック)を選択 送ったいいかもに「ありがとう」をされるとマッチング 適切に推薦することが重要 「おすすめ」のユーザーが表⽰される マッチングが成功するとメッセージが交換可能に
17. 相互推薦システム(RRS) 通常の推薦システム • ユーザーにアイテムを推薦 • ユーザーがアイテムを好むか否かが重要 相互推薦システム • ユーザーにユーザーを推薦 • ユーザーとユーザーが互いに相⼿に興味を持つこと • 推薦される機会を⼈気ユーザーに集中させないこと
18. 従来のRRS • 従来のRRSの流れ 1. 各男性から⼥性，各⼥性から男性への好みスコアの推定 （Matrix Factoriza.onなど通常の推薦システム⼿法により） 2. 双⽅向の好みから，各男性・⼥性の相互スコアを計算 3. 相互スコアの⾼い順に各男性・⼥性に異性ユーザーを推薦 • 相互スコアの計算⽅法 ・好みスコアを単純に調和平均、幾何平均などで合算 ・相互の興味の⼀致/⼈気ユーザーへの集中の緩和が⼗分でない
19. 従来のRRS • 従来のRRSの流れ 1. 各男性から⼥性，各⼥性から男性への好みスコアの推定 （Matrix Factoriza.onなど通常の推薦システム⼿法により） 2. 双⽅向の好みから，各男性・⼥性の相互スコアを計算 3. 相互スコアの⾼い順に各男性・⼥性に異性ユーザーを推薦 • 相互スコアの計算⽅法 ・好みスコアを単純に調和平均、幾何平均などで合算 ・相互の興味の⼀致/⼈気ユーザーへの集中の緩和が⼗分でない → この2点に対応する相互スコアを「マッチング理論」の⼿法を⽤いて計算したい
20. TUマッチング︓Choo-Siowモデル • Choo-Siowモデル(Choo and Siow, 2006) o 結婚市場・労働市場の実証分析のため開発された経済学分野のマッチングモデル o 男性 𝑥 と⼥性 𝑦 がマッチした場合，それぞれ以下の効⽤を得るものとする︓ 𝑝$,& + 𝜖$,& − τ$,&, 𝑝&,$ + 𝜖&,$ − τ&,$ o 各男性・⼥性は，好みと市場で決まる移転額をもとに最も好む相⼿を確率的に選択する o 両側からの確率的な需要が⼀致するような移転額が存在するとき，そのマッチ確率を 𝜇!,# とする 好み推定値 推定誤差 市場で決ま る転移額 好み推定値 推定誤差 市場で決ま る転移額
21. TUマッチング推薦 • TUマッチング推薦 o ε の分布をガンベル分布と仮定すると、以下のアルゴリズムでマッチ確率を計算できる 1. 各男性 𝑥 と⼥性 𝑦 について、それぞれ次のように初期化: 𝐴! = 1, 𝐵" = 1 2. 以下の更新を収束するまで繰り返す 3. 各男性-⼥性ペアについて、マッチ確率を次とする: 𝜇!," = exp $!,#%$#,! & 𝐴! 𝐵" 4. このマッチ確率スコアに基づいて、各男性にスコアの⾼い順に⼥性を、⼥性には男性を推薦する
22. シミュレーション実験 oデータセット o⼈⼯データ︓500⼈規模の市場を作り、好みスコ アはランダム発⽣するものとする o 実データ︓タップルの男⼥1000⼈ずつをサンプ リングし、好みスコアをMatrix Factoriza/onで計算 oシミュレーション oユーザーへの推薦、いいね、マッチ⾏動を10,000 回実施 o結果 o従来⼿法と⽐較し、期待マッチ数は増加 ⼈⼯データ 実データ
23. 続きが気になる⽅へ Tomita, Togashi, Hashizume, and Ohsaka (2023), “Fast and Examination-agnostic Reciprocal Recommendation in Matching Markets,” RecSys. Tomita, Togashi, and Moriwaki (2022), “Matching Theory-based Recommender Systems in Online Dating ,” RecSys.
24. ABEMAの推薦について
25. ABEMAとは 新しい未来のテレビとして展開する動画配信事業。 国内唯⼀の24 時間編成のニュース専⾨チャンネルをはじめ、 オリジナルのドラマや恋愛番組など、多彩なジャンルを24時間365⽇放送している。
26. ABEMAにおける推薦 ここで何を⾒せるかがコンテンツ消費に影響する ・どのコンテンツを⾒せるか︖(推薦) ・どのサムネイルを⾒せるか︖(サムネイル)
27. 推薦とサムネイル 推薦でCTVRを改善 コンテンツのランキング CTVRを⼀番伸ばすサムネイルは何か︖ サムネイル画像の最適化
28. サムネイル検証 各要素の有無、位置や⾊、内容等の影響を検証 ・ロゴ ・バッジ ・タイトル ・キャプション ・素材画像 検証の実例
29. 評価⽅法 ABテストを実施 𝐶𝑇𝑉𝑅 = 𝑤𝑎𝑡𝑐ℎ𝑈𝑈 𝑖𝑚𝑝𝑈𝑈 ・・・① • watchUU - サムネイルをクリックして遷移し たエピソードを試聴したUU • impUU - サムネイルが表⽰されたUU数 評価指標 • ベイズ検定 - ベータ分布から導出した事後分布の平 均の差で判定 検定⼿法
30. 検証項⽬ 検証コンテンツ オオカミちゃんとオオカミくんには騙されない 検証場所
31. 検証サムネイル 3つのサムネイルでABテストを実施
32. 検証 CTVRの差が12.5% この差は何が起因しているの だろうか︖ CTVR +12.5%
33. 仮説の設定と検証サイクル • 仮説 - 表⽰しているキャスト - キャプション - タイトルの視認性
34. 仮説の設定と検証サイクル • タイトルの視認性の違いがCTVRの差を作るのか︖
35. 仮説の設定と検証サイクル CTVR +19.9% CTVRの差が19.9% タイトルの視認性が重要︖
36. 仮説の設定と検証サイクル 再現性の検証 CTVR +23.4% 別のコンテンツでは︖
37. 検証結果 • サムネイルがコンテンツの消費に⼤きく影響する。 • タイトルの視認性が重要 • CTVR20％以上の改善 • 再現性のある結果が得られている 検証結果から、次は最適なサムネイル選択を⾃動決定することを考えたい…
38. 続きが気になる⽅へ 資料のURL
39. お知らせ
40. インターンご案内 内容 期間 応募条件 トレーナーの指導のもと実際にプロダクトにJOINし業務の⼀部をお任せし ます。サイバーエージェントで就業するために必要なスキルや考え⽅の獲 得を⽬的としたインターンシップとなります。 通年募集 ※インターンシップ就業希望⽉の3ヶ⽉前の⽉末までにエントリーください o 応募希望職種の開発経験がある⽅ o 2025年4⽉以降に⼊社可能な学⽣ o ⾼い意欲を持ち、主体的かつ積極的に取り組むことができる⽅
41. 本選考エントリー受付中【全職種/通年募集】 選考サイトではサイバーエージェントの若⼿の活躍事例、 社員の様々なキャリアパスのご紹介等コンテンツも充実。 エントリーをお待ちしております︕
42. ありがとうございました
43. Appendix