FODにおけるホーム画面編成のレコメンド

Slide 1

Slide 1 text

株式会社oneroots FODにおけるホーム画面編成のレコメンド〜移り変わりの激しいエンタメサービスのユーザ体験をレコメンドで支える〜 2025/1/15 Recommendation Industry Talks #5 工藤航

Slide 2

Slide 2 text

Slide 3

Slide 3 text

3 有料会員数 150万人以上 10万本以上のドラマ・映画・アニメ等が見放題「ここにしかない出会いがある。」を体現すべくレコメンデーションに注力

Slide 4

Slide 4 text

© 2025 oneroots inc. データサイエンティスト・機械学習エンジニア FODレコメンドチーム 4 プッシュ通知担当レコメンドチーム画面編成担当活動体制定量・定性の両面に向き合い、様々なレコメンド機能を継続的に開発・改善 DS・MLエンジニア ● モデル・ロジックの開発およびシステム保守運用 ● 施策の効果検証、課題分析施策チームメンバー ● 各種施策にレコメンドを活用 ● ユーザやコンテンツへの深い理解をもとに、特に定性観点でのレビューを実施

Slide 5

Slide 5 text

Slide 6

Slide 6 text

© 2025 oneroots inc. 株式会社oneroots 工藤航 @wata_roots (X / Twitter) 自己紹介 6 所属・役割 ① 株式会社oneroots (CTO) 　「出会いと別れを科学する」をミッションに事業を展開 ② FODレコメンドチーム (チーフデータサイエンティスト ) 　多様なユーザに最高の体験を届けるため、サービスのあらゆる場所に適用する様々なレコメンド機能の開発を推進 ③ 株式会社Fuji Culture X データサイエンスセンター (副所長) 　データ・AIの利活用を推進しエンタメ業界を盛り上げる (〜 2020) 　　　大学院で複雑ネットワーク解析の研究 (2020 〜 2023) 人材系サービスでレコメンド開発 (2023 〜) oneroots 経歴

Slide 7

Slide 7 text

FODが抱えていた課題と推薦システムのミッション 7

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

© 2025 oneroots inc. FODが抱えていた課題 10 ホーム画面の “棚編成” の手動運用が大変 “棚編成”とは？ ① 棚の配置調整　上から順にどの棚を並べるかを、　各棚の数値を見ながら決定する。 ② 棚を作る　業界のトレンドに合わせて　訴求の切り口やラインナップを　決定する。最もドメイン知識を　要するクリエイティブな業務。 ① 棚の配置調整を手動で実施していたため、課題があった作品1 作品2 作品3 〇〇キャンペーン △△特集！作品4 作品5 “棚”とは？ ● ホーム画面に並ぶコンテンツの表示単位 ● タイトルをつけてコンテンツが並べられており、横スクロール可能これら一つ一つが “棚”

Slide 11

Slide 11 text

© 2025 oneroots inc. 手動運用による棚の配置調整が抱える課題 11 運用担当者の負荷が非常に高い各棚のクリック率の推移をモニタリングするダッシュボード ● 〇〇特集は7日前に出してクリック率が下がってきたから編成位置を下げる ● △△キャンペーンはその一つ上の棚よりもクリック率が高くなったから編成位置を上げる ● … etc 運用担当者 100個以上ある棚のクリック率推移を日々監視し、編成の調整を行う担当者の “超ハードワーク ” によって支えられていたが業務の圧迫が課題

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

© 2025 oneroots inc. 手動運用による棚の配置調整が抱える課題 14 パーソナライゼーションできないニッチで魅力的な棚が下部に編成され、それを求める人にも届かない人気国内ドラマリアリティーショーランキング音楽ライブ人気の棚もあればニッチな棚もある理想は「ユーザの好みに合わせた編成」現実は「全ユーザ共通の編成」ドラマ好き音楽好き人気国内ドラマランキング音楽ライブ音楽系バラエティランキング人気国内ドラマ … 上部は人気の棚になり、「ニッチだが根強いファンがいる」タイプの棚は下部にせざるを得ない UX観点での大きな課題 … … …

Slide 15

Slide 15 text

© 2025 oneroots inc. 推薦システムに課せられたミッション As-Is To-Be UX 全ユーザ共通の編成パーソナライゼーションの実現人気な棚からニッチな棚まで、ユーザが自分の好きな棚や作品に出会う機会を最大化運用棚の配置調整が高いドメイン知識を持つメンバーの業務を圧迫配置調整の自動化高いドメイン知識と創造性を最も必要とする「棚を作る」業務に時間を割ける 15 パーソナライゼーション & 配置調整の自動化を実現し、 UX・運用の両面から棚編成を支える

Slide 16

Slide 16 text

Contextual Bandit 導入の経緯と結果 16

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

© 2025 oneroots inc. [実験①] 作品スコアベースのレコメンド 19 効果特定のセグメントでは改善したが悪化したセグメントも存在したため、全体での効果は限定的 → パーソナライズの有効性は確かだが、課題も多く見られた 💡 最も大きな課題は ... 棚のコールドスタート問題トレンドに合わせて組まれた “特集” の棚など、新しく作られた棚は人気しかし、レコメンド棚編成では新しい棚を適切にユーザに提示できていなかった

Slide 20

Slide 20 text

© 2025 oneroots inc. [実験②] Contextual Bandit によるレコメンド 20 アプローチ概要 ● 新しい棚の特性を素早く学習し、適切な位置に表示することが必要 → “探索” と “活用” のバランスが重要 → バンディットアルゴリズムをベースとしたレコメンデーションを調査 ● 最もユースケースが近い音楽ストリーミングアプリの事例 (Carousel Personalization in Music Streaming Apps with Contextual Bandits , RecSys 2020) を参考にモデリング ○ ユーザの行動履歴や属性で作ったベクトルから各棚のCTRを予測 ○ Cascade-based なモデル更新が特徴 ■ クリックした棚を正例、クリックした棚よりも上位にある棚を負例とする ■ ユーザへの棚の表示有無が取得できない今回のケースにマッチ

Slide 21

Slide 21 text

© 2025 oneroots inc. [実験②] Contextual Bandit によるレコメンド 21 実装はかなり大変でした … ● 日々のレコメンド結果をS3に蓄積する処理 ● 複数のデバイスからユーザのクリックログを整形する前処理 ● ユーザ特徴ベクトルの作成処理 ● CTRを予測するモデルクラスの実装（パラメタの逐次アップデート、推論のメソッド） ● Cascade-basedな更新のためにクリックログとそのユーザに表出された棚編成順位のログを紐付けて正例と負例を作成 ● 各棚ごとのモデルを逐次更新 ● 評価値算出 ● 予測結果をDBに登録する処理 ● 3つのデバイスごとに異なる後処理条件をパラメタ化してテスト可能に … etc ※ Kedro のパイプライン可視化機能で出力着手から約 3ヶ月かけて何度か磨き込み、 ABテスト実施の判断に到達！

Slide 22

Slide 22 text

© 2025 oneroots inc. [実験②] Contextual Bandit によるレコメンド 22 効果【ユーザ体験の改善】ホーム画面経由の動画視聴系 KPIが大きく改善　 └ ABテストでDAUが1.3倍、1人当たり月間視聴作品数が1.2倍（↑ 過去最高の改善幅）【運用改善】「棚の配置調整」にかけていた時間を削減し、「棚を作る」業務に集中できるようになったパーソナライゼーション & 配置調整の自動化により、 UX・運用の両面で棚編成を支えることができた

Slide 23

Slide 23 text

© 2025 oneroots inc. まとめ 23 課題 FODでは棚編成を手動で実施していたため、UXと運用の両面に課題があった ● UX ：パーソナライゼーションが不可能 ● 運用：ドメイン知識の高い担当者がそれを活用する業務をできないアプローチ結果初期実験で棚のコールドスタートに課題があることが明らかになったため、 Contextual Bandit によるレコメンデーションを採用 ● ホーム画面経由のKPIが1.2倍〜1.3倍改善 ● 高いドメイン知識をクリエイティブな業務に活かせるようになった

Slide 24

Slide 24 text

学んだこと 24

Slide 25

Slide 25 text

© 2025 oneroots inc. 大きな意思決定で重要な「過去の積み上げ」 25 過去の実験で得た知見を積み上げて定量的な根拠を示す　開発工数のかかるContextual Banditを導入する意思決定に確信をもてたのは　最初の実験結果を深掘りして課題を明確化し、定量的なインパクトを見立てられたから　★ 実験を単発で終わらせずに未来に繋がるように振り返ること、　　それを定量的な判断をするための資産として蓄積・活用することが重要【実験①】作品スコアベース【実験②】 Contextual Bandit ・全体的な改善効果は〇〇% ・セグメントAでは△△%だが、　セグメントBでは××% ・原因は棚のコールドスタート棚のコールドスタート問題を解決できた場合、〇〇%の改善が見込まれる

Slide 26

Slide 26 text

© 2025 oneroots inc. 大きな意思決定で重要な「未来のビジョン」 26 未来のビジョンを示して周囲の協力を仰ぐ　チームを跨いだ大掛かりな対応を優先度高く進められた背景には、　「よりクリエイティブな業務に時間を割ける」という運用改善の視点が共有できたこと ★ レコメンド視点の KPIに閉じず運用やサービス全体の改善に目を向け、　サービスをより良くしていくための未来のビジョンを明言して伝えることが重要サービス全体の視点で推薦システムで解決したい課題と効果の目線を合わせる

Slide 27

Slide 27 text

© 2025 oneroots inc. 「動く定性評価」の有効性 27 レコメンドには「定性的な納得感」が不可欠　特に感性に近いエンタメサービスにおいては納得感は生命線。　分析者がドメイン知識を高めて定性評価を正しくできるようになることは重要な上で、　★ ユーザ・コンテンツ・サービスへの解像度を極めた人たちと上手く連携し、　　 FBを活発にもらいながら定性的な課題を洗い出せるようにすることが重要 Streamlitで定性評価用の Webアプリ(Reclit) を作成サンプルをピックアップして推薦結果を確認・共有 Before After ※ 社内通称レックリット

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

© 2025 oneroots inc. 「動く定性評価」の有効性 31 オフライン評価時 ● 評価ユーザに対するレコメンド結果を確認 ● 施策担当者による定性レビューを抜け漏れなく実施リリース後 ● 本番サービス環境でのレコメンド結果を確認 ● リリース後の挙動が意図通りかを確認 Reclit (定性評価用の Webアプリ) 痒いところに手が届く「動く定性評価」で周囲を巻き込み、定性課題の洗い出しを抜け漏れなく・スピーディーに実施

Slide 32

Slide 32 text

Slide 33

Slide 33 text

© 2025 oneroots inc. まとめ 33 取り組み概要 ● FODホーム画面のレコメンドにContextual Banditを適用した ● UXと運用の両面の改善につながった学んだこと ● 大きな意思決定をする際に重要だったこと ○ 過去の実験から定量的な根拠を示す ○ 未来のビジョンを示して周囲の協力を仰ぐ ● 「動く定性評価」は周囲と連携しながら課題を洗い出すために非常に有効 ● 改善サイクルの回しやすさに向き合うことは重要