ZOZOTOWNのホーム画面をパーソナライズすることの難しさと裏話を語る

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© ZOZO, Inc. 株式会社ZOZO 技術本部データシステム部推薦基盤ブロックブロック長技術本部データサイエンス部推薦研究ブロックブロック長寺崎優希最高のZOZOTOWNを作るために2つの推薦系チームのリーダーを兼務しています。近況として先々週に RecSys2024 in Bariに参加して推薦システムの最先端に触れてきました。趣味は鳥貴族です。 2 渡航前日に購入したネックピローで快眠している図

Slide 3

Slide 3 text

Slide 4

Slide 4 text

© ZOZO, Inc. https://zozo.jp/ 4 ● ファッションEC ● 1,600以上のショップ、9,000以上のブランドの取り扱い ● 常時102万点以上の商品アイテム数と毎日平均2,600点以上の新着商品を掲載（2024年6月末時点） ● ブランド古着のファッションゾーン「ZOZOUSED」やコスメ専門モール「ZOZOCOSME」、シューズ専門ゾーン「ZOZOSHOES」、ラグジュアリー＆デザイナーズゾーン「ZOZOVILLA」を展開 ● 即日配送サービス ● ギフトラッピングサービス ● ツケ払いなど

Slide 5

Slide 5 text

© ZOZO, Inc. https://wear.jp/ 5 ● あなたの「似合う」が探せるファッションコーディネートアプリ ● 1,700万ダウンロード突破、コーディネート投稿総数は1,400万件以上（2024年6月末時点） ● コーディネートや最新トレンド、メイクなど豊富なファッション情報をチェック ● AIを活用したファッションジャンル診断や、フルメイクをARで試せる「WEARお試しメイク」を提供 ● コーディネート着用アイテムを公式サイトで購入可能 ● WEAR公認の人気ユーザーをWEARISTAと認定。モデル・タレント・デザイナー・インフルエンサーといった各界著名人も参加

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

© ZOZO, Inc. 14 ZOZOTOWNホーム画面の変遷年表 2021年 2022年 2023年・一部モジュールでパーソナライズ機能v4リリース・モジュール管理ツール改修により運用が手離れ・一部モジュールでパーソナライズ機能v1, v2, v3リリース・内製のモジュール管理ツール運用開始・縦軸の並び順変更PoC実施・ホーム画面リニューアルと同時に　モジュール推薦用APIリリース・スプシでモジュールを管理する暗黒期・運用改善が中心

Slide 15

Slide 15 text

© ZOZO, Inc. 15 ZOZOTOWNホーム画面の変遷年表 2021年 2022年 2023年・一部モジュールでパーソナライズ機能v4リリース・モジュール管理ツール改修により運用が手離れ・一部モジュールでパーソナライズ機能v1, v2, v3リリース・内製のモジュール管理ツール運用開始・縦軸の並び順変更PoC実施・ホーム画面リニューアルと同時に　モジュール推薦用APIリリース・スプシでモジュールを管理する暗黒期・運用改善が中心・並び順パーソナライズ機能v1リリース・v2リリースに向けて改修 2024年

Slide 16

Slide 16 text

© ZOZO, Inc. 16 ZOZOTOWNホーム画面の変遷年表 2021年 2022年 2023年・一部モジュールでパーソナライズ機能v4リリース・モジュール管理ツール改修により運用が手離れ・一部モジュールでパーソナライズ機能v1, v2, v3リリース・内製のモジュール管理ツール運用開始・縦軸の並び順変更PoC実施・ホーム画面リニューアルと同時に　モジュール推薦用APIリリース・スプシでモジュールを管理する暗黒期・運用改善が中心・並び順パーソナライズ機能v1リリース・v2リリースに向けて改修 2024年 To Be Continued…🚀 20XX年

Slide 17

Slide 17 text

Slide 18

Slide 18 text

© ZOZO, Inc. 18 モジュール並び順パーソナライズとは ● ユーザーごとにモジュールの表示順序をパーソナライズする取り組み ● ホーム画面リニューアル（2021年3月）の際にこの状態を見据えてAPIを設計 ● 通称「モジュパソ」今人気のマストバイアイテム！！ … いま羽織りたいライトアウターおうち時間を楽しむインテリア今人気のマストバイアイテム！！トレンドアイテム全般を好むユーザーA … 小物をよく閲覧するユーザーB

Slide 19

Slide 19 text

© ZOZO, Inc. 19 パーソナライズの方針 1. 「良いモジュール並び順になるとどうなる？」という問いへの回答の仮説立て ○ 長期: ZOZOTOWNの来訪頻度・滞在時間が増えて受注金額が増大 ○ 短期: モジュールのクリック頻度が増大 2. KPIを「モジュール閲覧ユーザー1人あたりのモジュールクリック数」に設定 ○ ※過去のA/BテストからKGIである受注系指標との連動を確認していた 3. 「モジュールのクリック数最適化」を目指す方針に決定

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

© ZOZO, Inc. 22 案2. モジュールに表示される商品のメタデータを使ってパーソナライズ ▶商品メタデータを使ってモジュールを表現セール中のライトアウターおうち時間を楽しむインテリアメタデータこれらを使ってパーソナライズ商品A - category=outer - price_type=sale 商品B - category=outer - price_type=sale - gender=men … … 商品X - category=calendar - group_id=12345 商品Y - category=toy - group_id=12345 … …

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

© ZOZO, Inc. 26 パーソナライズ方法の概観 ZOZOTOWN上の行動ログ・カテゴリ: アウター・価格タイプ: セール・商品タイプ: 新品・カテゴリ: パーカー・価格タイプ: セール・商品タイプ: USED モジュールAに表示される商品のメタデータ 0.2 0.5 0.8 … 0.1 0.1 0.9 … 0.5 0.4 0.2 … User Embedding Product Embeddings A 0.8374 Embedding Model Embedding Model ・カテゴリ: メガネ・価格タイプ: 通常・商品タイプ: 新品・カテゴリ: 財布・価格タイプ: セール・商品タイプ: 新品モジュールBに表示される商品のメタデータ 0.1 0.1 0.9 … 0.5 0.4 0.2 … Product Embeddings B Score A 0.3461 Score B スコアの降順に並び替え

Slide 27

Slide 27 text

© ZOZO, Inc. 27 パーソナライズ方法の概観 ZOZOTOWN上の行動ログ・カテゴリ: アウター・価格タイプ: セール・商品タイプ: 新品・カテゴリ: パーカー・価格タイプ: セール・商品タイプ: USED モジュールAに表示される商品のメタデータ 0.2 0.5 0.8 … 0.1 0.1 0.9 … 0.5 0.4 0.2 … User Embedding Product Embeddings A 0.8374 Embedding Model Embedding Model ・カテゴリ: メガネ・価格タイプ: 通常・商品タイプ: 新品・カテゴリ: 財布・価格タイプ: セール・商品タイプ: 新品モジュールBに表示される商品のメタデータ 0.1 0.1 0.9 … 0.5 0.4 0.2 … Product Embeddings B Score A 0.3461 Score B スコアの降順に並び替え

Slide 28

Slide 28 text

© ZOZO, Inc. 28 パーソナライズ方法の概観 ZOZOTOWN上の行動ログ・カテゴリ: アウター・価格タイプ: セール・商品タイプ: 新品・カテゴリ: パーカー・価格タイプ: セール・商品タイプ: USED モジュールAに表示される商品のメタデータ 0.2 0.5 0.8 … 0.1 0.1 0.9 … 0.5 0.4 0.2 … User Embedding Product Embeddings A 0.8374 Embedding Model Embedding Model ・カテゴリ: メガネ・価格タイプ: 通常・商品タイプ: 新品・カテゴリ: 財布・価格タイプ: セール・商品タイプ: 新品モジュールBに表示される商品のメタデータ 0.1 0.1 0.9 … 0.5 0.4 0.2 … Product Embeddings B Score A 0.3461 Score B スコアの降順に並び替え

Slide 29

Slide 29 text

© ZOZO, Inc. 29 パーソナライズ方法の概観 ZOZOTOWN上の行動ログ・カテゴリ: アウター・価格タイプ: セール・商品タイプ: 新品・カテゴリ: パーカー・価格タイプ: セール・商品タイプ: USED モジュールAに表示される商品のメタデータ 0.2 0.5 0.8 … 0.1 0.1 0.9 … 0.5 0.4 0.2 … User Embedding Product Embeddings A 0.8374 Embedding Model Embedding Model ・カテゴリ: メガネ・価格タイプ: 通常・商品タイプ: 新品・カテゴリ: 財布・価格タイプ: セール・商品タイプ: 新品モジュールBに表示される商品のメタデータ 0.1 0.1 0.9 … 0.5 0.4 0.2 … Product Embeddings B Score A 0.3461 Score B スコアの降順に並び替え

Slide 30

Slide 30 text

Slide 31

Slide 31 text

© ZOZO, Inc. 31 スコアの計算方法 ● モジュールは複数の商品を構成要素として持つ ● モジュールに対するスコアの計算パターンは様々 1. 商品ベクトルの平均をモジュールベクトルとする 0.1 0.1 0.9 0.3 0.3 0.5 0.1 0.7 0.2 0.3 0.5 0.5 モジュールベクトル 3. 商品スコアの平均をモジュールスコアとする 0.1 0.1 0.9 0.3 0.3 0.5 0.1 0.7 0.45 0.75 0.60 avg(0.45, 0.75) スコア計算スコア計算スコア計算 4. 商品スコアのmaxをモジュールスコアとする 0.1 0.1 0.9 0.3 0.3 0.5 0.1 0.7 0.45 0.75 スコア計算スコア計算 max(0.45, 0.75) 2. 商品ベクトルのmaxをモジュールベクトルとする 0.1 0.1 0.9 0.3 0.3 0.5 0.1 0.7 0.3 0.5 0.9 0.7 モジュールベクトル 0.80 スコア計算 avg max pooling

Slide 32

Slide 32 text

© ZOZO, Inc. 32 オフライン評価 ● 定量評価 ○ 評価用のパイプラインをVertex AI Pipelinesで作成しExperimentsで結果を管理 ○ nDCGにて評価 ■ 過去実績があまりに強すぎるモジュール*は評価時に除外 ● 定性評価 ○ notebookでパーソナライズ前後の状態を比較 ○ 商品の閲覧系列もセットで確認 ○ プロジェクトメンバー・チームメンバーにも協力してもらった（弊社のいいところ） * 例えば「チェックしたアイテム」はクリック数が圧倒的なので除外

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

© ZOZO, Inc. 39 （補足）モジュールの管理方法 ● モジュールを管理するためのツールを内製して運用 ○ ツール自体は元々存在していたためパーソナライズ対象とするモジュールを管理できるように改修 ● モジュールの企画・入稿・管理は専門のチームにて実施 ○ ≠エンジニア組織商品ベクトル化パイプライン BigQuery GKE 管理ツール Vertex AI Pipelines モジュール情報参照モジュール情報書込みモジュール入稿管理チーム

Slide 40

Slide 40 text

Slide 41

Slide 41 text

© ZOZO, Inc. 41 A/Bテストの内容と結果 ● 実施内容 ○ 対象: ホーム画面に訪れたZOZOTOWN会員（=非会員は対象外） ○ 期間: 約1ヶ月 ● 結果 ○ クリック系の指標は想定通り改善指標結果（T/C比）ホーム画面訪問者の受注金額 100.1 (%) モジュール経由の受注金額 100.1 (%) モジュール経由の受注点数 100.4 (%) モジュール掲載商品のインプレッション数 105.2 (%) モジュール掲載商品のクリック数 103.2 (%)

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

© ZOZO, Inc. 44 課題1: 表示されるアイテムがよく重複する ● Two-Towerモデルの問題設定の影響で同じ商品が並ぶモジュールが頻出 ○ その結果beyond-accuracy metricsが軒並み悪化 🔥 セール中のライトアウター寒くなるこれからの季節に今がトレンドのアイテムを集めました訴求軸は微妙に違うが表示される商品が被る指標 Up / Down Diversity Novelty Coverage Down Down Up

Slide 45

Slide 45 text

Slide 46

Slide 46 text

© ZOZO, Inc. 次も絶対アウターを見そう！アウターが表示されるモジュールを出すぞ！うぉぉぉぉおおおぉ！課題2: 直近閲覧していたカテゴリーに依存しすぎる ● 商品の閲覧系列は同一カテゴリーの商品で構成されることが多い ○ つまりユーザーが次に閲覧する商品 = 直前に閲覧していたカテゴリーの商品であることがほとんど ○ ユーザーが閲覧したカテゴリーばかりが表示されるため興味の幅は広がらない t-2 t-1 商品閲覧履歴 t 46 セール中のライトアウター寒くなるこれからの季節に今がトレンドのアイテムを集めました

Slide 47

Slide 47 text

© ZOZO, Inc. 課題2の原因と対策 - 直近閲覧していたカテゴリーに依存しすぎる ● 原因 ○ 閲覧最適化で学習されたモデルの挙動を想像できていなかった ■ Two-Towerモデルを心に宿すことができていなかった…！ ○ 計測・改善しやすい「クリック数」の最適化を目標に据えていた ■ ZOZOTOWNにおけるホーム画面の役割とは？という問いへの答えを持たずに目標を決めていた ● 対策 ○ Two-Towerモデルの問題設定を見直し + リランキングの導入 ○ 「ZOZOTOWNの○○面での推薦はどうあるべきか」を検討 ■ 少なくともホーム画面でリタゲばかりするべきではないはず

Slide 48

Slide 48 text

© ZOZO, Inc. 現在進めていること 1. 課題1, 2に対応した改善施策 a. ファーストビュー商品の考慮・リランキングの導入 b. Two-Towerモデルの問題設定見直し c. ホーム画面の KPI 見直し 2. モジュール内の商品並び順をユーザーごとにパーソナライズ a. 現状は全ユーザーで同じ並び順で商品を出している ■ 特定の検索条件 + 人気順 b. 表示される商品がパーソナライズされるとモジュールの並び順も改善される 3. A/Bテスト実施サイクル高速化に向けたシステム改善 a. A/Bテスト実施までに必要な工程の標準化・自動化