ZOZOTOWN の推薦における KPI モニタリング/KPI monitoring for ZOZOTOWN recommendations

第47回 MLOps 勉強会
https://mlops.connpass.com/event/335228/

Transcript

1. 第47回 MLOps 勉強会 株式会社ZOZO
 技術本部 データシステム部 推薦基盤ブロック
 ML エンジニア
 佐藤 優羽 Copyright © ZOZO, Inc. 1 ZOZOTOWN の推薦における KPI モニタリング
2. © ZOZO, Inc. ZOZOTOWN の商品をおすすめする AI を作っています。 SNS: https://x.com/rayuron 趣味: 生成 AI、ブレイキン、DJ、DTM... 株式会社ZOZO 技術本部 データシステム部 推薦基盤ブロック ML エンジニア 佐藤 優羽 2
3. © ZOZO, Inc. 1. ZOZOTOWN の紹介 2. ZOZOTOWN における推薦の紹介 3. ZOZOTOWN の推薦における KPI の紹介 4. ZOZOTOWN の推薦における KPI モニタリングの紹介 a. 背景と課題 b. 課題解決のアプローチ c. 効果 d. 課題と展望 e. まとめ 3 目次
4. © ZOZO, Inc. 1. ZOZOTOWN の紹介 2. ZOZOTOWN における推薦の紹介 3. ZOZOTOWN の推薦における KPI の紹介 4. ZOZOTOWN の推薦における KPI モニタリングの紹介 a. 背景と課題 b. 課題解決のアプローチ c. 効果 d. 課題と展望 e. まとめ 4 目次
5. © ZOZO, Inc. • ファッションEC • 1,600以上のショップ、9,000以上のブランドの取り扱い • 常時102万点以上の商品アイテム数と毎日平均2,600点以上の新着 商品を掲載（2024年9月末時点） • ブランド古着のファッションゾーン「ZOZOUSED」や コスメ専門モール「ZOZOCOSME」、シューズ専門ゾーン 「ZOZOSHOES」、ラグジュアリー＆デザイナーズゾーン 「ZOZOVILLA」を展開 • 即日配送サービス • ギフトラッピングサービス • ツケ払い など https://zozo.jp/ 5
6. © ZOZO, Inc. 1. ZOZOTOWN の紹介 2. ZOZOTOWN における推薦の紹介 3. ZOZOTOWN の推薦における KPI の紹介 4. ZOZOTOWN の推薦における KPI モニタリングの紹介 a. 背景と課題 b. 課題解決のアプローチ c. 効果 d. 課題と展望 e. まとめ 6 目次
7. © ZOZO, Inc. ZOZOTOWN 内の商品を押下し た際、遷移先ページの下部にあ る枠のこと おすすめアイテム枠では詳細面 で表示されている商品に基づく 推薦商品が表示される 7 1. 商品詳細面おすすめアイテム枠 Scroll
8. © ZOZO, Inc. 8 2. ホーム面モジュール ZOZOTOWN を起動した時に最初に 開かれるページ モジュールと呼ばれる単位で施策ごと の商品をグルーピングしている ホーム面上部のモールタブと性別タブ の組み合わせで表示されるモジュール が異なる モジュール scroll モール 性別
9. © ZOZO, Inc. メールや LINE、プッシュ通知等の コンテンツをパーソナライズする 配信タイミングもユーザーごとに パーソナライズされている 9 3. マーケティングオートメーション（MA） クーポンメールのイメージ
10. © ZOZO, Inc. 1. ZOZOTOWN の紹介 2. ZOZOTOWN における推薦の紹介 3. ZOZOTOWN の推薦における KPI の紹介 4. ZOZOTOWN の推薦における KPI モニタリングの紹介 a. 背景と課題 b. 課題解決のアプローチ c. 効果 d. 課題と展望 e. まとめ 10 目次
11. © ZOZO, Inc. • おすすめ商品のインプレッション数 • おすすめ商品のクリック数 • おすすめ商品経由のカート追加数 • おすすめ商品経由のお気に入り数 • おすすめ商品経由の注文数 • おすすめ商品経由の売上 • CTR • CVR • おすすめ表示商品のカバレージ • … 11 1. 商品詳細面おすすめアイテム枠 Scroll アプリ商品詳細面の例
12. © ZOZO, Inc. 12 2. ホーム面モジュール モジュール scroll モール 性別 • モジュールインプレッション数 • モジュールクリック数 • モジュール経由注文数 • モジュール経由カート追加数 • モジュール経由お気に入り数 • モジュール経由売上 • CTR • CVR • 表示商品の多様性 • 表示商品のカバレージ • 商品のセレンディピティ • …
13. © ZOZO, Inc. • 配信数 • 開封数 • 流入数 • 注文数 • CTR • CVR • … 13 3. マーケティングオートメーション（MA） クーポンメールのイメージ
14. © ZOZO, Inc. 1. ZOZOTOWN の紹介 2. ZOZOTOWN における推薦の紹介 3. ZOZOTOWN の推薦における KPI の紹介 4. ZOZOTOWN の推薦における KPI モニタリングの紹介 a. 背景と課題 b. 課題解決のアプローチ c. 効果 d. 課題と展望 e. まとめ 14 目次
15. © ZOZO, Inc. 元々は... • Looker で固定値の異常検知 • スプレッドシート等で定性的な確認 15 KPI モニタリング 背景と課題 ▶
16. © ZOZO, Inc. 動的な閾値で異常検知をしたい 16 1. トレンドを考慮した異常検知が不可能 ▶▶ ⚠ 固定の閾値で異常検知
17. © ZOZO, Inc. 17 2. モニタリングの設定が面倒 異常値判定のための設定項目 が多く面倒なので設定項目を 少なくしたい
18. © ZOZO, Inc. 対応者がシステムを作った人に限られて しまうという属人化の問題が発生 アラート対応フローが不明確なので 明確にしたい 18 3. アラート対応フローが不明確
19. © ZOZO, Inc. Slack に定期配信している ダッシュボードのサマリが 活用されていない 定期的に施策の KPI を把握し 定性的な異常検知を するためにも 活用されるようにしたい 19 4. サマリの定期配信が形骸化
20. © ZOZO, Inc. 20 KPI モニタリング 課題解決のアプローチ
21. © ZOZO, Inc. 異常検知には時系列データの予測手法である を採用 ▼ 採用理由 1. 不確定区間(Uncertainty Intervals)を使い異常検知が可能 2. 欠損値を入力可能 3. 季節性やトレンドの特徴量を使用可能 ◦ 休日や ZOZOWEEK などのイベントを考慮可能 4. 社内での使用経験がある 21 1. 異常検知の自動化
22. © ZOZO, Inc. システム構成 22 1. 異常検知の自動化 1. 意図した期間でデータが挿入されているか？ 2. 挿入されたデータが異常値かどうか？ =
23. © ZOZO, Inc. 23 1. 異常検知の自動化 パイプラインで異常を検知 した際に指標名とグラフと ダッシュボードのリンクを Slack に通知する
24. © ZOZO, Inc. 設定項目の単位を KPI 単位からテーブル単位に変更 24 2. 設定の簡素化 ▶
25. © ZOZO, Inc. 25 2. 設定の簡素化
26. © ZOZO, Inc. アラート発生時の対応を 以下の3つのパターンに分岐 1. データに問題 2. モデルに問題 3. アラートの設定に問題 26 3. アラート対応フローの整備
27. © ZOZO, Inc. 27 3. アラート対応フローの整備 簡単に説明すると... 1. データに問題 ◦ データを修正 2. モデルに問題 ◦ パラメータチューニング 3. アラートの設定に問題 ◦ 指標の見直し ◦ 設定の変更
28. © ZOZO, Inc. 参照: 優れた分析機能とシンプルな請求書の提供 ダッシュボードを見る会とは... チームメンバーが週1で集まり チームが関係するプロダクトの KPI やコストに異常値がないか を確認する会 28 4. ダッシュボードを見る会
29. © ZOZO, Inc. 29 課題解決のアプローチ
30. © ZOZO, Inc. • メール配信実績のトレンドに気づけた • メール配信システムで障害が起きていることが分かった • 意図しないデータのスキーマの変更が分かった • 意図しない bot アクセスが増えていることが分かった • 推薦システムが落ちており、推薦テーブルが作成できていないことが分かった • 意図しないコスト増加に気づけて、将来のコスト増加を止められた • 副次的な効果 ◦ ファッションのドメイン知識がついた ◦ システムのコスト感が分かった • … 30 効果
31. © ZOZO, Inc. • アラートは発生しないが実は異常値である場合の捕捉が難しい ◦ 定期的なパラメータチューニング • アラートが発生するが異常値ではない場合が多い ◦ 定性的に問題なければ無視する • アラートの対応方法が未完全 ◦ 具体的にパターン化する 31 課題と展望
32. © ZOZO, Inc. 32 まとめ 元々は... • Looker で固定値の異常検知 • スプレッドシート等で定性的な確認 ▶▶
33. © ZOZO, Inc. 33 まとめ
34. © ZOZO, Inc. 34 発表は以上です。 ご清聴ありがとうございました。