Slide 1

Slide 1 text

第47回 MLOps 勉強会 株式会社ZOZO
 技術本部 データシステム部 推薦基盤ブロック
 ML エンジニア
 佐藤 優羽 Copyright © ZOZO, Inc. 1 ZOZOTOWN の推薦における KPI モニタリング

Slide 2

Slide 2 text

© ZOZO, Inc. ZOZOTOWN の商品をおすすめする AI を作っています。 SNS: https://x.com/rayuron 趣味: 生成 AI、ブレイキン、DJ、DTM... 株式会社ZOZO 技術本部 データシステム部 推薦基盤ブロック ML エンジニア 佐藤 優羽 2

Slide 3

Slide 3 text

© ZOZO, Inc. 1. ZOZOTOWN の紹介 2. ZOZOTOWN における推薦の紹介 3. ZOZOTOWN の推薦における KPI の紹介 4. ZOZOTOWN の推薦における KPI モニタリングの紹介 a. 背景と課題 b. 課題解決のアプローチ c. 効果 d. 課題と展望 e. まとめ 3 目次

Slide 4

Slide 4 text

© ZOZO, Inc. 1. ZOZOTOWN の紹介 2. ZOZOTOWN における推薦の紹介 3. ZOZOTOWN の推薦における KPI の紹介 4. ZOZOTOWN の推薦における KPI モニタリングの紹介 a. 背景と課題 b. 課題解決のアプローチ c. 効果 d. 課題と展望 e. まとめ 4 目次

Slide 5

Slide 5 text

© ZOZO, Inc. ● ファッションEC ● 1,600以上のショップ、9,000以上のブランドの取り扱い ● 常時102万点以上の商品アイテム数と毎日平均2,600点以上の新着 商品を掲載(2024年9月末時点) ● ブランド古着のファッションゾーン「ZOZOUSED」や コスメ専門モール「ZOZOCOSME」、シューズ専門ゾーン 「ZOZOSHOES」、ラグジュアリー&デザイナーズゾーン 「ZOZOVILLA」を展開 ● 即日配送サービス ● ギフトラッピングサービス ● ツケ払い など https://zozo.jp/ 5

Slide 6

Slide 6 text

© ZOZO, Inc. 1. ZOZOTOWN の紹介 2. ZOZOTOWN における推薦の紹介 3. ZOZOTOWN の推薦における KPI の紹介 4. ZOZOTOWN の推薦における KPI モニタリングの紹介 a. 背景と課題 b. 課題解決のアプローチ c. 効果 d. 課題と展望 e. まとめ 6 目次

Slide 7

Slide 7 text

© ZOZO, Inc. ZOZOTOWN 内の商品を押下し た際、遷移先ページの下部にあ る枠のこと おすすめアイテム枠では詳細面 で表示されている商品に基づく 推薦商品が表示される 7 1. 商品詳細面おすすめアイテム枠 Scroll

Slide 8

Slide 8 text

© ZOZO, Inc. 8 2. ホーム面モジュール ZOZOTOWN を起動した時に最初に 開かれるページ モジュールと呼ばれる単位で施策ごと の商品をグルーピングしている ホーム面上部のモールタブと性別タブ の組み合わせで表示されるモジュール が異なる モジュール scroll モール 性別

Slide 9

Slide 9 text

© ZOZO, Inc. メールや LINE、プッシュ通知等の コンテンツをパーソナライズする 配信タイミングもユーザーごとに パーソナライズされている 9 3. マーケティングオートメーション(MA) クーポンメールのイメージ

Slide 10

Slide 10 text

© ZOZO, Inc. 1. ZOZOTOWN の紹介 2. ZOZOTOWN における推薦の紹介 3. ZOZOTOWN の推薦における KPI の紹介 4. ZOZOTOWN の推薦における KPI モニタリングの紹介 a. 背景と課題 b. 課題解決のアプローチ c. 効果 d. 課題と展望 e. まとめ 10 目次

Slide 11

Slide 11 text

© ZOZO, Inc. ● おすすめ商品のインプレッション数 ● おすすめ商品のクリック数 ● おすすめ商品経由のカート追加数 ● おすすめ商品経由のお気に入り数 ● おすすめ商品経由の注文数 ● おすすめ商品経由の売上 ● CTR ● CVR ● おすすめ表示商品のカバレージ ● … 11 1. 商品詳細面おすすめアイテム枠 Scroll アプリ商品詳細面の例

Slide 12

Slide 12 text

© ZOZO, Inc. 12 2. ホーム面モジュール モジュール scroll モール 性別 ● モジュールインプレッション数 ● モジュールクリック数 ● モジュール経由注文数 ● モジュール経由カート追加数 ● モジュール経由お気に入り数 ● モジュール経由売上 ● CTR ● CVR ● 表示商品の多様性 ● 表示商品のカバレージ ● 商品のセレンディピティ ● …

Slide 13

Slide 13 text

© ZOZO, Inc. ● 配信数 ● 開封数 ● 流入数 ● 注文数 ● CTR ● CVR ● … 13 3. マーケティングオートメーション(MA) クーポンメールのイメージ

Slide 14

Slide 14 text

© ZOZO, Inc. 1. ZOZOTOWN の紹介 2. ZOZOTOWN における推薦の紹介 3. ZOZOTOWN の推薦における KPI の紹介 4. ZOZOTOWN の推薦における KPI モニタリングの紹介 a. 背景と課題 b. 課題解決のアプローチ c. 効果 d. 課題と展望 e. まとめ 14 目次

Slide 15

Slide 15 text

© ZOZO, Inc. 元々は... ● Looker で固定値の異常検知 ● スプレッドシート等で定性的な確認 15 KPI モニタリング 背景と課題 ▶

Slide 16

Slide 16 text

© ZOZO, Inc. 動的な閾値で異常検知をしたい 16 1. トレンドを考慮した異常検知が不可能 ▶▶ ⚠ 固定の閾値で異常検知

Slide 17

Slide 17 text

© ZOZO, Inc. 17 2. モニタリングの設定が面倒 異常値判定のための設定項目 が多く面倒なので設定項目を 少なくしたい

Slide 18

Slide 18 text

© ZOZO, Inc. 対応者がシステムを作った人に限られて しまうという属人化の問題が発生 アラート対応フローが不明確なので 明確にしたい 18 3. アラート対応フローが不明確

Slide 19

Slide 19 text

© ZOZO, Inc. Slack に定期配信している ダッシュボードのサマリが 活用されていない 定期的に施策の KPI を把握し 定性的な異常検知を するためにも 活用されるようにしたい 19 4. サマリの定期配信が形骸化

Slide 20

Slide 20 text

© ZOZO, Inc. 20 KPI モニタリング 課題解決のアプローチ

Slide 21

Slide 21 text

© ZOZO, Inc. 異常検知には時系列データの予測手法である を採用 ▼ 採用理由 1. 不確定区間(Uncertainty Intervals)を使い異常検知が可能 2. 欠損値を入力可能 3. 季節性やトレンドの特徴量を使用可能 ○ 休日や ZOZOWEEK などのイベントを考慮可能 4. 社内での使用経験がある 21 1. 異常検知の自動化

Slide 22

Slide 22 text

© ZOZO, Inc. システム構成 22 1. 異常検知の自動化 1. 意図した期間でデータが挿入されているか? 2. 挿入されたデータが異常値かどうか? =

Slide 23

Slide 23 text

© ZOZO, Inc. 23 1. 異常検知の自動化 パイプラインで異常を検知 した際に指標名とグラフと ダッシュボードのリンクを Slack に通知する

Slide 24

Slide 24 text

© ZOZO, Inc. 設定項目の単位を KPI 単位からテーブル単位に変更 24 2. 設定の簡素化 ▶

Slide 25

Slide 25 text

© ZOZO, Inc. 25 2. 設定の簡素化

Slide 26

Slide 26 text

© ZOZO, Inc. アラート発生時の対応を 以下の3つのパターンに分岐 1. データに問題 2. モデルに問題 3. アラートの設定に問題 26 3. アラート対応フローの整備

Slide 27

Slide 27 text

© ZOZO, Inc. 27 3. アラート対応フローの整備 簡単に説明すると... 1. データに問題 ○ データを修正 2. モデルに問題 ○ パラメータチューニング 3. アラートの設定に問題 ○ 指標の見直し ○ 設定の変更

Slide 28

Slide 28 text

© ZOZO, Inc. 参照: 優れた分析機能とシンプルな請求書の提供 ダッシュボードを見る会とは... チームメンバーが週1で集まり チームが関係するプロダクトの KPI やコストに異常値がないか を確認する会 28 4. ダッシュボードを見る会

Slide 29

Slide 29 text

© ZOZO, Inc. 29 課題解決のアプローチ

Slide 30

Slide 30 text

© ZOZO, Inc. ● メール配信実績のトレンドに気づけた ● メール配信システムで障害が起きていることが分かった ● 意図しないデータのスキーマの変更が分かった ● 意図しない bot アクセスが増えていることが分かった ● 推薦システムが落ちており、推薦テーブルが作成できていないことが分かった ● 意図しないコスト増加に気づけて、将来のコスト増加を止められた ● 副次的な効果 ○ ファッションのドメイン知識がついた ○ システムのコスト感が分かった ● … 30 効果

Slide 31

Slide 31 text

© ZOZO, Inc. ● アラートは発生しないが実は異常値である場合の捕捉が難しい ○ 定期的なパラメータチューニング ● アラートが発生するが異常値ではない場合が多い ○ 定性的に問題なければ無視する ● アラートの対応方法が未完全 ○ 具体的にパターン化する 31 課題と展望

Slide 32

Slide 32 text

© ZOZO, Inc. 32 まとめ 元々は... ● Looker で固定値の異常検知 ● スプレッドシート等で定性的な確認 ▶▶

Slide 33

Slide 33 text

© ZOZO, Inc. 33 まとめ

Slide 34

Slide 34 text

© ZOZO, Inc. 34 発表は以上です。 ご清聴ありがとうございました。

Slide 35

Slide 35 text

No content