Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ZOZOTOWN の推薦における KPI モニタリング/KPI monitoring for ...
Search
Yu Sato
December 25, 2024
Technology
1
1.9k
ZOZOTOWN の推薦における KPI モニタリング/KPI monitoring for ZOZOTOWN recommendations
第47回 MLOps 勉強会
https://mlops.connpass.com/event/335228/
Yu Sato
December 25, 2024
Tweet
Share
More Decks by Yu Sato
See All by Yu Sato
GitHub Copilot のテクニック集/GitHub Copilot Techniques
rayuron
47
22k
Other Decks in Technology
See All in Technology
インシデントキーメトリクスによるインシデント対応の改善 / Improving Incident Response using Incident Key Metrics
nari_ex
0
3.9k
Power BI は、レポート テーマにこだわろう!テーマのティア表付き
ohata_ds
0
120
Japan AWS Jr. Championsがお届けするre:Invent2024のハイライト ~ラスベガスで見てきた景色~
fukuchiiinu
0
1.1k
プロダクト価値を引き上げる、「課題の再定義」という習慣
moeka__c
0
200
AWSエンジニアに捧ぐLangChainの歩き方
tsukuboshi
0
220
Grafanaのvariables機能について
tiina
0
180
ココナラのセキュリティ組織の体制・役割・今後目指す世界
coconala_engineer
0
220
Redmineの意外と知らない便利機能 (Redmine 6.0対応版)
vividtone
0
190
SIEMによるセキュリティログの可視化と分析を通じた信頼性向上プロセスと実践
coconala_engineer
1
2.9k
一人から始めたSREチーム3年の歩み - 求められるスキルの変化とチームのあり方 - / The three-year journey of the SRE team, which started all by myself
vtryo
7
5.7k
攻撃者の視点で社内リソースはどう見えるのかを ASMで実現する
hikaruegashira
4
2.1k
HCP TerraformとAzure:イオンスマートテクノロジーのインフラ革新 / HCP Terraform and Azure AEON Smart Technology's Infrastructure Innovation
aeonpeople
3
980
Featured
See All Featured
What's in a price? How to price your products and services
michaelherold
244
12k
Building Applications with DynamoDB
mza
93
6.2k
Why You Should Never Use an ORM
jnunemaker
PRO
55
9.2k
Rebuilding a faster, lazier Slack
samanthasiow
79
8.8k
Java REST API Framework Comparison - PWX 2021
mraible
28
8.4k
Measuring & Analyzing Core Web Vitals
bluesmoon
6
220
Done Done
chrislema
182
16k
Building Your Own Lightsaber
phodgson
104
6.2k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.6k
Stop Working from a Prison Cell
hatefulcrawdad
267
20k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
49k
The Cost Of JavaScript in 2023
addyosmani
47
7.3k
Transcript
第47回 MLOps 勉強会 株式会社ZOZO 技術本部 データシステム部 推薦基盤ブロック ML エンジニア 佐藤
優羽 Copyright © ZOZO, Inc. 1 ZOZOTOWN の推薦における KPI モニタリング
© ZOZO, Inc. ZOZOTOWN の商品をおすすめする AI を作っています。 SNS: https://x.com/rayuron 趣味:
生成 AI、ブレイキン、DJ、DTM... 株式会社ZOZO 技術本部 データシステム部 推薦基盤ブロック ML エンジニア 佐藤 優羽 2
© ZOZO, Inc. 1. ZOZOTOWN の紹介 2. ZOZOTOWN における推薦の紹介 3.
ZOZOTOWN の推薦における KPI の紹介 4. ZOZOTOWN の推薦における KPI モニタリングの紹介 a. 背景と課題 b. 課題解決のアプローチ c. 効果 d. 課題と展望 e. まとめ 3 目次
© ZOZO, Inc. 1. ZOZOTOWN の紹介 2. ZOZOTOWN における推薦の紹介 3.
ZOZOTOWN の推薦における KPI の紹介 4. ZOZOTOWN の推薦における KPI モニタリングの紹介 a. 背景と課題 b. 課題解決のアプローチ c. 効果 d. 課題と展望 e. まとめ 4 目次
© ZOZO, Inc. • ファッションEC • 1,600以上のショップ、9,000以上のブランドの取り扱い • 常時102万点以上の商品アイテム数と毎日平均2,600点以上の新着 商品を掲載(2024年9月末時点)
• ブランド古着のファッションゾーン「ZOZOUSED」や コスメ専門モール「ZOZOCOSME」、シューズ専門ゾーン 「ZOZOSHOES」、ラグジュアリー&デザイナーズゾーン 「ZOZOVILLA」を展開 • 即日配送サービス • ギフトラッピングサービス • ツケ払い など https://zozo.jp/ 5
© ZOZO, Inc. 1. ZOZOTOWN の紹介 2. ZOZOTOWN における推薦の紹介 3.
ZOZOTOWN の推薦における KPI の紹介 4. ZOZOTOWN の推薦における KPI モニタリングの紹介 a. 背景と課題 b. 課題解決のアプローチ c. 効果 d. 課題と展望 e. まとめ 6 目次
© ZOZO, Inc. ZOZOTOWN 内の商品を押下し た際、遷移先ページの下部にあ る枠のこと おすすめアイテム枠では詳細面 で表示されている商品に基づく 推薦商品が表示される
7 1. 商品詳細面おすすめアイテム枠 Scroll
© ZOZO, Inc. 8 2. ホーム面モジュール ZOZOTOWN を起動した時に最初に 開かれるページ モジュールと呼ばれる単位で施策ごと
の商品をグルーピングしている ホーム面上部のモールタブと性別タブ の組み合わせで表示されるモジュール が異なる モジュール scroll モール 性別
© ZOZO, Inc. メールや LINE、プッシュ通知等の コンテンツをパーソナライズする 配信タイミングもユーザーごとに パーソナライズされている 9 3.
マーケティングオートメーション(MA) クーポンメールのイメージ
© ZOZO, Inc. 1. ZOZOTOWN の紹介 2. ZOZOTOWN における推薦の紹介 3.
ZOZOTOWN の推薦における KPI の紹介 4. ZOZOTOWN の推薦における KPI モニタリングの紹介 a. 背景と課題 b. 課題解決のアプローチ c. 効果 d. 課題と展望 e. まとめ 10 目次
© ZOZO, Inc. • おすすめ商品のインプレッション数 • おすすめ商品のクリック数 • おすすめ商品経由のカート追加数 •
おすすめ商品経由のお気に入り数 • おすすめ商品経由の注文数 • おすすめ商品経由の売上 • CTR • CVR • おすすめ表示商品のカバレージ • … 11 1. 商品詳細面おすすめアイテム枠 Scroll アプリ商品詳細面の例
© ZOZO, Inc. 12 2. ホーム面モジュール モジュール scroll モール 性別
• モジュールインプレッション数 • モジュールクリック数 • モジュール経由注文数 • モジュール経由カート追加数 • モジュール経由お気に入り数 • モジュール経由売上 • CTR • CVR • 表示商品の多様性 • 表示商品のカバレージ • 商品のセレンディピティ • …
© ZOZO, Inc. • 配信数 • 開封数 • 流入数 •
注文数 • CTR • CVR • … 13 3. マーケティングオートメーション(MA) クーポンメールのイメージ
© ZOZO, Inc. 1. ZOZOTOWN の紹介 2. ZOZOTOWN における推薦の紹介 3.
ZOZOTOWN の推薦における KPI の紹介 4. ZOZOTOWN の推薦における KPI モニタリングの紹介 a. 背景と課題 b. 課題解決のアプローチ c. 効果 d. 課題と展望 e. まとめ 14 目次
© ZOZO, Inc. 元々は... • Looker で固定値の異常検知 • スプレッドシート等で定性的な確認 15
KPI モニタリング 背景と課題 ▶
© ZOZO, Inc. 動的な閾値で異常検知をしたい 16 1. トレンドを考慮した異常検知が不可能 ▶▶ ⚠ 固定の閾値で異常検知
© ZOZO, Inc. 17 2. モニタリングの設定が面倒 異常値判定のための設定項目 が多く面倒なので設定項目を 少なくしたい
© ZOZO, Inc. 対応者がシステムを作った人に限られて しまうという属人化の問題が発生 アラート対応フローが不明確なので 明確にしたい 18 3. アラート対応フローが不明確
© ZOZO, Inc. Slack に定期配信している ダッシュボードのサマリが 活用されていない 定期的に施策の KPI を把握し
定性的な異常検知を するためにも 活用されるようにしたい 19 4. サマリの定期配信が形骸化
© ZOZO, Inc. 20 KPI モニタリング 課題解決のアプローチ
© ZOZO, Inc. 異常検知には時系列データの予測手法である を採用 ▼ 採用理由 1. 不確定区間(Uncertainty Intervals)を使い異常検知が可能
2. 欠損値を入力可能 3. 季節性やトレンドの特徴量を使用可能 ◦ 休日や ZOZOWEEK などのイベントを考慮可能 4. 社内での使用経験がある 21 1. 異常検知の自動化
© ZOZO, Inc. システム構成 22 1. 異常検知の自動化 1. 意図した期間でデータが挿入されているか? 2.
挿入されたデータが異常値かどうか? =
© ZOZO, Inc. 23 1. 異常検知の自動化 パイプラインで異常を検知 した際に指標名とグラフと ダッシュボードのリンクを Slack
に通知する
© ZOZO, Inc. 設定項目の単位を KPI 単位からテーブル単位に変更 24 2. 設定の簡素化 ▶
© ZOZO, Inc. 25 2. 設定の簡素化
© ZOZO, Inc. アラート発生時の対応を 以下の3つのパターンに分岐 1. データに問題 2. モデルに問題 3.
アラートの設定に問題 26 3. アラート対応フローの整備
© ZOZO, Inc. 27 3. アラート対応フローの整備 簡単に説明すると... 1. データに問題 ◦
データを修正 2. モデルに問題 ◦ パラメータチューニング 3. アラートの設定に問題 ◦ 指標の見直し ◦ 設定の変更
© ZOZO, Inc. 参照: 優れた分析機能とシンプルな請求書の提供 ダッシュボードを見る会とは... チームメンバーが週1で集まり チームが関係するプロダクトの KPI やコストに異常値がないか
を確認する会 28 4. ダッシュボードを見る会
© ZOZO, Inc. 29 課題解決のアプローチ
© ZOZO, Inc. • メール配信実績のトレンドに気づけた • メール配信システムで障害が起きていることが分かった • 意図しないデータのスキーマの変更が分かった •
意図しない bot アクセスが増えていることが分かった • 推薦システムが落ちており、推薦テーブルが作成できていないことが分かった • 意図しないコスト増加に気づけて、将来のコスト増加を止められた • 副次的な効果 ◦ ファッションのドメイン知識がついた ◦ システムのコスト感が分かった • … 30 効果
© ZOZO, Inc. • アラートは発生しないが実は異常値である場合の捕捉が難しい ◦ 定期的なパラメータチューニング • アラートが発生するが異常値ではない場合が多い ◦
定性的に問題なければ無視する • アラートの対応方法が未完全 ◦ 具体的にパターン化する 31 課題と展望
© ZOZO, Inc. 32 まとめ 元々は... • Looker で固定値の異常検知 •
スプレッドシート等で定性的な確認 ▶▶
© ZOZO, Inc. 33 まとめ
© ZOZO, Inc. 34 発表は以上です。 ご清聴ありがとうございました。
None