Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ZOZOTOWN の推薦における KPI モニタリング/KPI monitoring for ...
Search
Yu Sato
December 25, 2024
Technology
1
2.3k
ZOZOTOWN の推薦における KPI モニタリング/KPI monitoring for ZOZOTOWN recommendations
第47回 MLOps 勉強会
https://mlops.connpass.com/event/335228/
Yu Sato
December 25, 2024
Tweet
Share
More Decks by Yu Sato
See All by Yu Sato
GitHub Copilot のテクニック集/GitHub Copilot Techniques
rayuron
47
22k
Other Decks in Technology
See All in Technology
2024.02.19 W&B AIエージェントLT会 / AIエージェントが業務を代行するための計画と実行 / Algomatic 宮脇
smiyawaki0820
15
4k
AI エージェント開発を支える MaaS としての Azure AI Foundry
ryohtaka
6
630
Iceberg Meetup Japan #1 : Iceberg and Databricks
databricksjapan
0
150
Cloud Spanner 導入で実現した快適な開発と運用について
colopl
1
890
表現を育てる
kiyou77
1
220
抽象化をするということ - 具体と抽象の往復を身につける / Abstraction and concretization
soudai
27
14k
リアルタイム分析データベースで実現する SQLベースのオブザーバビリティ
mikimatsumoto
0
1.6k
なぜ私は自分が使わないサービスを作るのか? / Why would I create a service that I would not use?
aiandrox
0
870
エンジニアのためのドキュメント力基礎講座〜構造化思考から始めよう〜(2025/02/15jbug広島#15発表資料)
yasuoyasuo
18
7.1k
エンジニアが加速させるプロダクトディスカバリー 〜最速で価値ある機能を見つける方法〜 / product discovery accelerated by engineers
rince
4
490
RSNA2024振り返り
nanachi
0
620
ソフトウェアエンジニアと仕事するときに知っておいたほうが良いこと / Key points for working with software engineers
pinkumohikan
1
130
Featured
See All Featured
GraphQLの誤解/rethinking-graphql
sonatard
68
10k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.1k
4 Signs Your Business is Dying
shpigford
182
22k
Build your cross-platform service in a week with App Engine
jlugia
229
18k
Making the Leap to Tech Lead
cromwellryan
133
9.1k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
7
630
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
30
2.2k
The Cult of Friendly URLs
andyhume
78
6.2k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
29
1k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9.3k
Transcript
第47回 MLOps 勉強会 株式会社ZOZO 技術本部 データシステム部 推薦基盤ブロック ML エンジニア 佐藤
優羽 Copyright © ZOZO, Inc. 1 ZOZOTOWN の推薦における KPI モニタリング
© ZOZO, Inc. ZOZOTOWN の商品をおすすめする AI を作っています。 SNS: https://x.com/rayuron 趣味:
生成 AI、ブレイキン、DJ、DTM... 株式会社ZOZO 技術本部 データシステム部 推薦基盤ブロック ML エンジニア 佐藤 優羽 2
© ZOZO, Inc. 1. ZOZOTOWN の紹介 2. ZOZOTOWN における推薦の紹介 3.
ZOZOTOWN の推薦における KPI の紹介 4. ZOZOTOWN の推薦における KPI モニタリングの紹介 a. 背景と課題 b. 課題解決のアプローチ c. 効果 d. 課題と展望 e. まとめ 3 目次
© ZOZO, Inc. 1. ZOZOTOWN の紹介 2. ZOZOTOWN における推薦の紹介 3.
ZOZOTOWN の推薦における KPI の紹介 4. ZOZOTOWN の推薦における KPI モニタリングの紹介 a. 背景と課題 b. 課題解決のアプローチ c. 効果 d. 課題と展望 e. まとめ 4 目次
© ZOZO, Inc. • ファッションEC • 1,600以上のショップ、9,000以上のブランドの取り扱い • 常時102万点以上の商品アイテム数と毎日平均2,600点以上の新着 商品を掲載(2024年9月末時点)
• ブランド古着のファッションゾーン「ZOZOUSED」や コスメ専門モール「ZOZOCOSME」、シューズ専門ゾーン 「ZOZOSHOES」、ラグジュアリー&デザイナーズゾーン 「ZOZOVILLA」を展開 • 即日配送サービス • ギフトラッピングサービス • ツケ払い など https://zozo.jp/ 5
© ZOZO, Inc. 1. ZOZOTOWN の紹介 2. ZOZOTOWN における推薦の紹介 3.
ZOZOTOWN の推薦における KPI の紹介 4. ZOZOTOWN の推薦における KPI モニタリングの紹介 a. 背景と課題 b. 課題解決のアプローチ c. 効果 d. 課題と展望 e. まとめ 6 目次
© ZOZO, Inc. ZOZOTOWN 内の商品を押下し た際、遷移先ページの下部にあ る枠のこと おすすめアイテム枠では詳細面 で表示されている商品に基づく 推薦商品が表示される
7 1. 商品詳細面おすすめアイテム枠 Scroll
© ZOZO, Inc. 8 2. ホーム面モジュール ZOZOTOWN を起動した時に最初に 開かれるページ モジュールと呼ばれる単位で施策ごと
の商品をグルーピングしている ホーム面上部のモールタブと性別タブ の組み合わせで表示されるモジュール が異なる モジュール scroll モール 性別
© ZOZO, Inc. メールや LINE、プッシュ通知等の コンテンツをパーソナライズする 配信タイミングもユーザーごとに パーソナライズされている 9 3.
マーケティングオートメーション(MA) クーポンメールのイメージ
© ZOZO, Inc. 1. ZOZOTOWN の紹介 2. ZOZOTOWN における推薦の紹介 3.
ZOZOTOWN の推薦における KPI の紹介 4. ZOZOTOWN の推薦における KPI モニタリングの紹介 a. 背景と課題 b. 課題解決のアプローチ c. 効果 d. 課題と展望 e. まとめ 10 目次
© ZOZO, Inc. • おすすめ商品のインプレッション数 • おすすめ商品のクリック数 • おすすめ商品経由のカート追加数 •
おすすめ商品経由のお気に入り数 • おすすめ商品経由の注文数 • おすすめ商品経由の売上 • CTR • CVR • おすすめ表示商品のカバレージ • … 11 1. 商品詳細面おすすめアイテム枠 Scroll アプリ商品詳細面の例
© ZOZO, Inc. 12 2. ホーム面モジュール モジュール scroll モール 性別
• モジュールインプレッション数 • モジュールクリック数 • モジュール経由注文数 • モジュール経由カート追加数 • モジュール経由お気に入り数 • モジュール経由売上 • CTR • CVR • 表示商品の多様性 • 表示商品のカバレージ • 商品のセレンディピティ • …
© ZOZO, Inc. • 配信数 • 開封数 • 流入数 •
注文数 • CTR • CVR • … 13 3. マーケティングオートメーション(MA) クーポンメールのイメージ
© ZOZO, Inc. 1. ZOZOTOWN の紹介 2. ZOZOTOWN における推薦の紹介 3.
ZOZOTOWN の推薦における KPI の紹介 4. ZOZOTOWN の推薦における KPI モニタリングの紹介 a. 背景と課題 b. 課題解決のアプローチ c. 効果 d. 課題と展望 e. まとめ 14 目次
© ZOZO, Inc. 元々は... • Looker で固定値の異常検知 • スプレッドシート等で定性的な確認 15
KPI モニタリング 背景と課題 ▶
© ZOZO, Inc. 動的な閾値で異常検知をしたい 16 1. トレンドを考慮した異常検知が不可能 ▶▶ ⚠ 固定の閾値で異常検知
© ZOZO, Inc. 17 2. モニタリングの設定が面倒 異常値判定のための設定項目 が多く面倒なので設定項目を 少なくしたい
© ZOZO, Inc. 対応者がシステムを作った人に限られて しまうという属人化の問題が発生 アラート対応フローが不明確なので 明確にしたい 18 3. アラート対応フローが不明確
© ZOZO, Inc. Slack に定期配信している ダッシュボードのサマリが 活用されていない 定期的に施策の KPI を把握し
定性的な異常検知を するためにも 活用されるようにしたい 19 4. サマリの定期配信が形骸化
© ZOZO, Inc. 20 KPI モニタリング 課題解決のアプローチ
© ZOZO, Inc. 異常検知には時系列データの予測手法である を採用 ▼ 採用理由 1. 不確定区間(Uncertainty Intervals)を使い異常検知が可能
2. 欠損値を入力可能 3. 季節性やトレンドの特徴量を使用可能 ◦ 休日や ZOZOWEEK などのイベントを考慮可能 4. 社内での使用経験がある 21 1. 異常検知の自動化
© ZOZO, Inc. システム構成 22 1. 異常検知の自動化 1. 意図した期間でデータが挿入されているか? 2.
挿入されたデータが異常値かどうか? =
© ZOZO, Inc. 23 1. 異常検知の自動化 パイプラインで異常を検知 した際に指標名とグラフと ダッシュボードのリンクを Slack
に通知する
© ZOZO, Inc. 設定項目の単位を KPI 単位からテーブル単位に変更 24 2. 設定の簡素化 ▶
© ZOZO, Inc. 25 2. 設定の簡素化
© ZOZO, Inc. アラート発生時の対応を 以下の3つのパターンに分岐 1. データに問題 2. モデルに問題 3.
アラートの設定に問題 26 3. アラート対応フローの整備
© ZOZO, Inc. 27 3. アラート対応フローの整備 簡単に説明すると... 1. データに問題 ◦
データを修正 2. モデルに問題 ◦ パラメータチューニング 3. アラートの設定に問題 ◦ 指標の見直し ◦ 設定の変更
© ZOZO, Inc. 参照: 優れた分析機能とシンプルな請求書の提供 ダッシュボードを見る会とは... チームメンバーが週1で集まり チームが関係するプロダクトの KPI やコストに異常値がないか
を確認する会 28 4. ダッシュボードを見る会
© ZOZO, Inc. 29 課題解決のアプローチ
© ZOZO, Inc. • メール配信実績のトレンドに気づけた • メール配信システムで障害が起きていることが分かった • 意図しないデータのスキーマの変更が分かった •
意図しない bot アクセスが増えていることが分かった • 推薦システムが落ちており、推薦テーブルが作成できていないことが分かった • 意図しないコスト増加に気づけて、将来のコスト増加を止められた • 副次的な効果 ◦ ファッションのドメイン知識がついた ◦ システムのコスト感が分かった • … 30 効果
© ZOZO, Inc. • アラートは発生しないが実は異常値である場合の捕捉が難しい ◦ 定期的なパラメータチューニング • アラートが発生するが異常値ではない場合が多い ◦
定性的に問題なければ無視する • アラートの対応方法が未完全 ◦ 具体的にパターン化する 31 課題と展望
© ZOZO, Inc. 32 まとめ 元々は... • Looker で固定値の異常検知 •
スプレッドシート等で定性的な確認 ▶▶
© ZOZO, Inc. 33 まとめ
© ZOZO, Inc. 34 発表は以上です。 ご清聴ありがとうございました。
None