Upgrade to Pro — share decks privately, control downloads, hide ads and more …

SizeFlags: Reducing Size and Fit Related Return...

hyodo
September 24, 2021
820

SizeFlags: Reducing Size and Fit Related Returns in Fashion E-Commerce

2021/09/24「KDD2021 参加報告&論文読み会」で、"SizeFlags: Reducing Size and Fit Related Returns in Fashion E-Commerce" を紹介しました。
イベントURL:https://connpass.com/event/223966/
論文URL:https://dl.acm.org/doi/10.1145/3447548.3467160

hyodo

September 24, 2021
Tweet

Transcript

  1. SizeFlags: Reducing Size and Fit Related Returns in Fashion E-Commerce

    KDD2021 参加報告&論文読み会 兵頭 亮介 #kdd2021_yomikai
  2. 自己紹介 兵頭 亮介 @onysuke  2021年新卒, データサイエンティスト  小売領域における分析を担当 小売DX採用サイト | 株式会社サイバーエージェント

    興味 • 機械学習を用いた意思決定支援及び産業応用 最近の話 • Notion(+ Fruition)で個人ページ作りました https://hyodo.tokyo 2
  3. 概要 SizeFlags: Reducing Size and Fit Related Returns in Fashion

    E-Commerce 背景 • ファッションECにおける返品は顧客体験や収益性に深刻な影響をもたらす 手法 • 顧客による返品データを用いてサイズ選択を支援するモデル SizeFlags を提案 ◦ 専門家のフィードバックや画像情報を事前知識として組み込むことが可能 結論 • A/Bテスト及びプロダクション環境での継続的な評価により、 提案手法による情報提示がサイズに起因する返品を削減することを示した 3
  4. 本研究:顧客ごとにパーソナライズせず商品自体のサイズ感の情報を提示する     顧客の意思決定支援という立場、情報提示にとどめることで自然な顧客体験をつくる 関連研究や事例 6 サイズをパーソナライズするアプローチ(顧客に着目) • 注文履歴を用いてサイズが正規化された潜在空間を学習 [Du+, arXiv2019]

    • 注文履歴を元に顧客に適したサイズ自体を予測 [Abdul+, RecSys2019, ...]  一方で、レコメンドされたサイズが注文されない現象が報告 [Vecchi+, B&MReview2015]      顧客体験ではなく予測サイズの精度のみで評価されている問題 [Guigourès+, RecSys2018] 返品自体に制限をかけるアプローチ • 返品の禁止、追加料金の導入、再注文の停止
  5. size issue flag 問題設定の整理 9 ある期間、カテゴリ C の 商品 a

    が “大きすぎる” (“小さすぎる”) かどうかを判定 カテゴリ C ⊂ C_all (例. jeans) 商品 a ∈ C (例. relaxed fit jeans) 大きめ ふつう
  6. Binomial Likelihood ここで、商品 𝑎 のサイズに関連する返品率:srr(a) = k / n カテゴリCの商品の返品率の平均値:π

    = mean({srr(a)}_a∈C) 商品 𝑎 における合計 𝑛 件の注文のうち、 サイズに関連した返品を 𝑘 件 観測する確率を二項分布でモデル化 12 データ • 商品毎の注文数 𝑛 • 商品毎の”サイズが大きい(小さい)”という理由の返品数 𝑘 ssr: size-related return rate
  7. *閾値 θ の決め方はappendix参照 **平均値 π と同様に標準偏差 σ を算出 σ =

    std({srr(a)}_a∈C) 2項分布の尤度とカテゴリ内返品率との差に基づき“サイズに問題がある商品かどうか”判定 商品ごとに size issue flag を判定 14 カテゴリ内返品率との差** srr(a) < π+σ: サイズに問題なし srr(a) ≧ π+σ: サイズに問題あり 2項分布の負の対数尤度* s < θ: サイズに問題なし s ≧ θ: サイズに問題あり size issue flag の判定条件
  8. 事前情報の導入 事前分布のパラメータ (α, β) は商品毎に設定する 1. 専門家のフィードバック a. 通常体型のファッションモデルに {‘certain

    size issue’, ‘potential size issue’, ‘good fit’} を尋ねる b. 集計結果をもとに (α, β) を設定※ 2. 画像情報 a. 商品画像をSizeNet(サイズ問題有無を予測するCNN)[Karessli+, CVPRW2019] に入力 b. 出力されたスコアをもとに (α, β) を設定※    ※(α, β)の具体的な算出方法は言及されておらず 19
  9. モデル名の一覧 21 モデル名 注文&返品 データ 事前分布 あり/なし 専門家の フィードバック 画像情報

    閾値最適化 Appendix p35 V0 ✔ なし Vhf なし ✔ Vbase ✔ あり ✔ Vsn ✔ あり ✔ ✔ Vth ✔ あり ✔ ✔ SizeFlags ✔ あり ✔ ✔ ✔
  10. 実験1. A/Bテスト:V0 22 カテゴリ 靴 衣類全般 モデル V0:p14 (4)式の判定条件 サンプルサイズ※

    (treatment : control) 720,000:720,000 180,000:180,000 ※ユーザ単位 表. 実験設定
  11. 靴 衣類全般 サイズ関連返品率 E[srr(tre) - srr(con)] 全体 -3.8% - “小さい”商品

    - -4.3% “大きい”商品 - -6.6% 情報提示によりサイズに関連する返品率を3~6%削減 23 結果が部分的に報告されている 一方、サイズ予測でSOTAな既存手法 [Guigourès+, RecSys2018] では有意差なし(appendix p37)
  12. 実験2. 継続評価 Nearest Neighbor Difference-in-Difference(DID)[Heckman+, 1997]  Ω_T, Ω_C:提案手法によるサイズ情報提示 {あり, なし}

    の商品群  ここで、Ω_T と Ω_C のssr(サイズ関連返品率)は平行トレンドにあることを確認  Ω_C のうち、商品 a ∈ Ω_T と近い k個 の商品群を Ω_C* とする (実験では k=10)  ここで、商品間の距離は以下の特徴量のユークリッド距離から算出する 1. 返品率 2. 商品価格 3. 割引率 4. 返品理由が”不明”の返品率 24 Ω_T Ω_C Ω_C* a
  13. 実験2. 継続評価 Nearest Neighbor Difference-in-Difference(DID)[Heckman+, 1997] 介入時点を t_flag(a) :商品aのページで提案手法による情報提示が開始された時点 とする

    ここで、DIDを用いて平均効果は以下のように計算される 25 画像URL https://stats.stackexchange.com/questions/564/what-is-difference-in-differences t_flag(a) a∈Ω_T Ω_C* 介入前の返品率の差 介入後の返品率の差 srr: サイズ関連返品率
  14. 継続評価:Vbase Vbase:専門家のフィードバックを事前分布に組み込んだモデル 26 カテゴリ サイズ関連返品率 商品あたり 削減された平均返品数 靴 -5.65% 2.29

    衣類全般 -5.01% 1.50 • A/Bテストの結果”返品率を3~6%削減”(p23) と同程度の結果が得られた • avg. returns saved / article (“商品あたり削減された平均返品数”) について特に言及されず ◦ 返品数でみるとインパクトが小さいような気もする 表. DIDを用いたVbaseモデルの評価結果
  15. 継続評価:Vth, Vsn, SizeFlags 2020年はじめに衣類全般カテゴリにおいて3つのモデルを同時に評価 27 図. Vbaseモデルと比較して削減した返品数の割合 閾値調整 と 画像情報

    を組み合わせた SizeFlags がバランスよく効率的 2020/04に14カ国にロールアウト 明らかにサイズ に問題がある商品 全商品
  16. • 手法自体の技術的な新規性というより、 ◦ 解くべき課題に対してアプローチ ◦ プロダクト上でA/Bテスト・継続的に重要指標を評価 したことが評価されたのかなという印象 • 単純にレビュー評価の集計結果を提示した場合との比較が気になった ◦

    意思決定支援という観点では、断定的にラベルを提示するより集計結果を提示するほうが良さそう • 使えるデータの量/種類によるものの、やはり“顧客毎にサイズを推薦する” アプ ローチの方が顧客体験が良さそう ◦ 例えばユニクロは身長等に加えて好みの着用感(主観的情報) を入力させてサイズを推薦している (appendix p33) ◦ ただし実装コスト対効果を検討する必要あり 所感 28
  17. まとめ 背景 • ファッションECにおける返品は顧客体験や収益性に深刻な影響をもたらす 手法 • 顧客による返品データを用いてサイズ選択を支援するモデル SizeFlags を提案 ◦

    専門家のフィードバックや画像情報を事前知識として組み込むことが可能 結論 • A/Bテスト及びプロダクション環境での継続的な評価により、 提案手法による情報提示がサイズに起因する返品を削減することを示した 29 @onysuke
  18. SizeNet [Karessli+, CVPRW2019] slide, paper 33 https://project.inria.fr/usad/files/2019/07/SizeNet-FFSS-USAD-Talk.pdf size issue, no-size

    issue ラベルの2値分類。2項分布の負の対数尤度に基づく重み付き損失で学習
  19. Threshold Optimization size-issue-flagについて保守的な(十分大きい) θ_max = -log(ε_min) を初期値として、 以下を満たす 閾値 θ*

    を算出する 34 ここで、N(C, θ)はパラメータθのときsize-issue-flagが立った商品数     S(C, θ)は該当期間で値が変化しないsize-issue-flagが立った数(安定性)     実験では (ε_1, ε_2, ε_3) = (0.2, 0.05, 1.5) 不安定なフラグ数 N(C, θ) - S(C, θ) を一定以下にする制約のもとで、できるだけ小さい閾値を算出
  20. size-issue-flagの判定条件の閾値 θ > 0 と πのとりうる範囲 Π ⊂ [0, 1]

    が与えられたとき、 次のようにして算出 ベータ分布のパラメータ α, β の範囲 35 ここで、p0は n=0, k=0 となるエッジケースの負の対数尤度 例. Π = [0.08, 0.3], θ = 15 の場合
  21. 結果 既存手法のベンチマーク A/BテストによりSOTAである既存手法 [Guigourès+, RecSys2018] を検証 顧客毎に適切なサイズをパーソナライズするアプローチ (treatment:control = 300k:300k)

    37 cv率 カートに追加された商品数 訪問あたりの利益 サイズ関連返品率 +2.1% +1.8% +2.1% <0.5% 購買に関連する各指標は改善したものの、サイズ関連返品率は統計的に有意な差が見 られなかった
  22. 39

  23. 課題:サイズとフィット感の問題が ”大きすぎ”, “小さすぎ” といった粗い定義 • モデルの拡張 ◦ 多項分布 & ディリクレ分布

    ▪ より細分化した定義(ex. お尻周りがきつい, 袖が長い)を扱う ◦ 追加情報を用いる ▪ 商品毎のサイズ指標 今後の展望 40