Tweet
Tweet

Slide 1

Slide 1 text

SizeFlags: Reducing Size and Fit Related Returns in Fashion E-Commerce KDD2021 参加報告&論文読み会 兵頭 亮介 #kdd2021_yomikai

Slide 2

Slide 2 text

自己紹介 兵頭 亮介 @onysuke 　2021年新卒, データサイエンティスト 　小売領域における分析を担当 小売DX採用サイト | 株式会社サイバーエージェント 興味 ● 機械学習を用いた意思決定支援及び産業応用 最近の話 ● Notion（+ Fruition）で個人ページ作りました https://hyodo.tokyo 2

Slide 3

Slide 3 text

概要 SizeFlags: Reducing Size and Fit Related Returns in Fashion E-Commerce 背景 ● ファッションECにおける返品は顧客体験や収益性に深刻な影響をもたらす 手法 ● 顧客による返品データを用いてサイズ選択を支援するモデル SizeFlags を提案 ○ 専門家のフィードバックや画像情報を事前知識として組み込むことが可能 結論 ● A/Bテスト及びプロダクション環境での継続的な評価により、 提案手法による情報提示がサイズに起因する返品を削減することを示した 3

Slide 4

Slide 4 text

ファッションECにおける返品 ECのうち、特にファッションECは返品率が25~40%と高い [Mostard+, 2003] 代表的な返品理由として “サイズやフィット感の悪さ” があげられる 4 Consumers' common return reason? Wrong color, size or fit

Slide 5

Slide 5 text

返品率の増加がもたらす影響 5 ● 収益性の低下 ● 顧客体験の悪化 ● 配送による温室効果ガス排出量増

Slide 6

Slide 6 text

本研究：顧客ごとにパーソナライズせず商品自体のサイズ感の情報を提示する 　　　 顧客の意思決定支援という立場、情報提示にとどめることで自然な顧客体験をつくる 関連研究や事例 6 サイズをパーソナライズするアプローチ（顧客に着目） ● 注文履歴を用いてサイズが正規化された潜在空間を学習 [Du+, arXiv2019] ● 注文履歴を元に顧客に適したサイズ自体を予測 [Abdul+, RecSys2019, ...] 　一方で、レコメンドされたサイズが注文されない現象が報告 [Vecchi+, B&MReview2015] 　　　　　顧客体験ではなく予測サイズの精度のみで評価されている問題 [Guigourès+, RecSys2018] 返品自体に制限をかけるアプローチ ● 返品の禁止、追加料金の導入、再注文の停止

Slide 7

Slide 7 text

本研究の貢献 1. 顧客より得られる主観的な返品データを用いて、 商品のサイズ感を判定するフレームワークSizeFlagsを提案 2. 事前情報として専門家のフィードバックと商品画像情報を組み込むことで、 日々新商品が登場するファッションECにおけるコールドスタート問題に対処 3. プロダクション環境でのA/Bテストと継続調査による顧客体験の評価 7

Slide 8

Slide 8 text

やりたいこと 8 大きめ 小さめ ふつう この商品のサイズ感は {} です。 論文に掲載されていないためイメージ図 https://en.zalando.de/

Slide 9

Slide 9 text

size issue flag 問題設定の整理 9 ある期間、カテゴリ C の 商品 a が “大きすぎる” (“小さすぎる”) かどうかを判定 カテゴリ C ⊂ C_all （例. jeans） 商品 a ∈ C （例. relaxed fit jeans） 大きめ ふつう

Slide 10

Slide 10 text

手法の概要 10

Slide 11

Slide 11 text

Binomial Likelihood 11

Slide 12

Slide 12 text

Binomial Likelihood ここで、商品 𝑎 のサイズに関連する返品率：srr(a) = k / n カテゴリCの商品の返品率の平均値：π = mean({srr(a)}_a∈C) 商品 𝑎 における合計 𝑛 件の注文のうち、 サイズに関連した返品を 𝑘 件 観測する確率を二項分布でモデル化 12 データ ● 商品毎の注文数 𝑛 ● 商品毎の”サイズが大きい（小さい）”という理由の返品数 𝑘 ssr: size-related return rate

Slide 13

Slide 13 text

商品ごとに size issue flag を判定 13

Slide 14

Slide 14 text

*閾値 θ の決め方はappendix参照 **平均値 π と同様に標準偏差 σ を算出 σ = std({srr(a)}_a∈C) 2項分布の尤度とカテゴリ内返品率との差に基づき“サイズに問題がある商品かどうか”判定 商品ごとに size issue flag を判定 14 カテゴリ内返品率との差** srr(a) < π+σ: サイズに問題なし srr(a) ≧ π+σ: サイズに問題あり 2項分布の負の対数尤度* s < θ: サイズに問題なし s ≧ θ: サイズに問題あり size issue flag の判定条件

Slide 15

Slide 15 text

ここまでのアプローチの課題 コールドスタート問題 ○ 注文数 n と返品数 k が少ない場合に size-issue-flag が安定しない 　 15

Slide 16

Slide 16 text

事前情報をモデルに組み込むことで対処 コールドスタート問題 ○ 注文数 n と返品数 k が少ない場合に size-issue-flag が安定しない 　 16 画像情報 専門家の フィードバック 🗣

Slide 17

Slide 17 text

事前情報の導入 17

Slide 18

Slide 18 text

事前情報の導入 事前分布にベータ分布を用いた場合、尤度は 事後分布は次のようになる size issue flag の判定条件：p14 (4)式の更新版 18

Slide 19

Slide 19 text

事前情報の導入 事前分布のパラメータ (α, β) は商品毎に設定する 1. 専門家のフィードバック a. 通常体型のファッションモデルに {‘certain size issue’, ‘potential size issue’, ‘good fit’} を尋ねる b. 集計結果をもとに (α, β) を設定※ 2. 画像情報 a. 商品画像をSizeNet（サイズ問題有無を予測するCNN）[Karessli+, CVPRW2019] に入力 b. 出力されたスコアをもとに (α, β) を設定※ 　　　※（α, β）の具体的な算出方法は言及されておらず 19

Slide 20

Slide 20 text

実験 20 実験1. A/Bテスト 　提案手法による情報提示が返品率にもたらす効果を検証 実験2. 継続評価 　一部の顧客に継続的に悪影響を与えうるA/Bテストを用いず、DIDを用いて評価

Slide 21

Slide 21 text

モデル名の一覧 21 モデル名 注文&返品 データ 事前分布 あり/なし 専門家の フィードバック 画像情報 閾値最適化 Appendix p35 V0 ✔ なし Vhf なし ✔ Vbase ✔ あり ✔ Vsn ✔ あり ✔ ✔ Vth ✔ あり ✔ ✔ SizeFlags ✔ あり ✔ ✔ ✔

Slide 22

Slide 22 text

実験1. A/Bテスト：V0 22 カテゴリ 靴 衣類全般 モデル V0：p14 (4)式の判定条件 サンプルサイズ※ (treatment : control) 720,000:720,000 180,000:180,000 ※ユーザ単位 表. 実験設定

Slide 23

Slide 23 text

靴 衣類全般 サイズ関連返品率 E[srr(tre) - srr(con)] 全体 -3.8% - “小さい”商品 - -4.3% “大きい”商品 - -6.6% 情報提示によりサイズに関連する返品率を3~6%削減 23 結果が部分的に報告されている 一方、サイズ予測でSOTAな既存手法 [Guigourès+, RecSys2018] では有意差なし（appendix p37）

Slide 24

Slide 24 text

実験2. 継続評価 Nearest Neighbor Difference-in-Difference（DID）[Heckman+, 1997] 　Ω_T, Ω_C：提案手法によるサイズ情報提示 {あり, なし} の商品群 　ここで、Ω_T と Ω_C のssr（サイズ関連返品率）は平行トレンドにあることを確認 　Ω_C のうち、商品 a ∈ Ω_T と近い k個 の商品群を Ω_C* とする （実験では k=10） 　ここで、商品間の距離は以下の特徴量のユークリッド距離から算出する 1. 返品率 2. 商品価格 3. 割引率 4. 返品理由が”不明”の返品率 24 Ω_T Ω_C Ω_C* a

Slide 25

Slide 25 text

実験2. 継続評価 Nearest Neighbor Difference-in-Difference（DID）[Heckman+, 1997] 介入時点を t_flag(a) ：商品aのページで提案手法による情報提示が開始された時点 とする ここで、DIDを用いて平均効果は以下のように計算される 25 画像URL https://stats.stackexchange.com/questions/564/what-is-difference-in-differences t_flag(a) a∈Ω_T Ω_C* 介入前の返品率の差 介入後の返品率の差 srr: サイズ関連返品率

Slide 26

Slide 26 text

継続評価：Vbase Vbase：専門家のフィードバックを事前分布に組み込んだモデル 26 カテゴリ サイズ関連返品率 商品あたり 削減された平均返品数 靴 -5.65% 2.29 衣類全般 -5.01% 1.50 ● A/Bテストの結果”返品率を3~6%削減”（p23） と同程度の結果が得られた ● avg. returns saved / article (“商品あたり削減された平均返品数”) について特に言及されず ○ 返品数でみるとインパクトが小さいような気もする 表. DIDを用いたVbaseモデルの評価結果

Slide 27

Slide 27 text

継続評価：Vth, Vsn, SizeFlags 2020年はじめに衣類全般カテゴリにおいて3つのモデルを同時に評価 27 図. Vbaseモデルと比較して削減した返品数の割合 閾値調整 と 画像情報 を組み合わせた SizeFlags がバランスよく効率的 2020/04に14カ国にロールアウト 明らかにサイズ に問題がある商品 全商品

Slide 28

Slide 28 text

● 手法自体の技術的な新規性というより、 ○ 解くべき課題に対してアプローチ ○ プロダクト上でA/Bテスト・継続的に重要指標を評価 したことが評価されたのかなという印象 ● 単純にレビュー評価の集計結果を提示した場合との比較が気になった ○ 意思決定支援という観点では、断定的にラベルを提示するより集計結果を提示するほうが良さそう ● 使えるデータの量/種類によるものの、やはり“顧客毎にサイズを推薦する” アプ ローチの方が顧客体験が良さそう ○ 例えばユニクロは身長等に加えて好みの着用感（主観的情報） を入力させてサイズを推薦している （appendix p33） ○ ただし実装コスト対効果を検討する必要あり 所感 28

Slide 29

Slide 29 text

まとめ 背景 ● ファッションECにおける返品は顧客体験や収益性に深刻な影響をもたらす 手法 ● 顧客による返品データを用いてサイズ選択を支援するモデル SizeFlags を提案 ○ 専門家のフィードバックや画像情報を事前知識として組み込むことが可能 結論 ● A/Bテスト及びプロダクション環境での継続的な評価により、 提案手法による情報提示がサイズに起因する返品を削減することを示した 29 @onysuke

Slide 30

Slide 30 text

Appendix 30

Slide 31

Slide 31 text

背景 欧州大手のアパレルEC 31 from Supplemental Material https://dl.acm.org/doi/10.1145/3447548.3467160

Slide 32

Slide 32 text

他社事例　ユニクロ：MySize ASSIST 32 https://www.uniqlo.com/jp/ja/contents/mysize-assist/

Slide 33

Slide 33 text

SizeNet [Karessli+, CVPRW2019] slide, paper 33 https://project.inria.fr/usad/files/2019/07/SizeNet-FFSS-USAD-Talk.pdf size issue, no-size issue ラベルの2値分類。2項分布の負の対数尤度に基づく重み付き損失で学習

Slide 34

Slide 34 text

Threshold Optimization size-issue-flagについて保守的な（十分大きい） θ_max = -log(ε_min) を初期値として、 以下を満たす 閾値 θ* を算出する 34 ここで、N(C, θ)はパラメータθのときsize-issue-flagが立った商品数 　　　　S(C, θ)は該当期間で値が変化しないsize-issue-flagが立った数（安定性） 　　　　実験では (ε_1, ε_2, ε_3) = (0.2, 0.05, 1.5) 不安定なフラグ数 N(C, θ) - S(C, θ) を一定以下にする制約のもとで、できるだけ小さい閾値を算出

Slide 35

Slide 35 text

size-issue-flagの判定条件の閾値 θ > 0 と πのとりうる範囲 Π ⊂ [0, 1] が与えられたとき、 次のようにして算出 ベータ分布のパラメータ α, β の範囲 35 ここで、p0は n=0, k=0 となるエッジケースの負の対数尤度 例. Π = [0.08, 0.3], θ = 15 の場合

Slide 36

Slide 36 text

モデル名の一覧 36

Slide 37

Slide 37 text

結果 既存手法のベンチマーク A/BテストによりSOTAである既存手法 [Guigourès+, RecSys2018] を検証 顧客毎に適切なサイズをパーソナライズするアプローチ （treatment:control = 300k:300k） 37 cv率 カートに追加された商品数 訪問あたりの利益 サイズ関連返品率 +2.1% +1.8% +2.1% <0.5% 購買に関連する各指標は改善したものの、サイズ関連返品率は統計的に有意な差が見 られなかった

Slide 38

Slide 38 text

結果 継続評価：Vhf Vhf：専門家のフィードバックの集計値をラベルにしたもの 38 カテゴリ サイズ関連返品率 商品あたり 削減された返品数の平均 靴 -4.40% 5.68 繊維製品 -8.15% 5.87 ファッションモデルによるフィードバックにより、4~8%返品率削減

Slide 39

Slide 39 text

39

Slide 40

Slide 40 text

課題：サイズとフィット感の問題が ”大きすぎ”, “小さすぎ” といった粗い定義 ● モデルの拡張 ○ 多項分布 & ディリクレ分布 ■ より細分化した定義（ex. お尻周りがきつい, 袖が長い）を扱う ○ 追加情報を用いる ■ 商品毎のサイズ指標 今後の展望 40