Set Transformerによるファッションコーディネート選択 / Set Transformer for Coordinating Outfits

発表資料 version 8.
中村拓磨, 斎藤侑輝. (2019) “Set Transformerによるファッションコーディネート選択”, 情報論的学習理論と機械学習研究会 (IBISML), 2019.

Transcript

1. Copyright © ZOZO Technologies, Inc. All Rights Reserved. ZOZO Research 中村拓磨, 斎藤侑輝 Set Transformerによる ファッションコーディネート選択 1/40
2. Yuki Saito 2019/1/1 ZOZO Research (ZOZO technologies, Inc.) 入社 ～ 現職 リサーチサイエンティスト 2012/4/1 キヤノン株式会社 本社R&D部門 入社 ～ 2018/11/30 退職 2015/10/1 総合研究大学院 入学 （福水研究室） 専門： 深層学習, カーネル法 （とくに教師ありクラスタマッチング） 応用： 映像認識，行動認識，隕石・惑星科学，ファッションデータ 2/40
3. 3/40
4. Main fashion recognition problems Learning compatibility. + + + + Looks nice? 4/40
5. Main fashion recognition problems Style recognition. 夏コーデ オトナ女子 ビジネス キレイめ ※発表者の主観です． 5/40
6. ファッションデータの面白さ・難しさ • Outfitはアイテムの集合体 アイテムの組み合わせがOutfitの属性を生み出すが，そこにどのような構造があるかまだ誰も知らない． データサイエンスと現代ファッション史の文理融合領域． • 不定形に推移する属性 Outfitのスタイル属性（教師ラベル）は時代とともに推移・変容する． ファッションそのものだけでなく，分野外からの影響によるトレンド変化もある (e.g., 染料の収穫高→来年の色)． • 民主主義的な多義ラベル Outfitは頻度ヒストグラムを持つ多義の属性から定まる． • 少数だが強い影響力を与えるサンプルが存在する ファッションリーダは統計的には数が少ないが大多数の庶民的なOutfitを引っ張る． しかも代表点ではない！ • 負例を作ることが難しい なんにでも組み合わせられるアイテムが存在する． ランダムに集めてきたアイテムを組み合わせたOutfitが”似合わない”とは限らない． 6/40
7. 購買・商品データ 常時65万点以上の商品アイテム数と毎日平均3,100点以上の新着商品 7/40
8. うまく推薦できると嬉しいが… Recommendation System • 共起性の高いアイテム（同時に購買）の提案 「これを買った人はこれも買ってます」 → 新しいアイテムに対応できない • 共起性の高いアイテム間の類似度が高まる ように特徴空間の学習を行い，距離の近さを使う → 同時に買われたもの同士が似合うとは限らない ファッションとして”似合う”か分からない！ 8/40
9. 300万以上の女性向けコーディネートデータを保有．ここから”似合う”を学習する 9/40
10. 10/40
11. Fill in the blank : : 11/40
12. ()の構成の仕方: e.g., Bi-LSTM Learning Fashion Compatibility with Bidirectional LSTMs (Han et al., ACM MM'17) Con: 順序を含めて学習している（必要以上に複雑な問題を解いている）． 12/40
13. ()の構成の仕方: Permutation Invariant Function 1 , … , = 1 , … , . 要素同士を入れ替えても同じ出力が得られる集合データに適した関数: (2015) Bilinear cnn models for fine-grained visual recognition. (2017) Mining fashion outfit composition using an end-to-end deep learning approach on set data. (2017) Deep sets. (2018) Set Transformer: A framework for Attention-based Permutation-Invariant Neural Networks. 今回は，近年発表されたPermutation Invariant Functionである Set Transformerをファッションデータに応用するための検討を行った． 13/40
14. Set Transformer (Lee et al., arxiv2018) Permutation Equivariant Function: Permutation Invariant Function: ※今回，Xはアイテム画像をInception-V3モデル で特徴ベクトルに変換したものとする 14/40
15. Set Transformer (Lee et al., arxiv2018) cont. From Set Transformer (Lee, 2018) Self-Attention Block (SAB) Multihead Attention Block (MAB) From Set Transformer (Lee, 2018) LN: Layer Normalization Attention( , , ) 15/40
16. Set Transformer (Lee et al., arxiv2018) cont. Attention Is All You Need (Vaswani et al., 2017) → ω s.t. • 足して1 • 非負 これをかけることで Vの要素の重み付き平均になる！ Query-Key-Valueモデル: ※実際は行列 16/40
17. が提案されたAttention Is All You Need (Vaswani et al., 2017) では，翻訳タスクにおいて以下のように単語間の関係が捉えられている（この場合はself-attention）． 17/40
18. Set Transformer (Lee et al., arxiv2018) cont. From Set Transformer (Lee, 2018) Self Attention Block (SAB) Multihead Attention Block (MAB) From Set Transformer (Lee, 2018) Subspace上の重み付き平均を複数パタンとり非線形変換を繰り返す処理 18/40
19. Set Transformer (Lee et al., arxiv2018) cont. From Set Transformer (Lee, 2018) Self Attention Block (SAB) Multihead Attention Block (MAB) From Set Transformer (Lee, 2018) 学習可能な変数SをクエリとしてEncoderの特徴ベクトルの 重み付き平均を計算し，非線形変換する処理 MABは内積なので ෠ の要素間を入れ替えても不変 →Decoder(Encoder(X))は入力Xに対してPermutation Invariant ※今回はMABではなくMultiheadを使用 19/40
20. Permutation Equivariant, InvariantはAttention関数によって決まる Attention , , = softmax = ω = ω 1 ⋮ 1 ⋯ 1 ⋮ = ω 1 ∙ 1 1 ∙ ⋱ ∙ 1 ∙ 1 ⋮ = ω 1 ∙ 1 1 ∙ ⋱ ∙ 1 ∙ 11 1 ⋱ 1 = ω 1 ∙ 1 11 + ⋯ + ω 1 ∙ 1 ω 1 ∙ 1 1 + ⋯ + ω 1 ∙ ⋱ ω ∙ 1 11 + ⋯ + ω ∙ 1 ω ∙ 1 1 + ⋯ + ω ∙ = ෍ =1 ω 1 ∙ 1 ෍ =1 ω 1 ∙ ⋱ ෍ =1 ω ∙ 1 ෍ =1 ω ∙ = ෍ =1 ω 1 ∙ 1 ෍ =1 ω 1 ∙ ⋱ ෍ =1 ω ∙ 1 ෍ =1 ω ∙ ※ , , はベクトル， , , はスカラー， = ()はpermutation関数 1. Encoderで用いるAttention関数の場合 はから求まる． の要素の順序を変えると Attention関数の = 1 , ⋯ , の順序（行方向の順序）も変わる． よってEncoderは入力に関してPermutation Equivariantである． 2. Decoderで用いるAttention関数の場合 , はから求まる． の要素の順序を変えるとAttention関数の, の要素の順序が変わる． しかし，任意のpermutation関数をとってもAttention関数の値は不変であることから， Decoderは入力に関してPermutation Invariantである．
21. Fill in the blank : : 21/40
22. argmax Decoder Encoder , , { } argmax Decoder′ Encoder , 類似度の計算 22/40
23. 埋め込み特徴量ベース類似度は工夫が必要 argmax Decoder′ Encoder , { } Attention′ { }, , = 1 Attention { }, , = softmax とは無関係な の場合（Fill in the blankでのランダムサンプリング）， 類似しない に対してもの重み付き平均で表現してしまうので破綻する （ にまったく類似しない場合と， のすべてに類似する場合， 同じ重みになる）．ここが翻訳タスクとFill in the blankが異なる点！ よってたんに重み付き和を使う． は のサンプル数． 23/40
24. N-pair Lossによる学習 Minibatch size ↑ ランダムに選択したアイテム をblankとして扱う 最大7個のアイテム →Transpose & Broadcast ： 負例 ： 正例 24/40
25. 25/40
26. 26/40
27. 27/40
28. 28/40
29. 使用するデータセット 2016 年1 月1 日～2018 年1 月1 日の間に 投稿されたコーディネートを使用 投稿者以外のユーザから50 回以上の投 票がなされたものを抽出． 199,792 種類のアイテムからなる88,674 パタンのコーディネートを含み，このうち 70,997 パタンを学習用にし，8,842 パ タンを評価用に分割を行った． 29/40
30. 実験環境 Chainerを用いて実装を行い，Amazon SageMakerを使用して学習を行った． 1xK80 12GB memory 8xK80 96GB memory 16xK80 192GB memory 1xV100 16GB memory 4xV100 64GB memory 8xV100 128GB memory 学習に一週間弱 30/40
31. 推薦アイテム候補数 (Yのサイズ) FITBfour FITBfive FITBeight Input One 0.774 0.546 0.425 Parameter S 0.778 0.544 0.423 Set Transformer 0.774 0.537 0.410 Input Y 0.763 0.519 0.396 Fill in the blank accuracy (60 epoch) Input One: argmax Decoder Encoder , , { } Parameter S: argmax Decoder Encoder , , { } argmax Decoder′ Encoder , Input Y: 実験結果: 構成の比較 Set Transformer: Parameter SのDecoderにMABを使用 実は，構成をシンプルにしても（したほうが）性能がでる 31/40
32. Ours (Input One) 32/40
33. 33/40
34. SmoothGradによる可視化結果 34/40
35. コーディネート生成実験 (MCMC like) 35/40
36. 36/40
37. 37/40
38. 38/40
39. おわりに の前に 2019/2/10, arxiv 弊社の中村談: 単純なFill in the blankの精度競争は終わった感ある 39/40
40. おわりに Set Transformerを用いてファッションデータにおける • Fill in the blank問題 • コーディネート生成問題 に適用できることを示した． 今後はファッションの専門家にコーディネート生成結果を見せて，どの程度実用的 なのか評価する予定． 原理的には筋の良い技術であると考えられるため，今後様々な応用への拡張が 考えられる． 40/40