文献紹介_20180420_CSN _ Learning Type-Aware Embeddings for Fashion Compatibility

文献紹介

Transcript

1. 文献紹介 CSN | Learning Type-Aware Embeddings for Fashion Compatibility author: Vasileva, Mariya I et al. 2018
2. abstract - outfit recommendation の model の提案 - 評価用の新しい厳格なデータセットを提案 - similarity と compatibility を同時に学習 - comatibility の学習をcategory の pair-wise に分けることで、improper triangle の 問題を解決 - より厳しい新しいデータセットで両taskともにSOTA
3. Table of Contents - Introduction - Method - Experiments & Results - Conclusion
4. Introduction - 先行研究の問題点 - improper triangle - test dataset が簡単 (Experimentsのとこで説明する。)
5. Introduction - Related Work - [(A. Veit et al. 2015) SiameseNet | Learning Visual Clothing Style with Heterogeneous Dyadic Co-occurrences.](https://arxiv.org/pdf/1509.07473.pdf)
6. Introduction - Improper Triangle 図の出典: [(K. Yamaguchi et al. 2015) Mix and Match: Joint Model for Clothing and Attribute Recognition.](http://vision.is.tohoku.ac.jp/~kyamagu) - compatibility では以下の三角不等式 が成り立つわけではない。 - 「tops A と bottoms B が compatible」かつ 「bottoms B と shoes C が compatible」→ 「tops A と shoes C が compatible」
7. Introduction - Related Work - [(X. Han et al. 2017) Bi-LSTM | Learning Fashion Compatibility with Bidirectional LSTMs.](https://arxiv.org/pdf/1707.05691.pdf)
8. Method - Data - 大元はPolyvore - outfit = item image sequence - text - 以下の 3 variants を用い た。 - Maryland Polyvore (X. Han et al. 2017) - test data が簡単 - Polyvore Outfits-D (ours) - Polyvore Outfits (ours)
9. Method - Data - Maryland Polyvore は - 定量的評価をするには test data が不適切。簡単。（Experimentsのところで説明する。） - テキストの情報が貧弱。
10. Method - Model: CSN - Veit, A., Belongie, S., Karaletsos, T.: Conditional similarity networks. In: CVPR. (2017) を参考にした。
11. Method - CSN の input/output image x category u: bottoms v: tops text t comatible image-text/text-text distance image-image distance
12. Method - Model: CSN - 3つのmoduleからなる - similarity - VSE = Visual Semantic Embedding: text と image を意味が近いと距離が近くなるよう embed - Sim: SiameseNetで、同じcategoryどうしのtext/imageを近くにembed - compatibility - Type-Specific Embed - Sim の embedded space から category pair-wise な space に projectionして、 - compatible な image どうしを近づけて embed
13. Method - VSE: Visual Semantic Embedding image x comatible 自分のimage と text は近づけ、 自分以外の text は遠ざける。 image だけでなく、textの情報も与えることで、より similarなものが近くなるよう embed。
14. Method - Sim image x comatible category が同じ image/text どうしを 近づけ、違うcategoryは遠ざける。 先行研究では、ここで compatibilityの triplet lossをとってた。
15. Method - Type-Specific Projection image x comatible projection で category の pair-wise space に分けてからcompatibility の sim learning
16. Method - Type-Specific Projection
17. Method - Model: CSN - 3つのmoduleからなる（おさらい） - similarity - VSE = Visual Semantic Embedding: text と image を意味が近いと距離が近くなるよう embed - Sim: SiameseNetで、同じcategoryどうしのtext/imageを近くにembed - compatibility - Type-Specific Embed - Sim の embedded space から category pair-wise な space に projectionして、 - compatible な image どうしを近づけて embed
18. Experiments - Evaluation - task & metric - 2 task - FITB = Fill in the Blank - Compatibility Prediction - 5 dataset - Maryland (All Negatives) - Maryland (Composition Filtering) - Maryland (Category-Aware Negative) 上と同じ? - Polyvore Outfits - Polyvore Outfits-D
19. Experiments - task(1/2) - FITB - 1 correct, 3 wrong の中から compatible な correct を選ぶ - metric: Accuracy
20. Experiments - task(2/2) - Compatibility Prediction - compatible/imconpatible な outfit を binary classification - compatible (positive sample) - Polyvore 上の outfit は全てcompatible とする。 - incompatible (negative sample) - dataset の種類により、samplingの仕方が違う。 - metric: AUC
21. - Maryland (All Negatives) - Maryland (Composition Filtering): Maryland の test data では、 - FITB: 候補 item が明らかに違う category → correct item の予測が簡単。 - Compat. Pred.: categoryの重複や欠損がある negative outfit → imcompatible と予測するのが 簡単。 - 簡単なのものを削除 Experiments (1/3) - Maryland
22. Results
23. Experiments(2/3) - Category-Aware Negative - Maryland (Category-Aware Negative): Maryland の test data では、 - FITB: 候補 item が明らかに違う category → correct item の予測が簡単。 - Compat. Pred.: categoryの重複や欠損がある outfit → imcompatible と予測するのが簡単。 - 簡単なものを削除するだけでなく、 categoryを指定してnegative sampling する。
24. Results
25. Experiments(3/3) - Polyvore Outfits(-D) - item数/outfit を増やした。 - text 情報も増やした。 - negative sampling は category-aware の方法。 - D: trainとtestでitemどうしの被りもなし。
26. Results
27. Results - Similar
28. Results - Compatible
29. Results - Outfit Generation
30. Conclusion - outfit recommendation の model の提案 - 評価用の新しい厳格なデータセットを提案 - similarity と compatibility を同時に学習 - comatibility の学習をcategory の pair-wise に分けることで、improper triangle の 問題を解決 - より厳しい新しいデータセットで両taskともにSOTA