Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ファッションアイテムの類似画像検索を実装してみました/Fashion Tech Meetup ...
Search
tn1031
March 22, 2016
Technology
3
9.1k
ファッションアイテムの類似画像検索を実装してみました/Fashion Tech Meetup #2 LT
2016/03/22
Fashion Tech Meetup #2
tn1031
March 22, 2016
Tweet
Share
More Decks by tn1031
See All by tn1031
Outfit Generation and Style Extraction via Bidirectional LSTM and Autoencoder
tn1031
0
110
インタラクティブな属性操作が可能なファッションアイテム検索/attribute manipulation survey
tn1031
0
1.1k
Autoencoderを用いたOutfitからのスタイル抽出/style auto encoder
tn1031
0
12k
fashion_workshop_survey/Size Recommendation System for Fashion E-commerce
tn1031
0
270
画像を用いたファッションアイテム検索/Image Retrieval for Fashion
tn1031
0
5.4k
ファッションアイテム検索における深層学習の活用/Fashion Item Retrieval using Deep Learning
tn1031
0
2.3k
ディープラーニングでコーデを提案/FashionTechMeetup#4
tn1031
0
2.2k
KDD 2016勉強会/Images Don’t Lie: Transferring Deep Visual Semantic Features to Large-Scale Multimodal Learning to Rank
tn1031
0
1k
ファッションのコーディネートを自動生成してみた/FashionTech Talks Tokyo #1 LT
tn1031
2
1.1k
Other Decks in Technology
See All in Technology
クラウド関連のインシデントケースを収集して見えてきたもの
lhazy
9
1.8k
急成長する企業で作った、エンジニアが輝ける制度/ 20250227 Rinto Ikenoue
shift_evolve
0
190
AI自体のOps 〜LLMアプリの運用、AWSサービスとOSSの使い分け〜
minorun365
PRO
9
780
Global Databaseで実現するマルチリージョン自動切替とBlue/Greenデプロイ
j2yano
0
150
ウォンテッドリーのデータパイプラインを支える ETL のための analytics, rds-exporter / analytics, rds-exporter for ETL to support Wantedly's data pipeline
unblee
0
140
Snowflake ML モデルを dbt データパイプラインに組み込む
estie
0
110
Apache Iceberg Case Study in LY Corporation
lycorptech_jp
PRO
0
350
Amazon Q Developerの無料利用枠を使い倒してHello worldを表示させよう!
nrinetcom
PRO
2
120
IoTシステム開発の複雑さを低減するための統合的アーキテクチャ
kentaro
1
120
入門 PEAK Threat Hunting @SECCON
odorusatoshi
0
170
AIエージェント元年@日本生成AIユーザ会
shukob
1
250
いまからでも遅くない!コンテナでWebアプリを動かしてみよう!コンテナハンズオン編
nomu
0
170
Featured
See All Featured
Agile that works and the tools we love
rasmusluckow
328
21k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.1k
Large-scale JavaScript Application Architecture
addyosmani
511
110k
Practical Orchestrator
shlominoach
186
10k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
27
1.6k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Faster Mobile Websites
deanohume
306
31k
Why Our Code Smells
bkeepers
PRO
336
57k
Music & Morning Musume
bryan
46
6.4k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
13
1k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
129
19k
Transcript
ϑΝογϣϯΞΠςϜͷ ྨࣅը૾ݕࡧΛ࣮ͯ͠Έ·ͨ͠ 2016/03/22 FASHION TECH MEETUP #2 Presented by @tn1031,
VASILY Inc.
0. ࣗݾհ ࣗݾհ ▸ தଜ ຏ / @tn1031 ▸ σʔλαΠΤϯςΟετ
▸ SIer(2) -> VASILY(3िؒ) ▸ ػցֶशΛઐ߈ ▸ SHIROBAKOਓੜ 2 @tn1031 ਓೳɹɹɹɹɹ झຯͰᅂΉఔ SHIROBAKOͷଚ͍ը૾
1. औΓΈͷഎܠ ྨࣅը૾ݕࡧ͕͋Δͱྑ͍໘ ʮཉ͍͠ΞΠςϜ͋Δ͚Ͳɺߴͯ͘ख͕ग़ͳ͍ɻʯ ʮଥڠͯ͠ങͬͨޙʹɺ͕ࣗങͬͨͷΑΓྑ͍ͷ͕ݟ͔ͭΔɻʯ 3 ྨࣅը૾ݕࡧ͕͋Ε ʮࣅͨΞΠςϜΛ୳͠·ΘΔख͕ؒল͚Δʂʯ ʮଥڠͤͣʹΉ͜ͱ͕Ͱ͖Δʂʯ
2. ը૾ݕࡧʹ͍ͭͯ ը૾ݕࡧʹओʹ̎छྨ͋Γ·͢ ςΩετϕʔεͷݕࡧ ▸ Image meta search ▸ ը૾ʹਵ͢Δϝλσʔλɹ
ςΩετΛར༻ͨ͠ݕࡧ 4 ը૾ϕʔεͷݕࡧ ▸ Content-based image retrieval (CBIR) ▸ ςΩετใΛΘͣɺը૾ͷಛ (৭ɺܗঢ়ͳͲ)Λར༻ͨ͠ݕࡧ ը૾σʔλ ը૾σʔλ ςΩετσʔλ ͑Δใɹ ը૾σʔλ͚ͩ
2. ը૾ݕࡧʹ͍ͭͯ ը૾ݕࡧʹओʹ̎छྨ͋Γ·͢ ςΩετϕʔεͷݕࡧ ▸ Image meta search ▸ ը૾ʹਵ͢Δϝλσʔλɹ
ςΩετΛར༻ͨ͠ݕࡧ 5 ը૾ϕʔεͷݕࡧ ▸ Content-based image retrieval (CBIR) ▸ ςΩετใΛΘͣɺը૾ͷಛ (৭ɺܗঢ়ͳͲ)Λར༻ͨ͠ݕࡧ ը૾σʔλ ը૾σʔλ ͑Δใɹ ը૾σʔλ͚ͩ ςΩετσʔλ ࠓճͪ͜Βʹઓ
2. ը૾ݕࡧʹ͍ͭͯ ը૾ݕࡧѹॖͱڑܭࢉͰ͢ ը૾ݕࡧͷجຊతͳߟ͑ํ ▸ ͳΔ࣍͘ͷۭؒʹѹॖ͠ɺѹॖͨ͠ϕΫτϧͷڑʹج͍ͮͯྨࣅΛఆٛ͢Δ ▸ ࣅ͍ͯΔը૾ಉ࢜ͷڑ͕ۙ͘ɺࣅ͍ͯͳ͍ը૾ͱͷڑ͕ԕ͘ͳΔΑ͏ʹѹॖ͢Δ 6 ಛྔۭؒ
f(x) ѹॖ ͍ۙ(ࣅ͍ͯΔ) ԕ͍(ࣅ͍ͯͳ͍) ը૾σʔλ ॎԣ480pixelͷ߹ɺ࣍ݩ 480x480x3 = 691200 dim ը૾ಛྔ ը૾σʔλΛදݱ͢Δ࣍ͷϕΫτϧ ը૾Λѹॖ(=ಛநग़)͢ΔؔΛ Ͳͷ༷ʹઃܭ͢Δ͔͕େࣄ
3. ྨࣅը૾ݕࡧ CBIRΛࢼͯ͠Έ·ͨ͠ 7 3௨Γͷํ๏Ͱ࣮ 1. Color histogram + Histogram
of oriented gradients (HOG) - ίϯϐϡʔλϏδϣϯͷ౷తͳಛநग़ํ๏ 2. Convolutional Neural Network (CNN) based model - σΟʔϓϥʔχϯά(ࣝผϞσϧ)ʹΑΔಛநग़ 3. Deep Convolutional Generative Adversarial Networks (DCGAN) - σΟʔϓϥʔχϯά(ੜϞσϧ)ʹΑΔಛநग़
3. ྨࣅը૾ݕࡧ > 3.1. COLOR HISTOGRAM + HOG 1. COLOR
HISTOGRAM + HOG ▸ ը૾ͷHSVΛώετάϥϜԽ ▸ ը૾ͷًޯΛώετάϥϜԽ ▸ 2छྨͷώετάϥϜΛ݁߹ͯ͠ը૾ͷಛྔͱ͢Δ 8 HSVநग़ άϨʔɹɹ εέʔϧ ৭ใώετάϥϜ ޯใώετάϥϜ ը૾ಛྔ ޯநग़
3. ྨࣅը૾ݕࡧ > 3.1. COLOR HISTOGRAM + HOG 1. COLOR
HISTOGRAM + HOG 9 ←ΫΤϦը૾ ݕࡧ݁Ռ ↓ ←ΫΤϦը૾ ݕࡧ݁Ռ ↓
3. ྨࣅը૾ݕࡧ > 3.2. CNN BASED MODEL 2. CNN BASED
MODEL ▸ CNNΛimage netͰֶशͤ͞Δ ▸ ֶशࡁΈCNNʹΞΠςϜը૾ͱΧςΰϦϥϕϧΛೖͯ͠࠶ֶशͤ͞Δ ▸ શ݁߹ͷग़ྗΛը૾ಛྔͱ͢Δ 10 CNN શ݁߹ 4096ϊʔυ જࡏ 64ϊʔυ ग़ྗ 7ϊʔυ ΧςΰϦɹ ༧ଌ ը૾ಛྔ ݕࡧ࣌ͷڑܭࢉʹ༻ ը૾ͷϋογϡ ݕࡧରͷߜࠐʹ༻ ̍̍̌ɾɾ̍̌
3. ྨࣅը૾ݕࡧ > 3.2. CNN BASED MODEL 2. CNN BASED
MODEL 11 ←ΫΤϦը૾ ݕࡧ݁Ռ ↓ ←ΫΤϦը૾ ݕࡧ݁Ռ ↓
3. ྨࣅը૾ݕࡧ > 3.3. DCGAN 3. DCGAN ▸ DCGANͰGeneratorͱDiscriminatorͷֶशΛߦ͏ ▸
ֶशࡁΈGeneratorΛ༻͍ͯVectorizerͷֶशΛߦ͏ ▸ ֶशࡁΈVectorizerΛ༻͍ͯը૾Λ100࣍ݩͷϕΫτϧʹม͢Δ 12 DCGAN DISCRIPTOR GENERATOR TRAINED DISCRIPTOR TRAINED GENERATOR TRAINED GENERATOR VECTORIZER 100࣍ݩ ϕΫτϧ(ཚ) ը૾ੜ(ِ) TRAINEDɹ VECTORIZER ΞΠςϜը૾ 100࣍ݩ ϕΫτϧ 100࣍ݩ ϕΫτϧ ↓ ը૾ಛྔ Ϟσϧֶश ಛநग़
3. ྨࣅը૾ݕࡧ > 3.3. DCGAN 3. DCGAN 13 DCGAN DISCRIPTOR
GENERATOR TRAINED DISCRIPTOR TRAINED GENERATOR TRAINED GENERATOR VECTORIZER 100࣍ݩ ϕΫτϧ(ཚ) ը૾ੜ(ِ) TRAINEDɹ VECTORIZER ΞΠςϜը૾ 100࣍ݩ ϕΫτϧ 100࣍ݩ ϕΫτϧ ↓ ը૾ಛྔ Ϟσϧֶश ಛநग़ ฐࣾςοΫϒϩάͰ·ͱΊ͍ͯ·͢ http://tech.vasily.jp/entry/fashion-deep-learning
3. ྨࣅը૾ݕࡧ > 3.3. DCGAN 3. DCGAN 14 ←ΫΤϦը૾ ݕࡧ݁Ռ
↓ ←ΫΤϦը૾ ݕࡧ݁Ռ ↓
3. ྨࣅը૾ݕࡧ > 3.4. ֤छ๏ͷൺֱ ͬͯΈͨײ 15 COLOR HISTOGRAM +
HOG CNN BASED MODEL DCGAN ख๏ ϝϦοτ σϝϦοτ ݕࡧ݁Ռͷ੍ޚ͕؆୯ લॲཧ͕େม ѹॖ͕ѱ͍ લॲཧָ͕ ϋογϡΛར༻ͨ͠ݕࡧ ඞཁͳใֶ͕शͷաఔͰ མͪΔ͜ͱ͕͋Δ લॲཧָ͕ ѹॖ͕ྑ͍ ݕࡧ݁Ռͷ੍ޚ͕ҋ
4. ·ͱΊͱࠓޙͷ՝ ·ͱΊ ▸ ྨࣅը૾ݕࡧػೳΛ࣮ͨ͠ - ݁Ռʹख๏ͷݸੑ͕ݟΕͯ໘ന͍ 16 ࠓޙͷ՝ ▸
ݕࡧ্ - ॠ࣌ʹݕࡧ݁Ռ͕ฦͬͯ͜ͳ͍ͱ͑ͳ͍ ▸ αʔϏεΛݟਾ͑ͨվળ - Ϣʔβ͕ຊʹݟ͍ͨใɺཉ͍͠ػೳԿ͔
͝ਗ਼ௌ ͋Γ͕ͱ͏͍͟͝·ͨ͠ We are hiring !! ڵຯͷ͋ΔํͷೖࣾΛ͓͓ͪͯ͠Γ·͢ʂʂ
ςΩετ ࢀߟ ▸ HoG - http://www.vision.cs.chubu.ac.jp/joint_hog/pdf/HOG +Boosting_LN.pdf ▸ CNN based
model - http://www.iis.sinica.edu.tw/papers/song/18378-F.pdf ▸ DCGAN - http://arxiv.org/abs/1511.06434 - http://tech.vasily.jp/entry/fashion-deep-learning 18