Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ファッションアイテムの類似画像検索を実装してみました/Fashion Tech Meetup ...
Search
tn1031
March 22, 2016
Technology
3
9.1k
ファッションアイテムの類似画像検索を実装してみました/Fashion Tech Meetup #2 LT
2016/03/22
Fashion Tech Meetup #2
tn1031
March 22, 2016
Tweet
Share
More Decks by tn1031
See All by tn1031
Outfit Generation and Style Extraction via Bidirectional LSTM and Autoencoder
tn1031
0
110
インタラクティブな属性操作が可能なファッションアイテム検索/attribute manipulation survey
tn1031
0
1.1k
Autoencoderを用いたOutfitからのスタイル抽出/style auto encoder
tn1031
0
12k
fashion_workshop_survey/Size Recommendation System for Fashion E-commerce
tn1031
0
270
画像を用いたファッションアイテム検索/Image Retrieval for Fashion
tn1031
0
5.4k
ファッションアイテム検索における深層学習の活用/Fashion Item Retrieval using Deep Learning
tn1031
0
2.3k
ディープラーニングでコーデを提案/FashionTechMeetup#4
tn1031
0
2.2k
KDD 2016勉強会/Images Don’t Lie: Transferring Deep Visual Semantic Features to Large-Scale Multimodal Learning to Rank
tn1031
0
1k
ファッションのコーディネートを自動生成してみた/FashionTech Talks Tokyo #1 LT
tn1031
2
1.1k
Other Decks in Technology
See All in Technology
クラウド関連のインシデントケースを収集して見えてきたもの
lhazy
8
1.1k
Iceberg Meetup Japan #1 : Iceberg and Databricks
databricksjapan
0
370
AIエージェント元年@日本生成AIユーザ会
shukob
1
210
ESXi で仮想化した ARM 環境で LLM を動作させてみるぞ
unnowataru
0
180
開発組織を進化させる!AWSで実践するチームトポロジー
iwamot
2
380
生成AI×財務経理:PoCで挑むSlack AI Bot開発と現場巻き込みのリアル
pohdccoe
1
730
4th place solution Eedi - Mining Misconceptions in Mathematics
rist
0
150
自分だけの仮想クラスタを高速かつ効率的に作る kubefork
donkomura
0
100
偏光画像処理ライブラリを作った話
elerac
1
170
コンピュータビジョンの社会実装について考えていたらゲームを作っていた話
takmin
1
600
Aurora PostgreSQLがCloudWatch Logsに 出力するログの課金を削減してみる #jawsdays2025
non97
1
210
JAWS FESTA 2024「バスロケ」GPS×サーバーレスの開発と運用の舞台裏/jawsfesta2024-bus-gps-serverless
ma2shita
3
200
Featured
See All Featured
Build The Right Thing And Hit Your Dates
maggiecrowley
34
2.5k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
30
4.6k
Embracing the Ebb and Flow
colly
84
4.6k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
21
2.5k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5.2k
StorybookのUI Testing Handbookを読んだ
zakiyama
28
5.5k
The Invisible Side of Design
smashingmag
299
50k
Fashionably flexible responsive web design (full day workshop)
malarkey
406
66k
Documentation Writing (for coders)
carmenintech
67
4.6k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
133
33k
Rails Girls Zürich Keynote
gr2m
94
13k
Transcript
ϑΝογϣϯΞΠςϜͷ ྨࣅը૾ݕࡧΛ࣮ͯ͠Έ·ͨ͠ 2016/03/22 FASHION TECH MEETUP #2 Presented by @tn1031,
VASILY Inc.
0. ࣗݾհ ࣗݾհ ▸ தଜ ຏ / @tn1031 ▸ σʔλαΠΤϯςΟετ
▸ SIer(2) -> VASILY(3िؒ) ▸ ػցֶशΛઐ߈ ▸ SHIROBAKOਓੜ 2 @tn1031 ਓೳɹɹɹɹɹ झຯͰᅂΉఔ SHIROBAKOͷଚ͍ը૾
1. औΓΈͷഎܠ ྨࣅը૾ݕࡧ͕͋Δͱྑ͍໘ ʮཉ͍͠ΞΠςϜ͋Δ͚Ͳɺߴͯ͘ख͕ग़ͳ͍ɻʯ ʮଥڠͯ͠ങͬͨޙʹɺ͕ࣗങͬͨͷΑΓྑ͍ͷ͕ݟ͔ͭΔɻʯ 3 ྨࣅը૾ݕࡧ͕͋Ε ʮࣅͨΞΠςϜΛ୳͠·ΘΔख͕ؒল͚Δʂʯ ʮଥڠͤͣʹΉ͜ͱ͕Ͱ͖Δʂʯ
2. ը૾ݕࡧʹ͍ͭͯ ը૾ݕࡧʹओʹ̎छྨ͋Γ·͢ ςΩετϕʔεͷݕࡧ ▸ Image meta search ▸ ը૾ʹਵ͢Δϝλσʔλɹ
ςΩετΛར༻ͨ͠ݕࡧ 4 ը૾ϕʔεͷݕࡧ ▸ Content-based image retrieval (CBIR) ▸ ςΩετใΛΘͣɺը૾ͷಛ (৭ɺܗঢ়ͳͲ)Λར༻ͨ͠ݕࡧ ը૾σʔλ ը૾σʔλ ςΩετσʔλ ͑Δใɹ ը૾σʔλ͚ͩ
2. ը૾ݕࡧʹ͍ͭͯ ը૾ݕࡧʹओʹ̎छྨ͋Γ·͢ ςΩετϕʔεͷݕࡧ ▸ Image meta search ▸ ը૾ʹਵ͢Δϝλσʔλɹ
ςΩετΛར༻ͨ͠ݕࡧ 5 ը૾ϕʔεͷݕࡧ ▸ Content-based image retrieval (CBIR) ▸ ςΩετใΛΘͣɺը૾ͷಛ (৭ɺܗঢ়ͳͲ)Λར༻ͨ͠ݕࡧ ը૾σʔλ ը૾σʔλ ͑Δใɹ ը૾σʔλ͚ͩ ςΩετσʔλ ࠓճͪ͜Βʹઓ
2. ը૾ݕࡧʹ͍ͭͯ ը૾ݕࡧѹॖͱڑܭࢉͰ͢ ը૾ݕࡧͷجຊతͳߟ͑ํ ▸ ͳΔ࣍͘ͷۭؒʹѹॖ͠ɺѹॖͨ͠ϕΫτϧͷڑʹج͍ͮͯྨࣅΛఆٛ͢Δ ▸ ࣅ͍ͯΔը૾ಉ࢜ͷڑ͕ۙ͘ɺࣅ͍ͯͳ͍ը૾ͱͷڑ͕ԕ͘ͳΔΑ͏ʹѹॖ͢Δ 6 ಛྔۭؒ
f(x) ѹॖ ͍ۙ(ࣅ͍ͯΔ) ԕ͍(ࣅ͍ͯͳ͍) ը૾σʔλ ॎԣ480pixelͷ߹ɺ࣍ݩ 480x480x3 = 691200 dim ը૾ಛྔ ը૾σʔλΛදݱ͢Δ࣍ͷϕΫτϧ ը૾Λѹॖ(=ಛநग़)͢ΔؔΛ Ͳͷ༷ʹઃܭ͢Δ͔͕େࣄ
3. ྨࣅը૾ݕࡧ CBIRΛࢼͯ͠Έ·ͨ͠ 7 3௨Γͷํ๏Ͱ࣮ 1. Color histogram + Histogram
of oriented gradients (HOG) - ίϯϐϡʔλϏδϣϯͷ౷తͳಛநग़ํ๏ 2. Convolutional Neural Network (CNN) based model - σΟʔϓϥʔχϯά(ࣝผϞσϧ)ʹΑΔಛநग़ 3. Deep Convolutional Generative Adversarial Networks (DCGAN) - σΟʔϓϥʔχϯά(ੜϞσϧ)ʹΑΔಛநग़
3. ྨࣅը૾ݕࡧ > 3.1. COLOR HISTOGRAM + HOG 1. COLOR
HISTOGRAM + HOG ▸ ը૾ͷHSVΛώετάϥϜԽ ▸ ը૾ͷًޯΛώετάϥϜԽ ▸ 2छྨͷώετάϥϜΛ݁߹ͯ͠ը૾ͷಛྔͱ͢Δ 8 HSVநग़ άϨʔɹɹ εέʔϧ ৭ใώετάϥϜ ޯใώετάϥϜ ը૾ಛྔ ޯநग़
3. ྨࣅը૾ݕࡧ > 3.1. COLOR HISTOGRAM + HOG 1. COLOR
HISTOGRAM + HOG 9 ←ΫΤϦը૾ ݕࡧ݁Ռ ↓ ←ΫΤϦը૾ ݕࡧ݁Ռ ↓
3. ྨࣅը૾ݕࡧ > 3.2. CNN BASED MODEL 2. CNN BASED
MODEL ▸ CNNΛimage netͰֶशͤ͞Δ ▸ ֶशࡁΈCNNʹΞΠςϜը૾ͱΧςΰϦϥϕϧΛೖͯ͠࠶ֶशͤ͞Δ ▸ શ݁߹ͷग़ྗΛը૾ಛྔͱ͢Δ 10 CNN શ݁߹ 4096ϊʔυ જࡏ 64ϊʔυ ग़ྗ 7ϊʔυ ΧςΰϦɹ ༧ଌ ը૾ಛྔ ݕࡧ࣌ͷڑܭࢉʹ༻ ը૾ͷϋογϡ ݕࡧରͷߜࠐʹ༻ ̍̍̌ɾɾ̍̌
3. ྨࣅը૾ݕࡧ > 3.2. CNN BASED MODEL 2. CNN BASED
MODEL 11 ←ΫΤϦը૾ ݕࡧ݁Ռ ↓ ←ΫΤϦը૾ ݕࡧ݁Ռ ↓
3. ྨࣅը૾ݕࡧ > 3.3. DCGAN 3. DCGAN ▸ DCGANͰGeneratorͱDiscriminatorͷֶशΛߦ͏ ▸
ֶशࡁΈGeneratorΛ༻͍ͯVectorizerͷֶशΛߦ͏ ▸ ֶशࡁΈVectorizerΛ༻͍ͯը૾Λ100࣍ݩͷϕΫτϧʹม͢Δ 12 DCGAN DISCRIPTOR GENERATOR TRAINED DISCRIPTOR TRAINED GENERATOR TRAINED GENERATOR VECTORIZER 100࣍ݩ ϕΫτϧ(ཚ) ը૾ੜ(ِ) TRAINEDɹ VECTORIZER ΞΠςϜը૾ 100࣍ݩ ϕΫτϧ 100࣍ݩ ϕΫτϧ ↓ ը૾ಛྔ Ϟσϧֶश ಛநग़
3. ྨࣅը૾ݕࡧ > 3.3. DCGAN 3. DCGAN 13 DCGAN DISCRIPTOR
GENERATOR TRAINED DISCRIPTOR TRAINED GENERATOR TRAINED GENERATOR VECTORIZER 100࣍ݩ ϕΫτϧ(ཚ) ը૾ੜ(ِ) TRAINEDɹ VECTORIZER ΞΠςϜը૾ 100࣍ݩ ϕΫτϧ 100࣍ݩ ϕΫτϧ ↓ ը૾ಛྔ Ϟσϧֶश ಛநग़ ฐࣾςοΫϒϩάͰ·ͱΊ͍ͯ·͢ http://tech.vasily.jp/entry/fashion-deep-learning
3. ྨࣅը૾ݕࡧ > 3.3. DCGAN 3. DCGAN 14 ←ΫΤϦը૾ ݕࡧ݁Ռ
↓ ←ΫΤϦը૾ ݕࡧ݁Ռ ↓
3. ྨࣅը૾ݕࡧ > 3.4. ֤छ๏ͷൺֱ ͬͯΈͨײ 15 COLOR HISTOGRAM +
HOG CNN BASED MODEL DCGAN ख๏ ϝϦοτ σϝϦοτ ݕࡧ݁Ռͷ੍ޚ͕؆୯ લॲཧ͕େม ѹॖ͕ѱ͍ લॲཧָ͕ ϋογϡΛར༻ͨ͠ݕࡧ ඞཁͳใֶ͕शͷաఔͰ མͪΔ͜ͱ͕͋Δ લॲཧָ͕ ѹॖ͕ྑ͍ ݕࡧ݁Ռͷ੍ޚ͕ҋ
4. ·ͱΊͱࠓޙͷ՝ ·ͱΊ ▸ ྨࣅը૾ݕࡧػೳΛ࣮ͨ͠ - ݁Ռʹख๏ͷݸੑ͕ݟΕͯ໘ന͍ 16 ࠓޙͷ՝ ▸
ݕࡧ্ - ॠ࣌ʹݕࡧ݁Ռ͕ฦͬͯ͜ͳ͍ͱ͑ͳ͍ ▸ αʔϏεΛݟਾ͑ͨվળ - Ϣʔβ͕ຊʹݟ͍ͨใɺཉ͍͠ػೳԿ͔
͝ਗ਼ௌ ͋Γ͕ͱ͏͍͟͝·ͨ͠ We are hiring !! ڵຯͷ͋ΔํͷೖࣾΛ͓͓ͪͯ͠Γ·͢ʂʂ
ςΩετ ࢀߟ ▸ HoG - http://www.vision.cs.chubu.ac.jp/joint_hog/pdf/HOG +Boosting_LN.pdf ▸ CNN based
model - http://www.iis.sinica.edu.tw/papers/song/18378-F.pdf ▸ DCGAN - http://arxiv.org/abs/1511.06434 - http://tech.vasily.jp/entry/fashion-deep-learning 18