Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
[Nishika] Patent_TDX_3rd Solution
Search
Nishika-Inc
March 18, 2022
0
350
[Nishika] Patent_TDX_3rd Solution
Nishika-Inc
March 18, 2022
Tweet
Share
More Decks by Nishika-Inc
See All by Nishika-Inc
Nishika_テックチーム_ご紹介資料 / Nishika_TechTeam_Introduction
nishikainc
0
490
Nishika_Bussei_大好きオフトゥン_1st_solution.pdf
nishikainc
0
170
Nishika_Bussei_mi-solution_3rd_solution.pdf
nishikainc
0
340
Nishika_Sleep_TYS_1st_Solution.pdf
nishikainc
0
180
Nishika_Sleep_Condor_3rd_Solution.pdf
nishikainc
0
160
[Nishika] Patent_tmsbir_1st Solution
nishikainc
0
440
[Nishika] Narou_Hi F_1st Solution
nishikainc
0
270
[Nishika] Narou_z Animal_2nd Solution
nishikainc
0
220
202010_Nishika_サービス紹介 / Nishika_Service_Introduction
nishikainc
0
210
Featured
See All Featured
Agile that works and the tools we love
rasmusluckow
328
21k
Optimizing for Happiness
mojombo
376
70k
Visualization
eitanlees
146
15k
No one is an island. Learnings from fostering a developers community.
thoeni
19
3.1k
Facilitating Awesome Meetings
lara
50
6.2k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
666
120k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
7
560
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Code Reviewing Like a Champion
maltzj
521
39k
Fashionably flexible responsive web design (full day workshop)
malarkey
406
66k
Build your cross-platform service in a week with App Engine
jlugia
229
18k
The World Runs on Bad Software
bkeepers
PRO
66
11k
Transcript
Nishika AI×商標:イメージサーチコンペティション 3rd Place Solution チームTDX 1
チーム紹介 野村総合研究所のデータ分析技術者 有志7名によるチーム 菅貴博、楊梦龍、藤田一樹、佐々木理人、有馬大智、 碓井秀幸、奥山陽平(発表者) コミュニケーション:社内チャット(mattermost)とZoomで定例 タスク管理:WeKan 最終スコア: 0.666666 (3位)
2
アプローチ 学習の方針: ArcFaceベースのDeep Metric Learning 前処理: Cite画像へのPseudo Labeling Augmentation: Auglyによる文字印字とRandAugment
モデル: CNN系2種類のアンサンブル eca-nfnetl1 convnext-small TTA: ロゴ画像のみ抽出する非対称クロップ 後処理: Test画像とTrain画像の類似性を利用 3
前処理 train.csvにあるラベル誤りのクレンジング ある程度モデルが育ってきた段階(LB~0.6前半くらいの頃)で、cite 画像を使ったPseudo Labelingを実施 1. 全画像に対しコサイン類似度の高い画像同士をクラスタリング し、クラスタ毎にgroup_idを振り直し 2. train.csvの正解ラベルからさらにgroup_id同士をクラスタリング
3. cite画像の一部(5~20%)に対し、2.で振り直したgroup_idを正解 ラベルとして付与 4
Augmentation Auglyを使って画像内にランダムに文字を合成 文字合成後の画像に対しRandAugment 15種類のAugmentation1から2種をランダムに選択し適用 各Augmentaionの強さをEpoch毎に徐々に強くする 1: AutoContrast, Equalize, Invert, Rotate,
Posterize, Solarize, SolarizeAdd, Color, Contrast, Brightness, Sharpness, ShearX, ShearY, TranslateXRel, 5
モデル CNN系モデル2種のアンサン ブル eca-nfnetl1 (timm) ConvNeXt Small (公式実 装) 中間~最終ステージの特徴
量マップをGeM Poolで集約 集約したベクトルを1つに結 合した後、FCで1024次元に 6
学習 ElasticFace-Cos+ 類似コンペで良く利用されている CosFace/ArcFace/CurricularFace等々に比べValidationスコアが 優秀だったため採用 他の上位チームの多くが採用していたContrastive Lossは上手く学 習させる事が出来ず未使用 Optimizer: MADGRAD
LR Scheduler: Cosine Annealing with Warmup LR: 4e-4, wd: 5e-4, warmup: 3epoch, total: 25epoch 7
TTA GrayScale, Horizontal Flip, Center Crop, 非対称クロップ 非対称クロップ: 入力画像のアスペクト比が横長すぎる画像は左半 分のみ・縦長すぎる画像は上半分のみクロップする
商標ロゴは左半面(上半面)に多く存在する事に注目 8
後処理 test画像に類似したtrain画像がある場合、そのcite_gid(正解ラベ ル)を検索結果として優先的に使用 コサイン類似度が0.24以上のtrain画像の正解ラベルを最大18件 まで正解ラベルとして採用 非常に効果が大きく、10%以上(0.07~0.09)のスコア向上 9
上手くいかなかったこと 与えられた予測時間(8秒)を全く使い切れていなかったため、色々な 後処理を追加する事で大きなスコアアップを狙ったが... QE, DBA SIFT, DELF, SuperPoint等の局所特徴量の利用 勾配ブースティングを使ったリランキング 画像同士をpairwiseで同一商標判定するDNNモデルを使ったリラ
ンキング 10
謝辞・参考リンク PyTorch Image Models(timm) https://github.com/rwightman/pytorch-image-models ConvNeXt https://github.com/facebookresearch/ConvNeXt Elastic Face https://github.com/fdbtrs/ElasticFace
AugLy https://github.com/facebookresearch/AugLy 11