[Nishika] Patent_TDX_3rd Solution

Transcript

1. Nishika AI×商標：イメージサーチコンペティション 3rd Place Solution チームTDX 1
2. チーム紹介 野村総合研究所のデータ分析技術者 有志7名によるチーム 菅貴博、楊梦龍、藤田一樹、佐々木理人、有馬大智、 碓井秀幸、奥山陽平(発表者) コミュニケーション：社内チャット(mattermost)とZoomで定例 タスク管理：WeKan 最終スコア: 0.666666 (3位) 2
3. アプローチ 学習の方針： ArcFaceベースのDeep Metric Learning 前処理： Cite画像へのPseudo Labeling Augmentation： Auglyによる文字印字とRandAugment モデル： CNN系2種類のアンサンブル eca-nfnetl1 convnext-small TTA： ロゴ画像のみ抽出する非対称クロップ 後処理： Test画像とTrain画像の類似性を利用 3
4. 前処理 train.csvにあるラベル誤りのクレンジング ある程度モデルが育ってきた段階(LB~0.6前半くらいの頃)で、cite 画像を使ったPseudo Labelingを実施 1. 全画像に対しコサイン類似度の高い画像同士をクラスタリング し、クラスタ毎にgroup_idを振り直し 2. train.csvの正解ラベルからさらにgroup_id同士をクラスタリング 3. cite画像の一部(5~20%)に対し、2.で振り直したgroup_idを正解 ラベルとして付与 4
5. Augmentation Auglyを使って画像内にランダムに文字を合成 文字合成後の画像に対しRandAugment 15種類のAugmentation1から2種をランダムに選択し適用 各Augmentaionの強さをEpoch毎に徐々に強くする 1: AutoContrast, Equalize, Invert, Rotate, Posterize, Solarize, SolarizeAdd, Color, Contrast, Brightness, Sharpness, ShearX, ShearY, TranslateXRel, 5
6. モデル CNN系モデル2種のアンサン ブル eca-nfnetl1 (timm) ConvNeXt Small (公式実 装) 中間～最終ステージの特徴 量マップをGeM Poolで集約 集約したベクトルを1つに結 合した後、FCで1024次元に 6
7. 学習 ElasticFace-Cos+ 類似コンペで良く利用されている CosFace/ArcFace/CurricularFace等々に比べValidationスコアが 優秀だったため採用 他の上位チームの多くが採用していたContrastive Lossは上手く学 習させる事が出来ず未使用 Optimizer: MADGRAD LR Scheduler: Cosine Annealing with Warmup LR: 4e-4, wd: 5e-4, warmup: 3epoch, total: 25epoch 7
8. TTA GrayScale, Horizontal Flip, Center Crop, 非対称クロップ 非対称クロップ: 入力画像のアスペクト比が横長すぎる画像は左半 分のみ・縦長すぎる画像は上半分のみクロップする 商標ロゴは左半面(上半面)に多く存在する事に注目 8
9. 後処理 test画像に類似したtrain画像がある場合、そのcite_gid(正解ラベ ル)を検索結果として優先的に使用 コサイン類似度が0.24以上のtrain画像の正解ラベルを最大18件 まで正解ラベルとして採用 非常に効果が大きく、10%以上(0.07~0.09)のスコア向上 9
10. 上手くいかなかったこと 与えられた予測時間(8秒)を全く使い切れていなかったため、色々な 後処理を追加する事で大きなスコアアップを狙ったが... QE, DBA SIFT, DELF, SuperPoint等の局所特徴量の利用 勾配ブースティングを使ったリランキング 画像同士をpairwiseで同一商標判定するDNNモデルを使ったリラ ンキング 10
11. 謝辞・参考リンク PyTorch Image Models(timm) https://github.com/rwightman/pytorch-image-models ConvNeXt https://github.com/facebookresearch/ConvNeXt Elastic Face https://github.com/fdbtrs/ElasticFace AugLy https://github.com/facebookresearch/AugLy 11