Erasing Integrated Learning : A Simple yet Effective Approach for Weakly Supervised Object Localization

Slide 1

Slide 1 text

1 Copyright © Acroquest Technology Co., Ltd. All rights reserved. Erasing Integrated Learning : A Simple yet Effective Approach for Weakly Supervised Object Localization 2020/07/04（⼟） Acroquest Technology株式会社⼭本⼤輝（@tereka114）

Slide 2

Slide 2 text

⼭本⼤輝（@tereka114） 1. Acroquest Technology株式会社 ① 画像処理・⾃然⾔語処理の研究開発 2. のんびりしているエンジニアの⽇記 http://nonbiri-tereka.hatenablog.com/ 3. Kaggle Master ① Home Credit Default Risk 2nd ② IEEE Signal Processing 10th 4. 雑誌Interface 2018年12⽉号 AIひょっこり猫カメラ雑誌Interface 2020年2⽉号組み込みコンピュータ技術512 雑誌Interface 2020年8⽉号マイコン⼈⼯知能で測る

Slide 3

Slide 3 text

Acroquestの事業内容 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 3 IoT⾰新事業⼈々の⽣活基盤を変⾰する事業あらゆるモノからリアルタイムなデータ分析を実現する顧客価値創造事業企業のビジネスを変⾰する事業あらゆるデータをビジネス活⽤し新たな価値創造を実現する AIソリューション事業業務のありかたを変⾰する事業あらゆる産業で映像解析によって⾃動化・効率化を実現するプラットフォーム開発事業ビジネスを加速させる開発事業マイクロサービスアーキテクチャによる開発や DevOps実践などの活動を通してビジネスを強化するITシステムの構築を⾏う

Slide 4

Slide 4 text

日本でいちばん大切にしたい会社大賞審査委員会特別賞健康経営優良法人2018/2019 はばたく中小企業・小規模事業者300社よこはまグッドバランス賞 3年連続受賞 50／114,000社３度日本１位受賞働きがいのある会社ランキング横浜健康経営認証AAA 5／114,000社企業視察 470社会社における取組や社⾵に関して多数の賞を頂いております

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

1. 本発表の⽬的 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 7 1. 位置情報を⼊⼒データに含めない画像を学習し、物体の位置を推定する「WSOL」の問題について知る。 2. WSOLの⼀つのアプローチであるAdversarial Erasing Approach の概要を知る。 3. 本提案⼿法のEILをWSOLの問題を解く⼿法の選択肢の⼀つに選べるようになる。

Slide 8

Slide 8 text

2. 論⽂概要 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 8 1. Erasing Integrated Learning : A Simple yet Effective Approach for Weakly Supervised Object Localization 2. Oral, Transfer/Low-Shot/Semi/Unsupervised Learning 3. 概要 ① 位置情報を⼊⼒データに含めない画像を学習し、物体の位置を推定する「WSOL」の問題を解く⼿法の提案 – 従来⼿法よりも精度が⾼く、パラメータの削減ができた。 ü CUB-200-2011︓57.46(+4.42, Loc) ü ILSVIRC2016︓49.48(+0.71 Loc), 73.88(+1.38% Clsss) 4. 私の紹介動機 ① WSOL⾃体に興味があり、応⽤範囲が広いと感じたこと。

Slide 9

Slide 9 text

2. Weakly Supervised Object Localization（WSOL） Copyright © Acroquest Technology Co., Ltd. All rights reserved. 9 1. 画像とラベルを学習とし、その物体が画像中のどこに位置しているのかを推定する問題。モデルモデル学習推論 Horned Puffin Black footed Albatross

Slide 10

Slide 10 text

2. 前提知識︓Class Activation Mapping（CAM） Copyright © Acroquest Technology Co., Ltd. All rights reserved. 10 1. 画像中である物体を検知したとき、画像のどの部分を⾒てその物体だと判断したのか説明する⼿法。 ① 畳み込みの出⼒結果と全結合の重みを⽤いる。 ※Learning Deep Features for Discriminative Localization[Zhou 2017]

Slide 11

Slide 11 text

Slide 12

Slide 12 text

3. 既存⼿法1:Object Region Mining with Adversarial Erasing: A Simple Classification to Semantic Segmentation Approach[Wei 2017](a) Copyright © Acroquest Technology Co., Ltd. All rights reserved. 12 1. CNNで⼊⼒画像のCAMを求めて、判別可能な領域を推定する。 2. Erasing Operationで削除したあと、再度推論し、CAMの結果を統合する。 3. 何度も推論するため、推論回数分の計算時間がかかる。

Slide 13

Slide 13 text

3. 既存⼿法2:Adversarial Complementary Learning for Weakly Supervised Object Localization[Zhang 2018]（ACoL, b） Copyright © Acroquest Technology Co., Ltd. All rights reserved. 13 1. ErasingなしとErasingした画像を⼊⼒するCNNのブランチのCAMの結果を結合する⽅式でLocalizationを推定する。 2. 通常のCNNと⽐較して、パラメータが増える。（追加ブランチ分）

Slide 14

Slide 14 text

3. 既存⼿法3:Attention-based Dropout Layer for Weakly Supervised Object Localization[Choe 2019]（ADL, c） Copyright © Acroquest Technology Co., Ltd. All rights reserved. 14 1. Self-Attention mapに対して、2種のどちらか処理を適⽤する。 ① Drop mask（分類に重要な箇所を消す）or Importance map（分類に重要な箇所を残す） 2. Localizationの精度は向上しているが、分類に重要な領域を削除しているため、分類精度が低くなる傾向がある。

Slide 15

Slide 15 text

3. 既存⼿法の課題と提案⼿法の貢献 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 15 1. 推論回数分の計算時間のオーバーヘッドがかかる。 2. 通常のCNNと⽐較してパラメータが増える。 3. Localizationの精度が向上する代わりに、分類の精度が下がる。 1. 本提案⼿法「Erasing integrated learning」では、上記３つの問題を改善した。

Slide 16

Slide 16 text

4. 提案⼿法の概要 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 16 1. WSOLを解く学習法Erasing integrated learning（EIL）を提案、追加ブランチやステップがないため、従来と⽐較して効率的 ① Erasingあり／なし画像を処理する際に、同じパラメータのネットワークを利⽤する。 – ACoLのErasingあり／なしの画像を予測する層分のパラメータの削減が可能。 ② ACoLと⽐較して計算時間も増えないので、効率的に学習できる。 2. 更にmulti-EIL（MEIL）と呼ばれる異なるスケールの特徴マップを⽤いた⽅式も提案し、精度を改善した。 ① CUB-200-2011︓57.46(+4.42, Loc) ② ILSVIRC2016︓49.48(+0.71 Loc), 73.88(+1.38% Clsss)

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

5. 実験 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 21 No. 項⽬名内容 1 データセット • CUB-200-2011 • ILSVRC2016 2 評価指標 • Classification Accuracy • Localization Accuracy IoU 50% 超えたか • GT-Loc Classification + Localization Accuracy 3 モデル • VGG16 • InceptionV3 4 最適化⼿法 • SGD • lr 0.001 • Momentum 0.9 • Weight decay 0.0005

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

5. EILのハイパーパラメータ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 24 γ：領域削除の閾値 σ：Erased Loss側のWeightの値 • ハイパーパラメータの調整は必須 • γの値低すぎると物体の全てが消える。高すぎると識別に重要な領域が消えない。 • σの値高いほうがLocalizationの精度が上がる。 →識別で重要ではない領域のほうが広い。

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

6. 結論 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 27 1. シンプルで効率的なAdversarial Erasing ApproachであるEILを提案した。 ① 追加のパラメータなしで、分類するのに重要な領域を消した特徴マップを利⽤する⽅式を取り込んだ。 ② 更に、マルチスケールな特徴マップを統合するMEILを提案した。 2. EIL、MEILともにWSOLの問題でSoTAを達成した。

Slide 28

Slide 28 text

7. 感想 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 28 1. WSOL⼿法そのものが、⾮常に応⽤範囲が広く応⽤性が⾼い。 2. EILは⾮常にシンプルな構造でパラメータも増えないので使い勝⼿が良さそう。 3. 構造に制限がなく、EfficientNetやResNetに組み込むことが可能なため、汎⽤性が⾼い。 4. WSOLの問題を解くときの選択肢の⼀つにありだと思います。