Multi Scale Recognition with DAG-CNNs

Slide 1

Slide 1 text

Multi Scale Recognition with DAG-CNNs 2016年2月6日山本大輝（@tereka114）

Slide 2

Slide 2 text

Self Introduction 1. 山本大輝 2. Acroquest Technology株式会社(2015.4.1〜) 3. システム系のエンジニア 4. Twitter（@tereka114） 5. CV勉強会参加2回目です。（発表1回目） 6. Blog:「のんびりしているエンジニアの日記」 1. http://nonbiri-tereka.hatenablog.com/

Slide 3

Slide 3 text

Outline 1. 論文の概要 2. Convolutional Neural Networkとその後の比較 3. 特徴マップのScaleの比較 4. DAG-CNNs 5. Experiments 6. Conclusion

Slide 4

Slide 4 text

Outline 1. 論文の概要 2. Convolutional Neural Networkとその後の比較 3. 特徴マップのScaleの比較 4. DAG-CNNs 5. Experiments 6. Conclusion

Slide 5

Slide 5 text

なんでこの論文？ 1. CNNって特徴量抽出しているって言われているが、それを検証していたのが興味深い。 2. DAGはDirected acyclic graph（有向非循環グラフ）です。 1. 最近、複雑な構造なネットワークが多い 2. レイヤーを統合していく考え方が増えてきている。

Slide 6

Slide 6 text

論文の概要 1. 複数のレイヤーの結果を使うDAG-CNNsを実装、実験した。 2. 複数のレイヤーの結果を使うことにより、high,middle,low- levelな特徴量を活用した。 3. DAG-CNNsにより、MIT67,Scene15,SUN397のエラー率を下げた。

Slide 7

Slide 7 text

Outline 1. 論文の概要 2. Convolutional Neural Networkとその後の比較 3. 特徴マップのScaleの比較 4. DAG-CNNs 5. Experiments 6. Conclusion

Slide 8

Slide 8 text

Convolutional Neural Networkの比較

Slide 9

Slide 9 text

Convolutional Neural Networkの比較

Slide 10

Slide 10 text

1PでわかるCNN LeCun, Y., Bottou, L., Bengio, Y., and Haffner, P. (1998d). Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11), 2278–2324

Slide 11

Slide 11 text

従来までの Convolutional Neural Network 1. Single Output CNN 1. 最後のレイヤーのみの情報を使う。 2. 非常にシンプルな構造である。 2. Multi Scale CNN 1. 結合しているのみなので、非常に高次元のデータを生成する。 2. 学習が難しく、過学習が生じやすい。

Slide 12

Slide 12 text

Outline 1. 論文の概要 2. Convolutional Neural Networkとその後の比較 3. 特徴マップのScaleの比較 4. DAG-CNNsの解説 5. Experiments 6. Conclusion

Slide 13

Slide 13 text

レイヤーにおける特徴差分の検証 1. 情報検索を用いた手法で検証し、query画像からの距離を計算し近い7画像を出力する。 2. 得たレイヤーの出力をSupport Vector Machine(SVM, One-VS-All)で分類した。 3. 各レイヤーの出力で分類を実施し、その際の結果をK x N で可視化し、ソートを実施した。

Slide 14

Slide 14 text

情報検索を用いた手法 1. 情報検索を実施し、各レイヤーで取得できる出力を元に検索した。 2. 手順は以下の通り 1. 学習して、出力した各層の出力のL2距離を求めた。 2. 距離の近い上位K（=7）件を抽出する。

Slide 15

Slide 15 text

情報検索を用いた手法

Slide 16

Slide 16 text

特徴量のレベルによる差分クエリ

Slide 17

Slide 17 text

複数のレイヤーの結果から予測 1. 複数のレイヤーの結果に対して予測し、グラフ化した。 2. 各レイヤーの出力に対してSVMでOne vs Allの手法により、 Kクラスに分類するタスクを実施した。 3. High Lavelな特徴ほど、良い結果を示している。

Slide 18

Slide 18 text

各レイヤーの情報を用いた分類結果

Slide 19

Slide 19 text

複数のレイヤーの結果から予測 1. 各クラスについて、分類を実施した。 2. 分類結果について、可視化を実施し、ヒートマップとした。その上で各層ごとに最も高い正答率にてソートした。

Slide 20

Slide 20 text

各層とクラスの正解率のマップ最も多いクラス

Slide 21

Slide 21 text

Outline 1. 論文の概要 2. Convolutional Neural Networkとその後の比較 3. 特徴マップのScaleの比較 4. DAG-CNNs 5. Experiments 6. Conclusion

Slide 22

Slide 22 text

DAG-CNNs

Slide 23

Slide 23 text

DAG-CNNsの学習 • 今回は以下の式を最適化する。入力教師誤差関数 Convolutionの重み K=Layer数、x = 学習データ y = 学習ラベル

Slide 24

Slide 24 text

DAG-CNNsの学習 • 今回は以下の式を最適化する。入力教師誤差関数 Convolutionの重み K=Layer数、x = 学習データ y = 学習ラベル BPで解く

Slide 25

Slide 25 text

DAG-CNNs

Slide 26

Slide 26 text

DAG-CNNsの学習 Convolution Layerの入力出力

Slide 27

Slide 27 text

DAG-CNNsの勾配の計算方法 Chain Rule

Slide 28

Slide 28 text

Vanishing Gradient Problem 1. 低層レイヤーまでに勾配情報が消えている問題のこと。 2. 通常、深くなっていくと勾配情報が消えていくとされている。 1. 直接つないでいるので低層も問題なく学習できる。

Slide 29

Slide 29 text

Gradient based learning

Slide 30

Slide 30 text

Outline 1. 論文の概要 2. Convolutional Neural Networkとその後の比較 3. 特徴マップのScaleの比較 4. DAG-CNNs 5. Experiments 6. Conclusion

Slide 31

Slide 31 text

Experiments 1. 分類データセットのAccuracyによる評価を実施した。 1. SUN397 1. 100Kの画像と397カテゴリー、景観画像の分類 2. MIT67 1. 15Kの画像と67カテゴリー、室内画像の分類 3. Scene15 1. 外と中の景観画像

Slide 32

Slide 32 text

Evaluation

Slide 33

Slide 33 text

MIT67のClassification Result

Slide 34

Slide 34 text

Outline 1. 論文の概要 2. Convolutional Neural Networkとその後の比較 3. 特徴マップのScaleの比較 4. DAG-CNNs 5. Experiments 6. Conclusion

Slide 35

Slide 35 text

Conclusion 1. Low LevelからHigh Levelまでの特徴について、様々な実験を用い、検証した。 2. 上記から、ネットワークDAG-CNNsを提唱した。 1. 各層の活性化関数の出力を合計する。 3. 実験より、特にMIT67によるデータ・セットに対し、成果をあげることができた。