FCN

Transcript

1. FCN(全層畳み込みNN)
2. What is Semantic Segmentation? • ピクセルごとにクラス予測をする。 • Dense Predictionと呼ばれる • ピクセルごとのクロスエントロピー誤差を ⼩さくしていくイメージ
3. 本⽇はFCN(Fully Convolutional Network) • CVPR 2015, PAMI 2016で発表 • ⼊⼒サイズが固定されてない • 畳み込み層のみでネットワーク構成 • 後続のSemantic Segmentationモデルの基礎となる考え⽅
4. Adapting classifiers for dense prediction • Image netで学習させたVGG16などのモデルをFine Tuningする。 • Fully Connected層ではなくて、畳み込み層にする
5. VGG16(画像認識） Input Conv1 フィルター3*3 パラメータ数 = 3 * 3 * 3 * 64 ＋ 64 = 1792 全結合層 パラメータ数 =7*7*512*4096+4096
6. Adapting classifiers for dense prediction 1*1のフィルター 4096個数 … 7 7 512 4096 … 1*1のフィルター 1000個数 4096 1000
7. • 各チャンネルで特徴マップを⾒ると, HeatMapになってる。 ー> 畳み込みで、元の画像の1/7までサイズが⼩さくなるので、 元の画像のピクセルに対応づけがさせたい (Upsampling) Adapting classifiers for dense prediction
8. Upsampling • ⼩さくなった特徴マップを, ⼊⼒画像と同サイズに拡⼤したい！ • そこで使われるのが, Deconvolution(逆畳み込み)
9. Deconvolution(逆畳み込み) • 特徴マップを拡⼤してから畳み込む ① Strideで指定したピクセル分離してピクセル配置 ② Kernelのサイズ-1 だけ余⽩を取る ③ Paddingで指定したpixelsだけ余⽩削る ④ 畳み込む Ex kernel size=3, padding=0, stride=1 2
10. Pooling層の特徴マップを⾜し合わせ • 最後のpooling層だけに, Deconvolutionして画像を拡⼤しても 曖昧 • 途中のpooling層で出⼒される特徴マップも元の画像サイズに Deconvolutionしてチャネルごとに⾜し合わせる。(Shift and Stich trick)
11. 出⼒層の⼿前に, 全体平均pooling • One-Hot vector化する