Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥

Efficient Sub-Pixel Convolutional Neural Networ...

Efficient Sub-Pixel Convolutional Neural Network を巡るあれこれ / Sub-Pixel Convolution

エルピクセル株式会社で開催された#5【画像処理&機械学習】論文LT会!での発表資料です。
Sub-Pixel Convolution (Pixel Shuffler) が提案された論文と、周辺論文についてまとめています。

Amane Suzuki

July 22, 2019
Tweet

More Decks by Amane Suzuki

Other Decks in Programming

Transcript

  1. 今日紹介する論文 [1] Real-Time Single Image and Video Super-Resolution Using an

    Efficient Sub-Pixel Convolutional Neural Network ◦ Sub-Pixel Conv と ESPCN を提案 [2] Is the deconvolution layer the same as a convolutional layer? ◦ Transposed Conv と Sub-Pixel Conv は学習すれば一緒 [3] Checkerboard artifact free sub-pixel convolution ◦ kernel の初期化を工夫すると checkerboard artifact が出ない * 特に注釈がない図は[2]からの引用です 4
  2. Transposed Conv (Deconv) • やってることは Conv と一緒で、カーネルの形状だけが違う • checkerboard artifact

    が発生する ◦ 出力に寄与する入力画素数が異なる(=フィルタが重なる)から ◦ size=4, stride=2 なら良いかと言うとそうでもない(なんでじゃ) checkerboard artifact 6 filter overlap 図:https://distill.pub/2016/deconv-checkerboard/
  3. Upsample + Conv • 予め nearest neighbor や bilinear などで拡大してから畳み込む

    • checkerboard artifact が出ない • 補間画素に対する計算量がもったいない 7 図:https://distill.pub/2016/deconv-checkerboard/ Transposed Conv Upsample + Conv
  4. Sub-Pixel Conv と比較してみる • Sub-Pixel 空間に広げて(間を 0 埋めして)から通常の Conv •

    インデックスの振り方が変わっているだけ → 学習が進めば Transposed Conv = Sub-Pixel Conv 10
  5. ICNR[3] • Sub-Pixel Conv は checkerboard artifact free ではない ◦

    低解像上で stride=1 なら軽減はされるが…… • Conv → nearest neighbor なら checkerboard artifact は出ない • initialized to convolution NN resize(ICNR)を提案 ◦ 1/rサイズで初期化した後、r倍に拡大して初期値に使う ◦ Conv → nearest neighbor で初期化するイメージ 15
  6. まとめ • Transposed Conv(Deconv)と Sub-Pixel Conv(Pixel Shuffler)は 学習すれば一緒 • Sub-Pixel

    Conv は2通りの解釈があり、2つは同義 ◦ Sub-Pixel 空間での Conv ◦ 低解像画像上で畳み込んだ後のPixel Shuffle • Sub-Pixel Conv を利用することで低解像画像上で演算ができ、低コスト • ICNR で初期化すれば checkerboard artifact が出ない 16
  7. 参考文献 [1] W. Shi, J. Caballero, et al. Real-Time Single

    Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network. arXiv:1609.05158, 2016. [2] W. Shi, J. Caballero, et al. Is the deconvolution layer the same as a convolutional layer? arXiv:1609.07009, 2016. [3] A. Aitken, C. Ledig, et al. Checkerboard artifact free sub-pixel convolution: A note on sub-pixel convolution, resize convolution and convolution resize. arXiv:1707.02937, 2017. [4] https://distill.pub/2016/deconv-checkerboard/ 17