[cvpaper.challenge] Second-order Attention Network for Single Image Super-Resolution

Db88e5ec556878cbfd71c95a787116b2?s=47 Sou Uchida
August 25, 2019

[cvpaper.challenge] Second-order Attention Network for Single Image Super-Resolution

Presentation-styled Summarization of "Second-order Attention Network for Single Image Super-Resolution"

Db88e5ec556878cbfd71c95a787116b2?s=128

Sou Uchida

August 25, 2019
Tweet

Transcript

  1. 1.

    Second-order Attention Network for Single Image Super-Resolution Tao Dai, Jianrui

    Cai, Yongbing Zhang, Shu-Tao Xia, Lei Zhang Presenter: 内田 奏
  2. 2.

    論文情報 ➔ タイトル: Second-order Attention Network for Single Image Super-resolution

    ➔ 著者: Tao Dai1,2,*, Jianrui Cai3,*, Yongbing Zhang1, Shu-Tao Xia1,2, Lei Zhang3,4 ◆ 1) Tsinghua University ◆ 2) Peng Cheng Laboratory ◆ 3) The Hong Kong Polytechnic University ◆ 4) DAMO Academy (Alibaba) ➔ 発表形式: Oral Session (3-2C: Low-level & Optimization) Links: Paper / Implementation / Persentation
  3. 3.

    概要 ➔ Second-order Channel Attentionを用いた超解像手法を提案 ➔ Spatial Attention / Channel

    Attentionを組み込んでSOTA ➔ 高次統計量を用いることでテクスチャをうまく表現できる
  4. 4.

    研究背景 (1) ➔ Single Image Super-Resolution (SISR) ◆ 1枚の画像を入力して,解像度を高めた画像を推定 ◆

    ill-posed問題として知られる • 妥当な解が無限に存在する ◆ 周囲の特徴からコンテキストを捉える必要がある ➔ 学習ベースの手法が成功を収めている ◆ SRCNN [C. Dong et al. ECCV 2014] ◆ SRGAN [C. Ledig et al. CVPR 2017] ◆ RDN [Y. Zhuang et al. CVPR 2018] ◆ Deeper/Widerなネットワークにフォーカスが当てられてきた ◆ 特徴の相互関係が無視されていないか?
  5. 5.

    研究背景 (2) ➔ Attention機構: 特徴間の関係を学習&重み付け ◆ Spatial Attention : 空間的な特徴の相互関係を捉える

    • Non-local Network [X. Wang et al. CVRP 2018] • NLRN [D. Liu et al. NeurIPS 2018] ◆ Channel Attention : チャネルごとの特徴の相互関係を捉える • SENet [X. Hu et al. CVPR 2018] • RCAN [Y. Zhang et al. ECCV 2018] ➔ SENet, RCAN etc. は一次統計量しか用いていない ◆ Global Average Poolingを用いて集約 ◆ 二次統計量を用いると識別的な特徴を学習可能 [Q. Wang et al. ICCV 2017]
  6. 6.

    研究目的 「特徴の相互関係を意識した超解像」 ➔ コントリビューション ◆ Spatial/Channel Attentionを両方組み込んだ Second-order Attention Network

    (SAN) を提案 ◆ for Spatial Attention • Non-local Moduleを改良した Non-Local enhaced Residual Group (NLRG)を提案 ◆ for Channel Attention • 二次統計量を用いた Second-order Channel Attention (SOCA)を提案
  7. 7.

    ちょっと振り返って - Non-local Network - ➔ CNNで非局所的な情報を扱う ◆ Non-local演算: 注目点とその他の点との重み付き和を計算

    • 重みには類似度(e.g. 内積のガウシアン)を用いる ◆ Self-Attentionと等価といわれている • ☞ 『最近の深層学習における Attention機構 - CVとNLPを中心に -』 (by NEC 福井さん) Non-local演算のイメージ 計算式
  8. 8.

    ちょっと振り返って - SENet - ➔ SE Block: チャネル間の関係を学習&強調 ◆ Squeeze

    process: Global Poolingを用いてマップごとに統計量を抽出 ◆ Excitation process: 抽出した統計量をFC層に通して励起 ➔ わずかなパラメータ増加でILSVRC2017で優勝
  9. 10.

    Region-level non-local Module (RL-NL) ➔ 従来のNon-local moduleの問題点 ◆ 特徴マップのサイズが大きいと計算量が爆発 ◆

    Low-level visionではそこまで大域的である必要がない ➔ Region-level none-local module (RL-NL) ◆ 特徴マップをk × k個のグリッドに分割し,高速化&効率化
  10. 11.

    Second-order Channel Attention ➔ 従来のChannel Attention ◆ 一次統計量(e.g. 平均,分散)を用いたGlobal Pooling

    ◆ NNの識別能力を活かしきれていないのでは? ➔ Second-order Channel Attention Module (SOCA) ◆ 二次統計量 (i.e. 共分散行列)を用いたGlobal Pooling • 直接用いるのではなく,正規化およびチャネル毎に集約 (後述) ◆ 特徴の相互依存性を捉えて,より識別的な特徴を学習
  11. 13.

    Covariance Normalization Acceleration ➔ Newton-Schultz Iterationによる固有値分解の高速化 ◆ Y 0 =Σ,Z

    0 =Iとして次式をN 回反復 ◆ 収束性の保証するため Σを事前正規化 ◆ 事前正規化によりスケールが変わるため後処理
  12. 15.

    実験設定 ➔ データセット ◆ trainデータ: DIV2K ◆ testデータ: Set5, Set14,

    BSD100, Urban100, Manga109 ➔ 低解像度画像の作り方 ◆ Bicubic Interpolation (BI) ◆ Gaussian-Blur Downsampling (BD) ➔ 評価方法 ◆ YCbCrに変換し,Yチャネルで評価 ➔ 評価指標 ◆ PSNR [dB]: 信号の最大パワーと誤差の比. MSEをlogスケールにしたもの ◆ SSIM: 構造類似度.局所的な輝度・コントラスト・構造変化に敏感.
  13. 16.

    Ablation Study ➔ ベースライン ◆ RL-NL, SSC, SOCAを含まないモデル ◆ 10

    (Residual Block) x 20 (Residual Group) の計400層のCNN モジュール単体での効果 一次 vs 二次
  14. 19.

    まとめ ➔ Second-order Attention Network (SAN)の提案 ◆ Non-local moduleによるSpatial Attention

    (NLRG) ◆ 二次統計量を用いた Channel Attention (SOCA) • 共分散行列を正規化して用いる ◆ 特徴の相互依存性を意識した超解像 ➔ 結果 ◆ SOTA! ◆ テクスチャ情報の復元に強い (?) • 付録がもっと欲しい印象 • 内部特徴表現の可視化とかやってほしかった