Upgrade to Pro — share decks privately, control downloads, hide ads and more …

30分で見るここ6年くらいの単一画像超解像 - CADDi STUDDi

[email protected]
December 10, 2021
6.4k

30分で見るここ6年くらいの単一画像超解像 - CADDi STUDDi

[email protected]

December 10, 2021
Tweet

Transcript

  1. 本資料の位置付け Computer Vision / Deep Learning に詳しくない人向けの資料です • 単一画像超解像って? •

    最近の単一画像超解像についての共有 ◦ 2015-2019くらいのトレンド ◦ 2019-現在くらいのトレンド • 単一画像超解像を実社会応用するにあたって気を付けるべきことの共有 ◦ 使えるの? ◦ 使っていいの?
  2. 古典的な単一画像超解像 辞書式 低 - 高パッチペア辞書を用いて拡大する 1. 学習用高画質データを小領域(パッチ)に分割しそれぞれ縮小する 2. 低画質パッチ -

    高画質パッチのペア辞書を大量に得る ------ ここまでが下準備 ------ 1. 拡大したい画像をパッチに分割する 2. ペア辞書から最も似ている低画質パッチを探し、 対応する高画質パッチをつなぎ合わせることで高画質画像を生成
  3. 超解像 + ニューラルネットワークの最初の手法 3層の畳み込みニューラルネットワークを超解像に用いたSRCNNが登場 • コンセプトは完全に辞書式と同じ ◦ 1層目で画像を小領域(パッチ)に切り出し ◦ 2層目でパッチをなんらかの特徴にエンコード

    ◦ 3層目でエンコードした特徴から高画質パッチを生成 • 35万枚の高画質画像をバイキュービックで縮小して学習用データに ◦ 教師データの用意がとても簡単 ◦ DIV2Kだと800枚だがこれでも同等かそれ以上の精度が出せる • シンプルな実装ながらも既存手法を上回る精度
  4. 2015-2019の流れ: PSNR追求手法たち SRCNNの成功をうけ、畳み込みニューラルネットワークで超解像する手法 が台頭してくる Set / BSD100 / Urban100 といった特定の評価用データセットに対して、

    正解画像と推定画像のPSNRを大きくする方法が探られる (評価データは正解画像をバイキュービックで縮小して作られた) この時期の論文はとにかくPSNRの大小を競い合っていた
  5. 2019-現在の流れ: PSNR以外の要素が注目 (既存の評価データセット・評価方法での)精度は限界に近づいてきた • 見た目重視!PSNRより画像としての綺麗さを追求しよう! ◦ GAN を用いてとにかくもっともらしく見える画像を生成 • 速度重視!リアルタイムでも動作するようにもっと高速化しよう!

    ◦ 軽量化・量子化 ◦ PSNRも評価するが、実行時間やFLOPsを重視する • 実用性重視!縮小方法が不明の際も綺麗に拡大できるようにしよう! ◦ 従来は評価データをバイキュービック縮小で作っていた ◦ 異なる縮小方法やノイズ・ブラーに頑健な手法が考案され始める ◦ Blind Image Super-Resolution と呼ばれる。個人的に最もアツい
  6. ※ 超解像論文を読むときの注意 • PSNR追求手法なのか、見た目追求手法なのか、速度追求手法なのか、 実用性追求手法なのかを見極める ◦ たいては論文のContributionにちゃんと記述がある ◦ PSNR追求を騙っておいて見た目追求手法とPSNRを比較している 論文もある

    • 評価の計算方法を把握する ◦ PSNRのための輝度計算は画像ライブラリによって異なる ◦ ライブラリAで計算した既存手法の値と、 ライブラリBで計算した提案手法の値を比較している論文もある