Unpaired Image Super-Resolution Using Pseudo-Supervision について

Unpaired Image Super-Resolution Using Pseudo-Supervision について自身の研究の輪行で紹介したもの。

Transcript

1. 論文紹介 2021/7/26 人工知能研究室ゼミ 20RMU07 長野 紘士朗
2. 1. 論文情報 2. 概要 3. 事前知識 4. 提案手法 5. 実験 6. まとめ アジェンダ 2
3. タイトル Unpaired Image Super-Resolution using Pseudo-Supervision 著者/所属 Shunta Maeda (Navier Inc.) 発表区分・詳細情報 Adversarial Learning (Submitted on 26 Feb 2020) Comments: Published by CVPR2020 Subjects: Image and Video Processing (eess.IV); Computer Vision and Pattern Recognition (cs.CV) 論文情報 3
4. 深層学習による超解像にドメイン変換を可能とするサイクル構造を導入 概要 4
5. 事前知識
6. 入力信号の解像度を高めて出力する技術 超解像とは 6
7. 超解像は画像復元問題の一つ 問題設定 低解像度画像 超解像画像 高解像度画像 復元 劣化 7
8. 不良設定 劣化処理は未知 何が難しいのか 8
9. 自己教師あり学習 深層学習による超解像 9
10. 縮小カーネルの不整合が超解像性能に 及ぼす影響 https://arxiv.org/pdf/1904.03377.pdf 深層学習による超解像 10
11. 提案手法
12. 直接拡大法 先行研究 12
13. 間接拡大法 • 欠点 先行研究 13
14. 直接拡大法および間接拡大法の欠点を同時に克服する手法を提案 提案手法の学習フロー 14
15. 補正ネットワークでのドメイン適応 提案手法の学習フロー 15
16. 実験
17. 𝐺𝑋𝑌↓ and 𝑈𝑌↓𝑌 : RCAN(Residual Channel Attention Networks)based arch. 𝐺𝑌↓𝑋 : residual blocks with 5×5 filters and fusion layers (BN, LeakyReLU) 𝐷𝑋 , 𝐷𝑌↓ and 𝐷𝑋↑ : 5 convolution layers with stride 1 but 𝐷𝑋↑ with stride 2 17 ネットワーク構造
18. 学習設定 評価指標 18 実験設定
19. AIM2019 Real-World SR Challenge 提案手法による超解像結果 19
20. 提案手法による超解像結果 20
21. 提案手法による超解像結果 21
22. 提案手法による超解像結果 22
23. まとめ
24. 深層学習による非ペア画像の超解像の精度向上を可能にした まとめ 24
25. 深層学習による電子顕微鏡画像の鮮明化に応用できないか ノイズやボケの除去に応用 25 𝐺𝑌↓𝑋 𝐺𝑋𝑌↓
26. 議論はある？ 次に読むべき論文は？ Meta-Transfer Learning for Zero-Shot Super-Resolution 議論はある？次に読むべき論文は？ 26
27. • https://ai-scholar.tech/articles/%E4%BC%81%E6%A5%ADai%E8%AB%96%E6%96%87/navier_paper • https://github.com/yoon28/pseudo-sr • https://speakerdeck.com/sansandsoc/meta-transfer-learning-for-zero-shot-super-resolution?slide=40 • https://ai-scholar.tech/articles/interview/navier_1 • https://ichi.pro/frechlet-inception-distance-fid-no-goku-kantanna-shokai-148199422232880 27 参考記事・引用文献
28. ご清聴ありがとうございました
29. 補足）深層学習による超解像手法の分類 29 29