衛星画像の5倍超解像度化コンペ 6位アプローチ

衛星画像の倍超解像度化位解法

概要 • 低解像度画像から高解像度の画像を生成する。 • 2倍3倍4倍の高解像度化については世界中の研究者が技術開発を行っているが、本コンペでは5倍にする。そのままは使えない。 • 学習用データ3,000シーン(低解像度画像と高解像度画像のペア) が用意されモデルを開発。評価用データ(低解像度画像)400
シーンで予測した高解像度画像の精度を競う

概要 • 参加者は94名。総Sub数504(おそらく1割くらいが自分) • 争う指標は「SSIM(Structural Similarity)」。高いほど精度良画像のSSIM（structural similarity）の測定（Python+OpenCV） | 技術的特異点
(tecsingularity.com)

解法 • メインに、Hybrid Attention Transformer (HAT)を使用。 (論文名：Activating More Pixels in
Image Super-Resolution Transformer)。

解法 • 以下の5つをアンサンブル 1. 事前学習HAT_SRx4をFinetuningし、INTER_CUBICで5倍になるようresize。 2. HATを5倍で学習できるよう調整しスクラッチ学習。推論時は、EDSR(“Enhanced Deep Residual Networks
for Single Image Super-Resolution”)で用いられた「self-ensemble」を実施。 3. self-ensemble手法を使ってAugmentしたデータセットを使って、HAT 5倍モデルをスクラッチ学習。推論時もself-ensemble 4. cutblur(EDSR) 。5倍で学習。 5. HAT構造をGPUメモリに載るギリギリのサイズに大きくし、Augmentしたデータセットで学習。 • アンサンブルは各ピクセルを平均 for n in filenames: imgs = [] for d in target_dir: img_path = osp.join(d,n) imgs.append(cv2.imread(img_path)) avg_img = np.sum(imgs, axis=0)/len(target_dir) avg_img = avg_img.astype(int) cv2.imwrite(osp.join(output_dir, n), avg_img)

試したことモデルアンサンブル対象 Publicスコア手法 0.69733 ESRGANx4 pretrain、resize(学習なし) 0.71648 Real-ESRNetx4 pretrain、resize
(学習なし) 0.65519 Real-ESRGANx4 pretrain、resize (学習なし) 0.68031 Real-ESRGANx4 finetune、resize 0.76446 Real-ESRNetx4 finetune、resize 0.75677 HATx4 pretrain、resize(学習なし) 0.75992 HAT-Lx4 pretrain、resize(学習なし) 〇 0.76812 HATx4 finetune 0.76713 HATx5 〇 0.76939 HATx5, self-ensemble 〇 0.76733 cutblur(EDSR), self-ensemble 〇 0.76935 HATx5 with data augmentation, self-ensemble 〇 0.76966 HAT-L x5 with data augmentation, self-ensemble (論文のLargeモデルまではGPUメモリの都合上大きくできず、少しだけLarge) 0.770530074658852 最終Privateスコア：0.776418107664789(#6) モデルアンサンブル

所感 • 超解像技術に触れることができたのは良い経験となった。 • いろいろな手法を試したものの、「4倍のPretrainモデル予測をresizeしただけ（学習なし）」のスコア0.75677から、0.014程度しか改善できなかったのが消化不良な感じ。 • 推論した結果を見るとのっぺりした画像ばかり出力され、それでも SSIM値は高かったりする。一方、水面や砂漠っぽいところなど構造物
が少ない地形では、のっぺり推論ではスコアが出ず、そういった画像だけを取り出して専用モデルを作成してみたが、あまり効果は出ず、難易度が高かった。 • 提供データをTrain/ValにSplitして検証したが、一度分割したデータセットを終始使っていたため、バリエーションを考えたりCVをきちんと行うと上位に入れたかもしれない。低SSIM画像検証データでのSSIMヒストグラム

衛星画像の5倍超解像度化コンペ 6位アプローチ

衛星画像の5倍超解像度化コンペ 6位アプローチ

tak-s

Other Decks in Science

Featured

Transcript

衛星画像の倍超解像度化位解法

概要 • 参加者は94名。総Sub数504(おそらく1割くらいが自分) • 争う指標は「SSIM(Structural Similarity)」。高いほど精度良画像のSSIM（structural similarity）の測定（Python+OpenCV） | 技術的特異点

解法 • メインに、Hybrid Attention Transformer (HAT)を使用。 (論文名：Activating More Pixels in

解法 • 以下の5つをアンサンブル 1. 事前学習HAT_SRx4をFinetuningし、INTER_CUBICで5倍になるようresize。 2. HATを5倍で学習できるよう調整しスクラッチ学習。推論時は、EDSR(“Enhanced Deep Residual Networks

試したことモデルアンサンブル対象 Publicスコア手法 0.69733 ESRGANx4 pretrain、resize(学習なし) 0.71648 Real-ESRNetx4 pretrain、resize