Upgrade to Pro — share decks privately, control downloads, hide ads and more …

10位_202304_超解像コンペ_solafune_衛星画像の超解像

sugupoko
April 06, 2023
120

 10位_202304_超解像コンペ_solafune_衛星画像の超解像

コンペリンク:https://solafune.com/ja/competitions/7a1fc5e3-49bd-4ec1-8378-974951398c98?menu=about&tab=

solafuneのコンペ。

20位以内が1万円貰えるというコンペ。ほんとにもらえるのかな?
難易度もちょうどよく勉強会で活用。

tweet : https://twitter.com/pk_sugu/status/1645948970957676545

@solafune(https://solafune.com) コンテストの参加以外を目的とした利用及び商用利用は禁止されています。商用利用・その他当コンテスト以外で利用したい場合はお問い合わせください。(https://solafune.com)

sugupoko

April 06, 2023
Tweet

Transcript

  1. Platform Technology Division Copyright 2020 Sony Semiconductor Solutions Corporation
    DATE
    1/xx
    サマリ
    • 参加コンペ:
    – Competition Detail - Solafune
    • 概要:
    – 衛星画像の超解像(5倍)
    • 学習データ3000枚程度。評価データ400枚程度
    • 順位:
    – 10位/34チーム
    • 参加94人だから難易度ちょい高めかも?
    • 基本アプローチ概要:
    – モデル:SwinIR
    • Augmentation:Rot90,HueSaturationValue、
    RGBshift,channelshuffle,Flip
    – 備考:モデルを5倍に改造してフルスクラッチ学習。画像は全部利用。
    • 役割
    – ファシリテーター(勉強会のメンバのサポート)
    • 所感:
    – イイ感じに進行できた。
    • モデル選定、コンペのレベル感含め。
    • サーベイの仕方、実装の部分。
    – 実装したかったけど、時間が無くできなかった手法があるのが悔しい
    • Cutblur、TTA
    – 私のレベルもさらに上げて、勉強会の質をさらに上げていきたい。
    – 短期間だったがメンバが頑張ってくれた。ありがとうございます!!
    – CVPR併設の、画質改善系のワークショップであるNTIREの存在を
    知れたのはでかい!
    コンペ
    概要
    結果
    縦横x5

    View full-size slide

  2. Platform Technology Division Copyright 2020 Sony Semiconductor Solutions Corporation
    DATE
    2/xx
    ValidationのSSIMヒスト
    SSIMの数値ヒスト
    著しく性能が低い画像がそこそこあり。
    このあたりがピークなのは、
    5倍だとどうしてもテクスチャが消えてしまうため。
    提出画像↓ べったり塗りつぶしのよう。

    View full-size slide

  3. Platform Technology Division Copyright 2020 Sony Semiconductor Solutions Corporation
    DATE
    3/xx
    入力画像
    真値
    超解像結果
    入力画像
    真値
    超解像結果
    苦手シーン①
    テクスチャが細かいシーン
    で過強調となってしまう。
    苦手シーン②
    ①と同様。過強調
    になってしまう。

    View full-size slide

  4. Platform Technology Division Copyright 2020 Sony Semiconductor Solutions Corporation
    DATE
    4/xx
    過強調を抑えるAugmentation、cutblur(時間が足りず未実装)
    • Cutblur:超解像タスクにおける最適なData Augmentationとは? | AI-SCHOLAR |
    AI:(人工知能)論文・技術情報メディア

    View full-size slide

  5. Platform Technology Division Copyright 2020 Sony Semiconductor Solutions Corporation
    DATE
    5/xx
    CVPR併設の画質改善系の学会NTIRE 2022調査
    • プレゼン
    – https://data.vision.ee.ethz.ch/cvl/ntire22/slides/Lugmayr_NTIRE22_SRSpace_Present
    ation.pdf
    • ポスター
    – Lugmayr_NTIRE22_SRSpace_Poster.pdf (ethz.ch)
    • まとめ?
    – andreas128/NTIRE22_Learning_SR_Space (github.com)
    • 所感:
    – SRFlow使いたかったけど商用NG。
    – 超解像も大きく分けて4種もあるのはびっくり
    • SRFLOW, GAN, VAE, IMLE

    View full-size slide

  6. Platform Technology Division Copyright 2020 Sony Semiconductor Solutions Corporation
    DATE
    6/xx
    NTIRE 2022調査

    View full-size slide

  7. Platform Technology Division Copyright 2020 Sony Semiconductor Solutions Corporation
    DATE
    7/xx

    View full-size slide

  8. Platform Technology Division Copyright 2020 Sony Semiconductor Solutions Corporation
    DATE
    8/xx
    解法リンク
    • 【solafune:5x Super-resolution of Satellite Images】private 2nd - Qiita
    • Solafune 超解像度化コンペ(5倍)3位解法 - Qiita
    • [solafune] 衛星画像の5倍超解像度化 (for OSS) の解法 (zenn.dev)

    View full-size slide