E-CIR: Event-Enhanced Continuous Intensity Recovery

Transcript

1. 1 E-CIR: Event-Enhanced Continuous Intensity Recovery @hasegawa_k35 第１１回 全日本コンピュータビジョン勉強会(後編) CVPR2022読み会(後編)
2. 2 紹介論文 • E-CIR: Event-Enhanced Continuous Intensity Recovery • Chen Song, Qixing Huang and Chandrajit Bajaj（The University of Texas at Austin） • イベントデータからの画像再構成の最新手法（の一つ） • 今年のCVPRでは同タスクについてもう2件発表あり • Event-Based Video Reconstruction via Potential-Assisted Spiking Neural Network • TimeReplayer: Unlocking the Potential of Event Cameras for Video Interpolation • E2V-SDE: From Asynchronous Events to Fast and Continuous Video Reconstruction via Neural Stochastic Differential Equations
3. 3 Event camera 説明 • Dynamic Vision Sensor/System(DVS)とも呼ばれる • 輝度値の変化に応じて、非同期にデータを出力する画像センサ • 数十μsオーダーの変化に対応し、消費電力も低い • 通常のカメラに比べダイナミックレンジが広い 出典：日経Robotics
4. 4 画像再構成 • 概要 • イベントデータ（とフレーム画像）からブレのない画像やフレーム補間画像、 HDR画像を生成する手法 出典 Lin+, Learning Event-Driven Video Deblurring and Interpolation , ECCV 2020 Pan+, Bringing a blurry frame alive at high frame-rate with an event camera, CVPR 2019 Rebecq+, High Speed and High Dynamic Range Video with an Event Camera, TPAMI 2019
5. 5 課題・解決策 • 既存手法の課題 • 時間的な滑らかさに欠けることがある • イベントが全ての動きをとらえていない • 個別に最適化するとジッターが発生する • 解決方法 • 映像を画素毎のパラメトリック多項式で表現 • Deep learningを用いてパラメトリック多項式で表現された シャープな動画を予測 • Refinementを導入し、シャープな視覚特徴の時間的伝播を促進
6. 6 パラメトリック表現 • 単純な表現方法 • 実際のビデオでは激しくブレることはあまり多くない ⇒ 輝度曲線があまり高次の微分情報を持たない ＝ 高次の係数が0になってしまう • キーアイディア • イベントで輝度信号の時間微分を補間する • 𝐋𝐋𝑥𝑥𝑥𝑥 𝑡𝑡 の時間微分＝輝度の時間的変化を表す • 課題：各画素でイベントの個数が異なる • 対策：画素毎に固定数のキーポイントを抽出 𝐋𝐋𝑥𝑥𝑥𝑥 𝑡𝑡 = 𝛼𝛼0 + 𝛼𝛼1 𝑡𝑡 + 𝛼𝛼2 𝑡𝑡2 + ⋯ + 𝛼𝛼𝑛𝑛 𝑡𝑡𝑛𝑛
7. 7 パラメトリック表現 • 輝度の微分をn個のキーポイントの多項式補間としてパラメータ化 • 𝛽𝛽𝑥𝑥𝑥𝑥𝑥𝑥 𝑡𝑡 ：ラグランジュ基底 • 𝛽𝛽𝑥𝑥𝑥𝑥𝑥𝑥 𝑡𝑡 = 1, ∀𝑗𝑗 ≠ 𝑖𝑖で 𝛽𝛽𝑥𝑥𝑥𝑥𝑥𝑥 𝑡𝑡 =0 という特性を持つ • 上記より、 𝑑𝑑𝐋𝐋𝑥𝑥𝑥𝑥 𝑑𝑑𝑑𝑑 𝑡𝑡 はn個のキーポイントを通過することが保証される • 𝑑𝑑𝐋𝐋𝑥𝑥𝑥𝑥 𝑑𝑑𝑑𝑑 𝑡𝑡 を不定積分することにより輝度画像𝐋𝐋𝑥𝑥𝑥𝑥 𝑡𝑡 を 回復することが可能 𝑑𝑑𝐋𝐋𝑥𝑥𝑥𝑥 𝑑𝑑𝑑𝑑 𝑡𝑡 = � 𝑖𝑖=1 𝑛𝑛 𝑑𝑑𝐋𝐋𝑥𝑥𝑥𝑥 𝑑𝑑𝑑𝑑 𝑡𝑡𝑖𝑖 � 𝛽𝛽𝑥𝑥𝑥𝑥𝑥𝑥 𝑡𝑡 𝐋𝐋𝑥𝑥𝑥𝑥 𝑡𝑡 = � 𝑑𝑑𝐋𝐋𝑥𝑥𝑥𝑥 𝑑𝑑𝑑𝑑 𝑡𝑡 + 𝑎𝑎𝑥𝑥𝑥𝑥
8. 8 推論処理 • 初期ステージとRefineステージに分けて処理 • 初期ステージ • 入力：Blur画像（1×w×h）、キーポイントタイムスタンプ（n×w×h） イベントボクセル（m ×w×h） • U-Netで多項式係数を回帰させ、それと注目タイムスタンプを用いて初期フレームを予測 • 初期再構成フレームは以下の問題を含む • 多項式関数が鋭い特徴を平滑化してしまい、ぼやけてしまう • 動きがないとイベントが発生しないため、その部分の再構成が不鮮明になる
9. 9 推論処理 • Refineステージ • 時間的特徴の伝播により、時間的に一貫性のある映像にする • 方法：リカレントネットワークを用いた 隣接フレーム間の残差予測 • 入力：初期再構成フレーム、範囲内の全イベント、 再構成フレームの空間的勾配 • 以下の目的関数が最小化されるように処理される • 第1項：Refineされた出力が残差フローに従うことを保証 • 第2項：初期再構成結果から大きく外れることを抑制 • λで2項間のバランスを調整 𝑓𝑓 = � 𝑖𝑖=1 𝑑𝑑−1 ℒ 𝐋𝐋 𝑡𝑡𝑖𝑖 + 𝐑𝐑𝑖𝑖, 𝐋𝐋 𝑡𝑡𝑖𝑖+1 + 𝜆𝜆 � 𝑖𝑖=1 𝑑𝑑 ℒ 𝐋𝐋 𝑡𝑡𝑖𝑖 , ̂ 𝐋𝐋 𝑡𝑡𝑖𝑖
10. 10 ロス関数 • Derivative loss • 時間微分自体の差分 • Primitive loss • 初期輝度値の差分 • Refinement loss • Refine後の輝度値の差分 • Residual loss • Refine時の残差の差分 ℒ𝑑𝑑 = 𝑑𝑑𝐋𝐋 𝑑𝑑𝑑𝑑 𝑔𝑔𝑔𝑔 − 𝑑𝑑𝐋𝐋 𝑑𝑑𝑑𝑑 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 1 ℒ𝑝𝑝 = 𝐋𝐋𝑔𝑔𝑔𝑔 − 𝐋𝐋𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 1 ℒ𝑟𝑟𝑟𝑟𝑟𝑟 = � ｔ 𝐋𝐋𝑔𝑔𝑔𝑔 𝑡𝑡 − 𝐋𝐋𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 𝑡𝑡 1 ℒ𝑟𝑟𝑟𝑟𝑟𝑟 = � ｔ 𝑒𝑒𝑒𝑒𝑒𝑒 𝜌𝜌 � 𝐑𝐑𝒊𝒊𝒈𝒈𝒈𝒈 1 ⊙ 𝐑𝐑𝒊𝒊𝒈𝒈𝒈𝒈 − 𝐑𝐑𝒊𝒊𝒑𝒑𝒑𝒑𝒑𝒑𝒑𝒑 1
11. 11 実験 • REDSデータセットを対象に実験 • イベントデータはESIMシミュレータ[1]を使って生成 • フレーム補間アルゴリズム[2]を使って960fpsにアップサンプリング • 画像サイズは240×180にリサイズ • 比較対象 • eSL-Net (Wang+, Event enhanced high-quality image recovery, ECCV 2020) • EDI (Pan+, Bringing a blurry frame alive at high frame-rate with an event camera, CVPR 2019) [1] Rebecq+, ESIM: an open event camera simulator, CoRL 2018 [2] Niklaus+, Video frame interpolation via adaptive separable convolution, ICCV 2017
12. 12 REDSデータセット • Motion Deblur評価用のポピュラーなデータセットの一つ • NTIRE(CVPR併設のImage Restoration/EnhancementのWorkshop）の Video Deblurring challenge で2年連続使用されている • GoPro Hero6で120fps、FHDで撮影 • 80フレームを加算平均してBlur画像を生成 • 300シーケンス、各100フレームで構成
13. 13 結果 • 客観評価 • MSEで37.4%、PSNRで17.8%、SSIMで23.3%の 改善を達成 • 主観評価 • 対EDI • 再構成結果がより鮮明、かつノイズやぼやけも少ない • 全イベントをEDIは使うため、余計なアーティファクト等が出やすい • 対eSL-Net • 過度な誇張が少ない • 双方に対して時間的な不連続性が改善 • Abrasion study • 入力からフレームとイベントのどちらかを抜く、映像フォーマットを多項式表現に するかどうか、Refineステージを 入れるかどうかで比較 • 結果：提案手法のセットが一番良い 結果となる •
14. 14 結果
15. 15 おまけ • 今回の実験で実施した学習 • Tesla V100を3枚使用、合計約100時間実施 • Machine Learning Impact calculatorによると、38.88kgのCO2 を排出したことに相当 ⇒ 平均的な車で157.2km（直線距離で東京-焼津）走ったのと同じだけの量 • 環境への負荷を軽減するために、 ソースと学習済みモデルを公開したよ！ とarXiv版では主張
16. 16 まとめ＆所感 • 輝度信号を連続的なパラメトリック関数として表現し、時間的な一貫性を 保ったイベントデータを用いた画像再構成手法を提案 • REDSデータセットにイベントデータを付けたデータセットを生成 • 将来的には空間的連続性を取り入れる予定 • 論理的に時間的整合性を取ろうとしている点は価値があると感じた • 一方で、似たような狙いを持っている手法は他にもあった気がするので、 もうちょっと比較評価結果が欲しいところ