“Event-aided Direct Sparse Odometry” Javier Hidalgo-Carrio1, Guillermo Gallego2, Davide Scaramuzza1 1Dept. of Informatics, Univ. of Zurich and Dept. of Neuroinformatics, Univ. of Zurich and ETH Zurich. 2Technische Universitat Berlin, Einstein Center Digital Future and SCIoI Excellence Cluster, Germany. 全日本コンピュータビジョン勉強会 CVPR2022論文読み会 Godel @___Godel

アジェンダ • 論文概要（選択理由） • Event Camera 概要 • Direct VS Indirect • Event-aided Direct Sparse Odometry • まとめ

論文概要（選択理由） http://xpaperchallenge.org/cv/survey/cvpr2022_summaries/626 xpaperchallenge.orgでサマ リーを書かせて頂きました． イベントカメラとフレームカメ ラのDirect法による融合の 可能性は，技術の進展とし て自然な発想として考えら れる Davide Scaramuzzaの研究 ETH Zürich（スイス連邦工科大学 チューリッヒ校）教授 ドローンの視覚制御研究の第一 人者 イベントカメラロボットビジョンの第 一人者 https://rpg.ifi.uzh.ch/index.html

Event Camera 関連技術 • Event(-based) Camera • 輝度の変化が生じたピクセル毎に、画像としてではなく （画素ｘ,画素ｙ, 輝度変化±１,輝度変化が生じた時間） を出力する2次元のイメージセンサ • 高速撮影可能（1000fps以上） • 高ダイナミックレンジ（輝度変化や明暗が大きくても撮影可能） • カメラや被写体静止時の情報は無 • Event-based Camera資料 • http://rpg.ifi.uzh.ch/research_dvs.html （ Scaramuzza研） • SSII2020チュートリアルセッション Event-Based Camera の基礎と ニューラルネットワークによる信号処理 https://confit.atlas.jp/guide/event/ssii2020/static/lecturenotes • CVPR2020 Workshop Unconventional Sensors in Robotics: Perception for Online Learning, Adap-tive Behavior, and Cognition • Profesee(https://www.prophesee.ai/buy-event-based-products-2/)が Sonyと提携し商品開発 https://gfycat.com/in credibleimpoliteblack mamba Dynamic Obstacle Avoidance for Quadrotors with Event Cameras (Science Robotics 2020) DSEC: A Stereo Event Camera Dataset for Driving Scenarios

Event Camera 関連技術（２） • Event(-based) Camera • 現状（実用期？） • SONY が Event based image sensor 発売 • ICCV2021 のChampion Sponsor SONY がEvent cameraを発売，宣伝 • 画像機器展２０２１にてsonyセンサを用いたカメラ展示 • 応用利用、実環境での研究利用促進 • DNNによるEvent ⇔ Flame 相互変換 • EVENTのAnalog Neural Network（ANN）による，RGB同等の画像処理手 法 • spiking neural network（SNN)との連携 • SNNの学習手法の提案 • Intel Loihi2等SNNのハードウエアアクセラレータ開発 • DARPA the Fast Event-based Neuromorphic Camera and Electronics (FENCE) program • Raytheon, BAE Systems, and Northrop Grumman have been selected to develop event-based infrared (IR) camera technologies • These advanced models operate asynchronously and only transmit information about pixels that have changed. This means they produce significantly less data and operate with much lower latency and power. 参照論文：http://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123610086.pdf 参照動画：https://www.youtube.com/watch?v=sUqFM4xCZHI 可視画像ドメイン イベントカメラ画像ドメイン 物体検出ドメイン （バウンディング ボックス） 中間情報１ ドメイン 中間情報２ ドメイン Network Grafting Algorithm 親のニューラルネットワーク 子のニューラルネットワーク 知 識 蒸 留 （ 親 の 知 を 子 へ 伝 播 ） ド メ イ ン 適 応 スタイル変換 第五回 全日本コンピュータビジョン勉強会 ECCV2020読み会 全日本コンピュータビジョン 勉強会 ICCV202１読み会

Direct VS Indirect http://wavelab.uwaterloo.ca/slam/2017-SLAM/Lecture14-Direct_visual_inertial_odometry_and_SLAM/slides.pdf Indirect

Event-aided Direct Sparse Odometry（EDS） • 論文内容 • イベントカメラとフレームカメラを用いたDirect法 によるVisual Odometry（VO)のEDSを提案 • フレーム間のカメラの動きをイベントデータによ る輝度的な増減分で補完する問題を定式化。 • 既存のイベントカメラのみのVOを凌駕する性能 • 既存のフレームカメラによるVOよりも低いフレー ムレートで同等の精度 • 高品質なイベント、カラーフレーム、IMUデータを 含む新たなデータセット構築 • Code & Dataset & Video • https://rpg.ifi.uzh.ch/eds.html https://openaccess.thecvf.com/content/CVPR2022/html/Hidalgo-Carrio_Event-Aided_Direct_Sparse_Odometry_CVPR_2022_paper.html Youtube：Event-aided Direct Sparse Odometry (CVPR 2022, Oral)

Event-aided Direct Sparse Odometry（定式化）

Event-aided Direct Sparse Odometry（定式化） Input Data Front End Back End

Event-aided Direct Sparse Odometry（定式化） Input Data Front End Back End Frame Event

Event-aided Direct Sparse Odometry（定式化） Input Data Front End Back End Frame Event Brightness Increment Model

Event-aided Direct Sparse Odometry（定式化） Input Data Front End Back End Frame Event Brightness Increment Model Brightness Increment Error Optimization Keyframe Selection

Event-aided Direct Sparse Odometry（定式化） Input Data Front End Back End Frame Event Brightness Increment Model Brightness Increment Error Optimization Keyframe Selection Photometric Optimization

Event-aided Direct Sparse Odometry（実装，計算量） Input Data Front End Back End Frame Event Brightness Increment Model Brightness Increment Error Optimization Keyframe Selection Photometric Optimization 最小化するために、T の 局所的な Lie 群最適化問題を行う Google Ceres ソルバを利用 Photometric Bundle Adjustment （PBA)に平均約2000-8000点が使用され る。 Google Ceres ソルバを利用 Suprament 5.2. Computational Performance • 現在の実装は最適化さ れておらず、実時間に 比べて5倍程度の処理 時間 • DSOのPBAをバックエン ド利用しているため， DSOと同様にPBAに利 用するポイント数を減ら すことで高速化可能

Event-aided Direct Sparse Odometry（結果）

Event-aided Direct Sparse Odometry（評価） イベントベース6自由度VO法との比較 イベントベース6自由度VO法との絶対軌跡誤差(RMS)[cm]および回転誤差(RMS)[deg]の比較。 イベント（E）、グレースケールフレーム（F）、IMU（I）。 EVOは、シーケンスの最大30%を完了した時点でメソッドが失敗 入力の種類（Event／Frame）、手法の種類（Direct／Indirect）、イベント生成モデル（EGM）を利用した手法 Ultimate SLAM;USLAM Real-time 3D reconstruction and 6-DoF tracking with an event camera EVO: A geometric approach to event-based 6-DOF parallel tracking and mapping in real-time Event-aided Direct Sparse Odometry；EDS Low-latency visual odometry using event-based feature tracks Event-based Stereo Visual Odometry；ESVO[26] Event Stereo Vision 既存イベントVOとの比較 EDSはIMUやステレオを用いな い方法であるが、それらを用い たESVO、USLAM、 EVO の方法 の性能を上回った

Event-aided Direct Sparse Odometry（評価） フレームベース6自由度VO法との比較 フレームベースの 6 自由度 VO 法との絶対軌跡誤差（RMS）[cm]、回転誤差（RMS）[deg]の比較。 入力データは，イベント（E），グレースケールフレーム（F），または[56]を用いてイベントから再構成したフレーム（F †）． DSO †の-は初期化後に失敗しシーケンスの10%未満しか完了していない。単眼での最良の結果は太字表記。 既存フレームVOとの比較 • 並進誤差は，ORB-SLAMよ りも良好であり，平均的に 最良性能のバンドル調整を 伴うステレオORB-SLAMより もわずかに悪い程度。DSO と同様の性能を示した。 • 回転誤差に関しては、EDS はベースラインと同等性能。 Events Frames Stereo D/I Remarks ORB-SLAM × ☑ × Indirect 特徴点ベースのデファクトなSLAM Stereo ORB- SLAM[33] × ☑ ☑ Indirect ORB-SLAMのステレオ版 Direct Sparce Odometry ;DSO × ☑ × Direct 単眼リアルタイムDirect法のデファクトVO DSO with Event ☑ × × Direct イベントから[56]でフレームを生成後DSO EDS(This work) ☑ ☑ × Direct

Event-aided Direct Sparse Odometry（評価） フレームベース6自由度VO法との比較 Events Frames Stereo D/I Remarks ORB-SLAM × ☑ × Indirect 特徴点ベースのデファクトなSLAM Stereo ORB- SLAM[33] × ☑ ☑ Indirect ORB-SLAMのステレオ版 Direct Sparce Odometry ;DSO × ☑ × Direct 単眼リアルタイムDirect法のデファクトVO DSO with Event ☑ × × Direct イベントから[56]でフレームを生成後DSO EDS(This work) ☑ ☑ × Direct DSO ORB-SLAM EDS

Event-aided Direct Sparse Odometry（定性評価） 推定された深度マップとそれに対応す る点群（逆投影された深度マップ） の例 • ベースライン手法（EVOとDSO）の元 の深度マップの可視化を維持した。 • USLAMでは、マップがまばらで、視覚 的な洞察を与えることができなかっ た。 • EVOとの比較では，EDSはほとんど の輪郭画素で奥行きを正しく推定し、 色付きの奥行きマップと点群に半密 度の構造を形成、より詳細な3Dマッ プを得ることができた。 • DSOはより完全なマップに見えます が、EDSによって生成されたマップよ りも外れ値が多くなっている． Events Frames Stereo D/I Remarks EVO[17] ☑ × × Direct No EGM DSO[5] × ☑ × Direct USLAM[18] ☑ ☑ × Indirect With IMU EDS(This work) ☑ ☑ × Direct

Event-aided Direct Sparse Odometry（低フレームレート時評価） レームレートを徐々に下げていき、フレームベース の単眼式手法と比較 • EDSはフレームレートの低下に対してほとんど影 響を受けない • DSOとDSO∗はフレームレートの低下に伴い誤 差が大きくなる。トラッキングリカバリを有効にし たDSOは10FPSまでは成功するが、それ以下の フレームレートでは誤差が増加 • ORB-SLAMは非常に優れた結果を出し、低フ レームレートではDSOよりも劣化が緩やかであ るが，EDSはより良い結果を得る • したがって、このシナリオでは、EDSトラッカーは フレームベースの最新のオドメトリよりもロバス トである Events Frames Stereo D/I Remarks ORB SLAM * ☑ × × Indirect Without loop closure ORB SLAM × ☑ × Indirect DSO* × ☑ × Direct Without recovery-tracking DSO × ☑ × Direct EDS(This work) ☑ ☑ × Direct

Event-aided Direct Sparse Odometry（低フレームレート時評価） Events Frames Stereo D/I Remarks ORB SLAM * ☑ × × Indirect Without loop closure ORB SLAM × ☑ × Indirect DSO* × ☑ × Direct Without recovery-tracking DSO × ☑ × Direct EDS(This work) ☑ ☑ × Direct

Event-aided Direct Sparse Odometry（感度解析とHDR評価） 奥行きの不正確さが EDS に与 える影響（位置姿勢角誤差） • EDSトラッカーは奥行きノイズ が増加すると緩やかに劣化 する

Event-aided Direct Sparse Odometry（感度解析とHDR評価） コントラストCノイズがVOに与え る影響（位置姿勢角誤差） • コントラストノイズに関しては 急激に劣化し、σ C >0.15にな るとカメラのトラッキングは不 可能 • EDSの限界として、イベントは HDRであるがフレームは必ず しもHDRでないため、EGMの 推定が困難であることが考え られる • EDSはコントラストの変化が 著しいシーンにおいて，VOが 破綻する確率が高い

Event-aided Direct Sparse Odometry（新たなデータセット） 新たなデータセットの特徴 • ビームスプリッタを用いて，イベントとフレームの光学中心を 合わせたデータセット • VISUAL ODOMETLY の精密な精度検証をおこなうためには必 須 • イベント，カラー，IMU，モーションキャプチャ • 輝度変化のあるシーン（屋内のみ）

Event-aided Direct Sparse Odometry（まとめ） http://xpaperchallenge.org/cv/survey/cvpr2022_summaries/626 xpaperchallenge.orgでサマ リーを書かせて頂きました．