イベントカメラの基礎と応用

本チュートリアルでは，イベントカメラの基本的な原理に加えて，発展的な応用研究について紹介する．イベントカメラとは，輝度変化に反応する特殊なカメラであり，各画素において独立かつ非同期に，一定以上の輝度変化を「イベント」として記録する．生体模倣として誕生したが，高時間分解能や高ダイナミックレンジ，低消費電力等の特長から，ロボティクス分野やコンピュータビジョン分野への応用が注目されている．イベント情報は，一般的なカメラが記録する固定フレームレートの画像とは大きく異なるため，画像に基づく従来のアルゴリズムをそのまま展開できない．一般には，イベントから画像を復元する方法が取られるが，イベントそのものを活用する研究も存在する．応用では，符号化計測やアクティブセンシングへの応用について紹介する．

Transcript

1. イベントカメラの基礎と応用 髙谷 剛志 筑波大学システム情報系 助教 計算撮像研究室 主宰
2. 自己紹介：髙谷 剛志 主な研究分野： コンピュテーショナルフォトグラフィ／イメージング， コンピュテーショナルファブリケーション 2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 2 偏光Time-of-Flight計測 [CVIM 2023] サーマル照度差ステレオ [TPAMI 2019] 半透明質感再現 [TCVA 2018] 光沢質感再現 [映像表現・芸術科学フォーラム 2024]
3. 本日の内容：イベントカメラの基礎と応用 1. 基礎編：動作原理を理解 2. 実機デモ 3. 発展編：使うときのポイントを把握 4. 応用編：研究動向を把握 5. 質疑応答 2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 3
4. 基礎編 2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 4
5. イベントカメラとは 各画素独立に閾値以上の輝度変化（イベント）を検出するカメラ vs. 従来のカメラ：全画素同時に輝度値を計測 2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 5 Prophesee社 EVK iniVation社 DAVIS346 イベントカメラ 従来のカメラ 𝑡𝑡 𝑥𝑥 𝑦𝑦 𝑡𝑡 𝑥𝑥 𝑦𝑦
6. イベントカメラの特長 2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 6 高時間分解能 高ダイナミックレンジ 低消費電力 1μs vs. 1ms 120dB vs. 70dB 10mW vs. 3W
7. アプリケーションの例 2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 7 アイトラッカー スペースデブリ追跡 ブラー除去
8. イベントカメラの仕組み 2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 8 A A ln 𝑉𝑉𝐿𝐿 𝐿𝐿 リセット 正イベント 負イベント 光受容体 双極細胞 神経節細胞 対数増幅部 微分部 比較部 ln 𝑉𝑉𝐿𝐿 イベント出力 𝑡𝑡 正の閾値 負の閾値 [Posch+ Proc. IEEE 102:10 2014] a.k.a. ニューロモルフィックカメラ，Dynamic Vision Sensor（DVS）
9. 「イベント」のデータ構造 2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 9 イメージセンサ 位置 (𝑥𝑥, 𝑦𝑦) 時刻 𝑡𝑡 極性 𝑝𝑝
10. データ表現｜フレーム 2次元画像：可視化および従来の画像ベース手法への適用 2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 10 [https://github.com/LarryDong/event_representation] イベントフレーム 累積フレーム Time-Surface 𝑡𝑡 𝑡𝑡 𝑡𝑡 ∑ 𝜟𝜟𝜟𝜟 𝑥𝑥 𝑥𝑥 + Δ𝑥𝑥 [Lagorce+ TPAMI 39:7 2017]
11. データ表現｜イベントストリーム xytボリューム 点群ベース手法への適用 スパイク Spiking Neural Networkへの適用 2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 11 [Gehrig+ ICCV 2019] [Gehrig+ ICRA 2020]
12. 実機デモンストレーション 2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 12
13. デバイス CenturyArks社 SilkyEvCam （Prophesee社 EVK3.1 相当） 解像度：VGA（640×480） 時間分解能：1μs DR：120dB 標準電力：1W程度 価格：10万円程度 2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 13
14. 発展編 2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 14
15. イベントノイズ デバイスや環境に応じて望まないノイズやイベント遅延・消失が発生 2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 15 背景ノイズ Long-Tailノイズ
16. ノイズ除去 時空間フィルタリングによる背景ノイズの除去 e.g.) Background Activity Filter 2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 16 [Delbruck ISSLE 2008] 𝜟𝜟𝜟𝜟 過去の一定時間内， 八近傍にてイベントが発生？
17. バイアスとは 環境や目的に応じてイベントカメラの動作を調整するためのパラメータ （アナログ回路に対するバイアス電圧） 2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 17 A A ln 𝑉𝑉𝐿𝐿 𝐿𝐿 リセット 正イベント 負イベント 𝛥𝛥𝛥𝛥 LPF HPF デッドタイム
18. バイアス｜閾値：感度 vs. ノイズ 比較部におけるイベント発火判定閾値 2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 18 閾値 小 大
19. バイアス｜デッドタイム：反応速度 vs. ノイズ イベント発火後の待機時間（デッドタイム） 2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 19 デッドタイム 短 長
20. バイアス｜周波数フィルタ 内部アナログ回路における周波数フィルタのカットオフ周波数 e.g.) ローパスフィルタ（LPF） 2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 20 カットオフ周波数 高 低 自動車 周波数 ディスプレイの リフレッシュ
21. 幾何キャリブレーション 幾何モデルは従来のカメラと同じであり，OpenCV等が利用可能 ただし，輝度変化が発生するように工夫が必要 2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 21 キャリブレーションボードGIFをタブレット等で表示 キャリブレーションボードを点滅光源で照明
22. 白板 測光キャリブレーション 画素間における閾値の違いを補正 確率的閾値の標準偏差を計測 2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 22 𝑐𝑐 ∼ 𝒩𝒩(𝜇𝜇𝑐𝑐 , 𝜎𝜎𝑐𝑐 ) [Rebecq+ CoRL 2018] • 単調増加／減少で強度変調 • 最初と最後の強度を𝑘𝑘倍 • 線形もしくは指数関数 ln 𝑘𝑘𝑉𝑉𝐿𝐿 − ln 𝑉𝑉𝐿𝐿 = 𝑛𝑛𝑛𝑛 ln 𝑘𝑘𝑘𝑘𝐿𝐿 𝑉𝑉𝐿𝐿 = ln 𝑘𝑘 = 𝑛𝑛𝑛𝑛 𝑐𝑐 = ln 𝑘𝑘 𝑛𝑛 𝑐𝑐 ln 𝑉𝑉𝐿𝐿 (𝑡𝑡2 ) − ln 𝑉𝑉𝐿𝐿 (𝑡𝑡1 ) = 𝑐𝑐 𝑛𝑛個 [Takatani+ CVPR 2021]
23. 応用編 2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 23
24. 画像復元｜相対輝度とオプティカルフローの同時推定 ブレのないHDR画像の復元 絶対輝度復元は不良設定（不定積分） 2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 24 [Bardow+ CVPR 2016] オプティカルフロー 従来のオプティカルフロー推定 対数輝度差が閾値以上 イベント累積＝相対対数輝度
25. 画像復元｜RNNによるHDR・高速動画復元（E2VID） RNNを用いたEnd-to-End学習によって画像シーケンスを復元 2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 25 [Rebecq+ TPAMI 2019]
26. 画像復元｜同軸系システムによる学習データ品質の向上 HDRカメラとイベントカメラの同軸ペアを用いたデータ収集 2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 26 [Zou+ CVPR 2021] Event frame E2VID Ours Ground Truth
27. データ合成｜仮想空間におけるイベント生成（ESIM） シーン輝度変化予測に応じて，適応的にフレームサンプリング間隔を変更 確率的閾値モデルの導入 2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 27 [Rebecq+ CoRL 2018]
28. 形状計測｜ラインレーザによる高速スキャン 28 [Matsuda+ ICCP 2015] シート光源 イベントカメラ 𝑡𝑡1 (𝑥𝑥1 , 𝑡𝑡1 ) 𝑡𝑡2 (𝑥𝑥2 , 𝑡𝑡2 ) 時間 観測イベント 時間 シート角度 カメラ シート光源 対象物 𝑥𝑥1 𝑡𝑡2 𝑥𝑥2 𝑡𝑡1 𝜃𝜃1 𝜃𝜃2 𝜃𝜃1 𝜃𝜃2 2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 省データ量 高速スキャン
29. 形状計測｜二波長測光法による形状・濃度計測 Σ 光源𝜆𝜆1 光源𝜆𝜆2 ビーム統合 対象媒質 イベントカメラ 二波長差分 累積 𝑙𝑙 𝜇𝜇 𝜆𝜆 𝑐𝑐 入射光 透過光 発生イベント 累積イベント 波長𝜆𝜆1 変調光 波長𝜆𝜆2 変調光 合計 二波長差分 29 2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 [Takatani+ CVPR 2021]
30. 流体計測｜パルス光を用いたイベント遅延補正 2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 30 [Willert & Klinner EiF 63:101 2022] [Willert EiF 64:98 2023] パルス光 補正
31. おわりに 2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 31
32. 視点の切換え 「イベント」に対する視点を切換え • コントラスト検出：二値的な情報 • 微分計測：相対的な輝度変化量 • パルス変調計測：能動的な輝度変化のパルス変調情報復調 2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 32 変化が起きた位置や 時刻が大事 変化量が大事 何を変調・復調するかが大事 [Muglikar+ CVPR 2023] [Han+ CVPR 2023]
33. Take-Homeメッセージ • イベントカメラ： 輝度変化を各画素独立に検出・記録するカメラ • 特長： 高時間分解能，高ダイナミックレンジ，低消費電力 • イベント： （位置(𝑥𝑥, 𝑦𝑦)，時刻𝑡𝑡，極性𝑝𝑝） • バイアス設定： デバイスと環境に合わせた調整が重要 • 深層学習向けイベント表現： 様々あり，研究項目の一つ • ノイズ除去： 様々あり，研究項目の一つ • 応用研究： 様々あり，学習系プレーヤが増大中 • イベント活用の視点： コントラスト，微分，パルス変調 2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 33