Slide 1
Slide 1 text
イベントカメラの基礎と応用
髙谷 剛志
筑波大学システム情報系 助教
計算撮像研究室 主宰
Slide 2
Slide 2 text
自己紹介：髙谷 剛志
主な研究分野：
コンピュテーショナルフォトグラフィ／イメージング，
コンピュテーショナルファブリケーション
2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 2
偏光Time-of-Flight計測
[CVIM 2023]
サーマル照度差ステレオ
[TPAMI 2019]
半透明質感再現
[TCVA 2018]
光沢質感再現
[映像表現・芸術科学フォーラム 2024]
Slide 3
Slide 3 text
本日の内容：イベントカメラの基礎と応用
1. 基礎編：動作原理を理解
2. 実機デモ
3. 発展編：使うときのポイントを把握
4. 応用編：研究動向を把握
5. 質疑応答
2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 3
Slide 4
Slide 4 text
基礎編
2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 4
Slide 5
Slide 5 text
イベントカメラとは
各画素独立に閾値以上の輝度変化（イベント）を検出するカメラ
vs. 従来のカメラ：全画素同時に輝度値を計測
2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 5
Prophesee社 EVK
iniVation社 DAVIS346
イベントカメラ
従来のカメラ
𝑡𝑡
𝑥𝑥
𝑦𝑦 𝑡𝑡
𝑥𝑥
𝑦𝑦
Slide 6
Slide 6 text
イベントカメラの特長
2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 6
高時間分解能 高ダイナミックレンジ 低消費電力
1μs
vs. 1ms
120dB
vs. 70dB
10mW
vs. 3W
Slide 7
Slide 7 text
アプリケーションの例
2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 7
アイトラッカー スペースデブリ追跡 ブラー除去
Slide 8
Slide 8 text
イベントカメラの仕組み
2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 8
A
A
ln 𝑉𝑉𝐿𝐿
𝐿𝐿
リセット
正イベント
負イベント
光受容体 双極細胞 神経節細胞
対数増幅部 微分部 比較部
ln 𝑉𝑉𝐿𝐿
イベント出力
𝑡𝑡
正の閾値
負の閾値
[Posch+ Proc. IEEE 102:10 2014] a.k.a. ニューロモルフィックカメラ，Dynamic Vision Sensor（DVS）
Slide 9
Slide 9 text
「イベント」のデータ構造
2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 9
イメージセンサ
位置 (𝑥𝑥, 𝑦𝑦)
時刻 𝑡𝑡
極性 𝑝𝑝
Slide 10
Slide 10 text
データ表現｜フレーム
2次元画像：可視化および従来の画像ベース手法への適用
2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 10
[https://github.com/LarryDong/event_representation]
イベントフレーム 累積フレーム Time-Surface
𝑡𝑡 𝑡𝑡 𝑡𝑡
∑
𝜟𝜟𝜟𝜟
𝑥𝑥
𝑥𝑥 + Δ𝑥𝑥
[Lagorce+ TPAMI 39:7 2017]
Slide 11
Slide 11 text
データ表現｜イベントストリーム
xytボリューム
点群ベース手法への適用
スパイク
Spiking Neural Networkへの適用
2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 11
[Gehrig+ ICCV 2019] [Gehrig+ ICRA 2020]
Slide 12
Slide 12 text
実機デモンストレーション
2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 12
Slide 13
Slide 13 text
デバイス
CenturyArks社 SilkyEvCam
（Prophesee社 EVK3.1 相当）
解像度：VGA（640×480）
時間分解能：1μs
DR：120dB
標準電力：1W程度
価格：10万円程度
2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 13
Slide 14
Slide 14 text
発展編
2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 14
Slide 15
Slide 15 text
イベントノイズ
デバイスや環境に応じて望まないノイズやイベント遅延・消失が発生
2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 15
背景ノイズ Long-Tailノイズ
Slide 16
Slide 16 text
ノイズ除去
時空間フィルタリングによる背景ノイズの除去
e.g.) Background Activity Filter
2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 16
[Delbruck ISSLE 2008]
𝜟𝜟𝜟𝜟
過去の一定時間内，
八近傍にてイベントが発生？
Slide 17
Slide 17 text
バイアスとは
環境や目的に応じてイベントカメラの動作を調整するためのパラメータ
（アナログ回路に対するバイアス電圧）
2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 17
A
A
ln 𝑉𝑉𝐿𝐿
𝐿𝐿
リセット
正イベント
負イベント
𝛥𝛥𝛥𝛥
LPF HPF
デッドタイム
Slide 18
Slide 18 text
バイアス｜閾値：感度 vs. ノイズ
比較部におけるイベント発火判定閾値
2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 18
閾値
小 大
Slide 19
Slide 19 text
バイアス｜デッドタイム：反応速度 vs. ノイズ
イベント発火後の待機時間（デッドタイム）
2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 19
デッドタイム
短 長
Slide 20
Slide 20 text
バイアス｜周波数フィルタ
内部アナログ回路における周波数フィルタのカットオフ周波数
e.g.) ローパスフィルタ（LPF）
2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 20
カットオフ周波数
高
低
自動車
周波数
ディスプレイの
リフレッシュ
Slide 21
Slide 21 text
幾何キャリブレーション
幾何モデルは従来のカメラと同じであり，OpenCV等が利用可能
ただし，輝度変化が発生するように工夫が必要
2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 21
キャリブレーションボードGIFをタブレット等で表示 キャリブレーションボードを点滅光源で照明
Slide 22
Slide 22 text
白板
測光キャリブレーション
画素間における閾値の違いを補正
確率的閾値の標準偏差を計測
2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 22
𝑐𝑐 ∼ 𝒩𝒩(𝜇𝜇𝑐𝑐
, 𝜎𝜎𝑐𝑐
)
[Rebecq+ CoRL 2018]
• 単調増加／減少で強度変調
• 最初と最後の強度を𝑘𝑘倍
• 線形もしくは指数関数
ln 𝑘𝑘𝑉𝑉𝐿𝐿
− ln 𝑉𝑉𝐿𝐿
= 𝑛𝑛𝑛𝑛
ln
𝑘𝑘𝑘𝑘𝐿𝐿
𝑉𝑉𝐿𝐿
= ln 𝑘𝑘 = 𝑛𝑛𝑛𝑛
𝑐𝑐 =
ln 𝑘𝑘
𝑛𝑛
𝑐𝑐
ln 𝑉𝑉𝐿𝐿
(𝑡𝑡2
) − ln 𝑉𝑉𝐿𝐿
(𝑡𝑡1
) = 𝑐𝑐
𝑛𝑛個
[Takatani+ CVPR 2021]
Slide 23
Slide 23 text
応用編
2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 23
Slide 24
Slide 24 text
画像復元｜相対輝度とオプティカルフローの同時推定
ブレのないHDR画像の復元
絶対輝度復元は不良設定（不定積分）
2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 24
[Bardow+ CVPR 2016]
オプティカルフロー
従来のオプティカルフロー推定
対数輝度差が閾値以上
イベント累積＝相対対数輝度
Slide 25
Slide 25 text
画像復元｜RNNによるHDR・高速動画復元（E2VID）
RNNを用いたEnd-to-End学習によって画像シーケンスを復元
2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 25
[Rebecq+ TPAMI 2019]
Slide 26
Slide 26 text
画像復元｜同軸系システムによる学習データ品質の向上
HDRカメラとイベントカメラの同軸ペアを用いたデータ収集
2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 26
[Zou+ CVPR 2021]
Event frame E2VID Ours Ground Truth
Slide 27
Slide 27 text
データ合成｜仮想空間におけるイベント生成（ESIM）
シーン輝度変化予測に応じて，適応的にフレームサンプリング間隔を変更
確率的閾値モデルの導入
2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 27
[Rebecq+ CoRL 2018]
Slide 28
Slide 28 text
形状計測｜ラインレーザによる高速スキャン
28
[Matsuda+ ICCP 2015]
シート光源
イベントカメラ
𝑡𝑡1
(𝑥𝑥1
, 𝑡𝑡1
)
𝑡𝑡2
(𝑥𝑥2
, 𝑡𝑡2
)
時間
観測イベント
時間
シート角度
カメラ シート光源
対象物
𝑥𝑥1
𝑡𝑡2
𝑥𝑥2
𝑡𝑡1
𝜃𝜃1
𝜃𝜃2
𝜃𝜃1
𝜃𝜃2
2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」
省データ量
高速スキャン
Slide 29
Slide 29 text
形状計測｜二波長測光法による形状・濃度計測
Σ
光源𝜆𝜆1
光源𝜆𝜆2
ビーム統合
対象媒質
イベントカメラ
二波長差分
累積
𝑙𝑙
𝜇𝜇 𝜆𝜆 𝑐𝑐
入射光 透過光 発生イベント 累積イベント
波長𝜆𝜆1
変調光
波長𝜆𝜆2
変調光
合計
二波長差分
29
2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」
[Takatani+ CVPR 2021]
Slide 30
Slide 30 text
流体計測｜パルス光を用いたイベント遅延補正
2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 30
[Willert & Klinner EiF 63:101 2022] [Willert EiF 64:98 2023]
パルス光
補正
Slide 31
Slide 31 text
おわりに
2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 31
Slide 32
Slide 32 text
視点の切換え
「イベント」に対する視点を切換え
• コントラスト検出：二値的な情報
• 微分計測：相対的な輝度変化量
• パルス変調計測：能動的な輝度変化のパルス変調情報復調
2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 32
変化が起きた位置や
時刻が大事 変化量が大事 何を変調・復調するかが大事
[Muglikar+ CVPR 2023]
[Han+ CVPR 2023]
Slide 33
Slide 33 text
Take-Homeメッセージ
• イベントカメラ： 輝度変化を各画素独立に検出・記録するカメラ
• 特長： 高時間分解能，高ダイナミックレンジ，低消費電力
• イベント： （位置(𝑥𝑥, 𝑦𝑦)，時刻𝑡𝑡，極性𝑝𝑝）
• バイアス設定： デバイスと環境に合わせた調整が重要
• 深層学習向けイベント表現： 様々あり，研究項目の一つ
• ノイズ除去： 様々あり，研究項目の一つ
• 応用研究： 様々あり，学習系プレーヤが増大中
• イベント活用の視点： コントラスト，微分，パルス変調
2024/3/4 CVIM-237 チュートリアル 「イベントカメラの基礎と応用」 33