SSII2023 [SS2] イベントカメラを用いた計算撮像

Transcript

1. イベントカメラを用いた計算撮像 2023.6.15 髙谷 剛志（筑波大学）
2. 計算撮像 2
3. 計算撮像 計算機による後処理を用いた撮像技術 • データ圧縮 • 超解像（空間・時間・波長） • 多元計測（三次元幾何，物体内部，光学特性など） 3 後処理 観測 復号 符号化
4. 計算撮像 計算機による後処理を用いた撮像技術 4 ワンショット分光撮像 半透明度計測 サーマル照度差ステレオ 偏光Time-of-Flight計測 [@CVPR 2017] [@TCVA 2018] [@CVIM 2023] [@TPAMI 2019] ABS樹脂 ポリエチレン アクリル ポリアセタール ポリプロピレン ポリ塩化ビニル
5. イベントカメラの基礎 5
6. イベントカメラとは イベントカメラ：各画素で独立に一定量以上の輝度変化を検出して記録 （vs. 従来カメラ：各画素で同時に輝度値を記録） 6 Prophesee社 EVK iniVation社 DAVIS346 [Gehrig+ “Asynchronous, Photometric Feature Tracking using Events and Frames” @ECCV 2018] 出力：(x, y, time, polarity) 特長 ①輝度変化検出 ②高時間分解能 1us (vs. 1ms) ③高ダイナミックレンジ 120dB (vs. 70dB) ④省消費電力 10mW (vs. 3W) ⑤低遅延 10us (vs. 1ms)
7. イベントカメラの仕組み 7 [Posch+ “Retinomorphic Event-Based Vision Sensors: Bioinspired Cameras With Spiking Output” @ProcIEEE 2014] 対数増幅部 時間微分部 比較部 イベント情報を動画像として表示 白：正イベント，黒：負イベント，灰：無イベント
8. イベントカメラ関連論文の動向 ICRA & IROS 0 5 10 15 20 25 30 2013 2014 2015 2016 2017 2018 2019 2020 2021 2022 ICRA IROS CVPR & ICCV & ECCV 0 5 10 15 20 25 30 35 2013 2014 2015 2016 2017 2018 2019 2020 2021 2022 CVPR ICCV ECCV 8 ※タイトルとアブストを対象に「event camera」「event-based」「dynamic vision sensor」「event sensor」 「neuromorphic vision sensor」「event-driven」「event」等で検索し，明らかに関連研究でないものを除外
9. イベントカメラ × 計算撮像 9
10. ラインスキャン三次元計測 10
11. ラインスキャン三次元計測：キーアイデア 11 [Matsuda+ “MC3D: Motion Contrast 3D Scanning” @ICCP2015] シート光源 カメラ カメラ シート光源 対象物 𝑥𝑥1 𝑡𝑡2 𝑥𝑥2 𝑡𝑡1 (𝑥𝑥1 , 𝑡𝑡1 ) 𝑡𝑡2 (𝑥𝑥2 , 𝑡𝑡2 ) 時間 観測イベント 時間 シート角度 𝑡𝑡1 𝜃𝜃1 𝜃𝜃2 𝜃𝜃1 𝜃𝜃2
12. ラインスキャン三次元計測：結果 12 対象物体 レーザースキャン イベントベース [Matsuda+ “MC3D: Motion Contrast 3D Scanning” @ICCP2015]
13. ラインスキャン三次元計測：メリット① データ量が大幅に削減可能 13 通常カメラ イベントカメラ [Matsuda+ “MC3D: Motion Contrast 3D Scanning” @ICCP2015]
14. ラインスキャン三次元計測：メリット② • HDRと高時間分解能の好影響 14 Kinect [Matsuda+ “MC3D: Motion Contrast 3D Scanning” @ICCP2015]
15. 二波長測光 15
16. 二波長測光とは 分析化学 大気科学 医療 コンピュータビジョン [Photo by KhomchatK (CC BY-SA 4.0)] [L. Mei+, Optics Express 25(20):A953-A962, 2017] [Photo by Phenix573 (CC BY-SA 4.0)] [Y. Asano+, TPAMI, 2020] 薬物濃度計測 気体変化計測 パルスオキシメータ 水中形状計測 16 光源 𝜆𝜆1 対象媒体 𝜆𝜆1 検出器 𝜆𝜆1 画像 𝑙𝑙 分光吸光係数 𝜇𝜇 𝜆𝜆 𝑐𝑐 log log - 光源 𝜆𝜆2 ビーム統合 ビーム分離 𝜆𝜆2 検出器 𝜆𝜆2 画像 二波長差分 𝝁𝝁 𝝀𝝀𝟏𝟏 − 𝝁𝝁 𝝀𝝀𝟐𝟐 𝒄𝒄𝒄𝒄 濃度 距離 [Takatani+ “Event-Based Bispectral Photometry Using Temporally Modulated Illumination” @CVPR2021]
17. 二波長測光：イベント生成の原理 log Photoreceptor Differentiator Comparators Positive event Negative event 対数増幅された信号の時間差分 Received light Amplified signal Differential signal Triggered events 17
18. 二波長測光：キーアイデア log Photoreceptor Differentiator Comparators Positive event Negative event 対数増幅された信号の時間差分 log log - Light source at 𝜆𝜆1 Light source at 𝜆𝜆2 Beam combiner Target media Beam splitter Detector for 𝜆𝜆1 Detector for 𝜆𝜆2 Image at 𝜆𝜆2 Image at 𝜆𝜆1 二波長差分 二波帳測光法の原理 イベント生成メカニズム キーアイデア 時間的に変調された二波長光源を用いて， イベント生成における時間差分を二波長差分に変換 18
19. 二波長測光：原理 Σ 光源𝜆𝜆1 光源𝜆𝜆2 ビーム統合 対象媒質 イベントカメラ 二波長差分 累積 𝑙𝑙 𝜇𝜇 𝜆𝜆 𝑐𝑐 入射光 透過光 発生イベント 累積イベント 波長𝜆𝜆1 変調光 波長𝜆𝜆2 変調光 合計 二波長差分 19
20. 二波長測光：プロトタイプシステム 940 nm laser 915 nm laser Target object Occluder Beam combiner Event camera Light intensity 0 50000 100000 150000 200000 250000 300000 Time [µs] Recorded events 915nm 940nm Positive Negative System 0mm 50mm 100mm 150mm 200mm 250mm Modulation frequency: 10Hz 20 Measurable range
21. 21 二波長計測：水中三次元計測の結果 Golf Ball Plastic Case 3D Printed Stairs [Asano+, TPAMI, 2020] Our method
22. 二波長計測：濃度計測の結果 Event camera Target media 𝜆𝜆1: 637nm 𝜆𝜆2: 850nm 22 希釈醤油
23. 合成開口 23
24. 合成開口とは 24 [Zhang+ “Event-based Synthetic Aperture Imaging with a Hybrid Network” @CVPR2021] 撮影位置の異なる複数画像を合成して大きな開口を実現 （隙間のある）遮蔽物
25. 合成開口：キーアイデア 25 [Zhang+ “Event-based Synthetic Aperture Imaging with a Hybrid Network” @CVPR2021] スパイキングニューラルネットワークを統合
26. 合成開口：結果 26 [Zhang+ “Event-based Synthetic Aperture Imaging with a Hybrid Network” @CVPR2021]
27. ローリングシャッタ歪み補正 27
28. ローリングシャッタ歪み補正：目的 28 [Zhou+ “EvUnroll: Neuromorphic Events based Rolling Shutter Image Correction” @CVPR2022]
29. ローリングシャッタ歪み補正：キーアイデア 29 [Zhou+ “EvUnroll: Neuromorphic Events based Rolling Shutter Image Correction” @CVPR2022]
30. ローリングシャッタ歪み補正：手法 30 [Zhou+ “EvUnroll: Neuromorphic Events based Rolling Shutter Image Correction” @CVPR2022]
31. ローリングシャッタ歪み補正：結果 31 [Zhou+ “EvUnroll: Neuromorphic Events based Rolling Shutter Image Correction” @CVPR2022]
32. ローリングシャッタ歪み補正：比較 32 [Zhou+ “EvUnroll: Neuromorphic Events based Rolling Shutter Image Correction” @CVPR2022]
33. さいごに 33
34. 今後の研究項目 • スパイク駆動ネットワークの応用 • フレームベースではもったいない • イベントカメラシミュレータ • アノテーション付きイベントが少ない • ノイズモデルの構築 • モデルは自明でない • イベント分類 • より複雑な動的シーンへの対応 • スパイク駆動ハードウェアの利用 • SpiNNaker, TrueNorth, Loihi, Dynap, Braindrop • アクティブセンシングの応用 • 空間構造化，時間構造化 34 スパイク駆動ニューロンモデル 画素分散 イベント分類 IBM TrueNorth
35. まとめ • イベントカメラを用いたCV研究が増加中 • 多くの「今後の研究項目」 • イベントカメラと計算撮像との出会い • 「計算撮像」との組合せはまだ少なくチャンス 35