SSII2023 [SS2] イベントカメラを用いた計算撮像

Slide 1

Slide 1 text

イベントカメラを用いた計算撮像 2023.6.15 髙谷剛志（筑波大学）

Slide 2

Slide 2 text

計算撮像 2

Slide 3

Slide 3 text

計算撮像計算機による後処理を用いた撮像技術 • データ圧縮 • 超解像（空間・時間・波長） • 多元計測（三次元幾何，物体内部，光学特性など） 3 後処理観測復号符号化

Slide 4

Slide 4 text

計算撮像計算機による後処理を用いた撮像技術 4 ワンショット分光撮像半透明度計測サーマル照度差ステレオ偏光Time-of-Flight計測 [@CVPR 2017] [@TCVA 2018] [@CVIM 2023] [@TPAMI 2019] ABS樹脂ポリエチレンアクリルポリアセタールポリプロピレンポリ塩化ビニル

Slide 5

Slide 5 text

イベントカメラの基礎 5

Slide 6

Slide 6 text

イベントカメラとはイベントカメラ：各画素で独立に一定量以上の輝度変化を検出して記録（vs. 従来カメラ：各画素で同時に輝度値を記録） 6 Prophesee社 EVK iniVation社 DAVIS346 [Gehrig+ “Asynchronous, Photometric Feature Tracking using Events and Frames” @ECCV 2018] 出力：(x, y, time, polarity) 特長 ①輝度変化検出 ②高時間分解能 1us (vs. 1ms) ③高ダイナミックレンジ 120dB (vs. 70dB) ④省消費電力 10mW (vs. 3W) ⑤低遅延 10us (vs. 1ms)

Slide 7

Slide 7 text

イベントカメラの仕組み 7 [Posch+ “Retinomorphic Event-Based Vision Sensors: Bioinspired Cameras With Spiking Output” @ProcIEEE 2014] 対数増幅部時間微分部比較部イベント情報を動画像として表示白：正イベント，黒：負イベント，灰：無イベント

Slide 8

Slide 8 text

イベントカメラ関連論文の動向 ICRA & IROS 0 5 10 15 20 25 30 2013 2014 2015 2016 2017 2018 2019 2020 2021 2022 ICRA IROS CVPR & ICCV & ECCV 0 5 10 15 20 25 30 35 2013 2014 2015 2016 2017 2018 2019 2020 2021 2022 CVPR ICCV ECCV 8 ※タイトルとアブストを対象に「event camera」「event-based」「dynamic vision sensor」「event sensor」「neuromorphic vision sensor」「event-driven」「event」等で検索し，明らかに関連研究でないものを除外

Slide 9

Slide 9 text

イベントカメラ × 計算撮像 9

Slide 10

Slide 10 text

ラインスキャン三次元計測 10

Slide 11

Slide 11 text

ラインスキャン三次元計測：キーアイデア 11 [Matsuda+ “MC3D: Motion Contrast 3D Scanning” @ICCP2015] シート光源カメラカメラシート光源対象物 𝑥𝑥1 𝑡𝑡2 𝑥𝑥2 𝑡𝑡1 (𝑥𝑥1 , 𝑡𝑡1 ) 𝑡𝑡2 (𝑥𝑥2 , 𝑡𝑡2 ) 時間観測イベント時間シート角度 𝑡𝑡1 𝜃𝜃1 𝜃𝜃2 𝜃𝜃1 𝜃𝜃2

Slide 12

Slide 12 text

ラインスキャン三次元計測：結果 12 対象物体レーザースキャンイベントベース [Matsuda+ “MC3D: Motion Contrast 3D Scanning” @ICCP2015]

Slide 13

Slide 13 text

ラインスキャン三次元計測：メリット① データ量が大幅に削減可能 13 通常カメライベントカメラ [Matsuda+ “MC3D: Motion Contrast 3D Scanning” @ICCP2015]

Slide 14

Slide 14 text

ラインスキャン三次元計測：メリット② • HDRと高時間分解能の好影響 14 Kinect [Matsuda+ “MC3D: Motion Contrast 3D Scanning” @ICCP2015]

Slide 15

Slide 15 text

二波長測光 15

Slide 16

Slide 16 text

二波長測光とは分析化学大気科学医療コンピュータビジョン [Photo by KhomchatK (CC BY-SA 4.0)] [L. Mei+, Optics Express 25(20):A953-A962, 2017] [Photo by Phenix573 (CC BY-SA 4.0)] [Y. Asano+, TPAMI, 2020] 薬物濃度計測気体変化計測パルスオキシメータ水中形状計測 16 光源 𝜆𝜆1 対象媒体 𝜆𝜆1 検出器 𝜆𝜆1 画像 𝑙𝑙 分光吸光係数 𝜇𝜇 𝜆𝜆 𝑐𝑐 log log - 光源 𝜆𝜆2 ビーム統合ビーム分離 𝜆𝜆2 検出器 𝜆𝜆2 画像二波長差分 𝝁𝝁 𝝀𝝀𝟏𝟏 − 𝝁𝝁 𝝀𝝀𝟐𝟐 𝒄𝒄𝒄𝒄 濃度距離 [Takatani+ “Event-Based Bispectral Photometry Using Temporally Modulated Illumination” @CVPR2021]

Slide 17

Slide 17 text

二波長測光：イベント生成の原理 log Photoreceptor Differentiator Comparators Positive event Negative event 対数増幅された信号の時間差分 Received light Amplified signal Differential signal Triggered events 17

Slide 18

Slide 18 text

二波長測光：キーアイデア log Photoreceptor Differentiator Comparators Positive event Negative event 対数増幅された信号の時間差分 log log - Light source at 𝜆𝜆1 Light source at 𝜆𝜆2 Beam combiner Target media Beam splitter Detector for 𝜆𝜆1 Detector for 𝜆𝜆2 Image at 𝜆𝜆2 Image at 𝜆𝜆1 二波長差分二波帳測光法の原理イベント生成メカニズムキーアイデア時間的に変調された二波長光源を用いて，イベント生成における時間差分を二波長差分に変換 18

Slide 19

Slide 19 text

二波長測光：原理 Σ 光源𝜆𝜆1 光源𝜆𝜆2 ビーム統合対象媒質イベントカメラ二波長差分累積 𝑙𝑙 𝜇𝜇 𝜆𝜆 𝑐𝑐 入射光透過光発生イベント累積イベント波長𝜆𝜆1 変調光波長𝜆𝜆2 変調光合計二波長差分 19

Slide 20

Slide 20 text

二波長測光：プロトタイプシステム 940 nm laser 915 nm laser Target object Occluder Beam combiner Event camera Light intensity 0 50000 100000 150000 200000 250000 300000 Time [µs] Recorded events 915nm 940nm Positive Negative System 0mm 50mm 100mm 150mm 200mm 250mm Modulation frequency: 10Hz 20 Measurable range

Slide 21

Slide 21 text

21 二波長計測：水中三次元計測の結果 Golf Ball Plastic Case 3D Printed Stairs [Asano+, TPAMI, 2020] Our method

Slide 22

Slide 22 text

二波長計測：濃度計測の結果 Event camera Target media 𝜆𝜆1: 637nm 𝜆𝜆2: 850nm 22 希釈醤油

Slide 23

Slide 23 text

合成開口 23

Slide 24

Slide 24 text

合成開口とは 24 [Zhang+ “Event-based Synthetic Aperture Imaging with a Hybrid Network” @CVPR2021] 撮影位置の異なる複数画像を合成して大きな開口を実現（隙間のある）遮蔽物

Slide 25

Slide 25 text

合成開口：キーアイデア 25 [Zhang+ “Event-based Synthetic Aperture Imaging with a Hybrid Network” @CVPR2021] スパイキングニューラルネットワークを統合

Slide 26

Slide 26 text

合成開口：結果 26 [Zhang+ “Event-based Synthetic Aperture Imaging with a Hybrid Network” @CVPR2021]

Slide 27

Slide 27 text

ローリングシャッタ歪み補正 27

Slide 28

Slide 28 text

ローリングシャッタ歪み補正：目的 28 [Zhou+ “EvUnroll: Neuromorphic Events based Rolling Shutter Image Correction” @CVPR2022]

Slide 29

Slide 29 text

ローリングシャッタ歪み補正：キーアイデア 29 [Zhou+ “EvUnroll: Neuromorphic Events based Rolling Shutter Image Correction” @CVPR2022]

Slide 30

Slide 30 text

ローリングシャッタ歪み補正：手法 30 [Zhou+ “EvUnroll: Neuromorphic Events based Rolling Shutter Image Correction” @CVPR2022]

Slide 31

Slide 31 text

ローリングシャッタ歪み補正：結果 31 [Zhou+ “EvUnroll: Neuromorphic Events based Rolling Shutter Image Correction” @CVPR2022]

Slide 32

Slide 32 text

ローリングシャッタ歪み補正：比較 32 [Zhou+ “EvUnroll: Neuromorphic Events based Rolling Shutter Image Correction” @CVPR2022]

Slide 33

Slide 33 text

さいごに 33

Slide 34

Slide 34 text

今後の研究項目 • スパイク駆動ネットワークの応用 • フレームベースではもったいない • イベントカメラシミュレータ • アノテーション付きイベントが少ない • ノイズモデルの構築 • モデルは自明でない • イベント分類 • より複雑な動的シーンへの対応 • スパイク駆動ハードウェアの利用 • SpiNNaker, TrueNorth, Loihi, Dynap, Braindrop • アクティブセンシングの応用 • 空間構造化，時間構造化 34 スパイク駆動ニューロンモデル画素分散イベント分類 IBM TrueNorth

Slide 35

Slide 35 text

まとめ • イベントカメラを用いたCV研究が増加中 • 多くの「今後の研究項目」 • イベントカメラと計算撮像との出会い • 「計算撮像」との組合せはまだ少なくチャンス 35