SSII2023 [SS2] イベントカメラを用いた計算撮像

Transcript

1. イベントカメラを用いた計算撮像
   2023.6.15
   髙谷 剛志（筑波大学）
   

   View Slide

2. 計算撮像
   2
   

   View Slide

3. 計算撮像
   計算機による後処理を用いた撮像技術
   • データ圧縮
   • 超解像（空間・時間・波長）
   • 多元計測（三次元幾何，物体内部，光学特性など）
   3
   後処理
   観測 復号
   符号化
   

   View Slide

4. 計算撮像
   計算機による後処理を用いた撮像技術
   4
   ワンショット分光撮像
   半透明度計測 サーマル照度差ステレオ
   偏光Time-of-Flight計測
   [@CVPR 2017]
   [@TCVA 2018]
   [@CVIM 2023]
   [@TPAMI 2019]
   ABS樹脂 ポリエチレン アクリル
   ポリアセタール ポリプロピレン ポリ塩化ビニル
   

   View Slide

5. イベントカメラの基礎
   5
   

   View Slide

6. イベントカメラとは
   イベントカメラ：各画素で独立に一定量以上の輝度変化を検出して記録
   （vs. 従来カメラ：各画素で同時に輝度値を記録）
   6
   Prophesee社 EVK
   iniVation社 DAVIS346
   [Gehrig+ “Asynchronous, Photometric Feature Tracking using Events and Frames” @ECCV 2018]
   出力：(x, y, time, polarity)
   特長
   ①輝度変化検出
   ②高時間分解能
   1us (vs. 1ms)
   ③高ダイナミックレンジ
   120dB (vs. 70dB)
   ④省消費電力
   10mW (vs. 3W)
   ⑤低遅延
   10us (vs. 1ms)
   

   View Slide

7. イベントカメラの仕組み
   7
   [Posch+ “Retinomorphic Event-Based Vision Sensors: Bioinspired Cameras With Spiking Output” @ProcIEEE 2014]
   対数増幅部 時間微分部 比較部
   イベント情報を動画像として表示
   白：正イベント，黒：負イベント，灰：無イベント
   

   View Slide

8. イベントカメラ関連論文の動向
   ICRA & IROS
   0
   5
   10
   15
   20
   25
   30
   2013 2014 2015 2016 2017 2018 2019 2020 2021 2022
   ICRA IROS
   CVPR & ICCV & ECCV
   0
   5
   10
   15
   20
   25
   30
   35
   2013 2014 2015 2016 2017 2018 2019 2020 2021 2022
   CVPR ICCV ECCV
   8
   ※タイトルとアブストを対象に「event camera」「event-based」「dynamic vision sensor」「event sensor」
   「neuromorphic vision sensor」「event-driven」「event」等で検索し，明らかに関連研究でないものを除外
   

   View Slide

9. イベントカメラ × 計算撮像
   9
   

   View Slide

10. ラインスキャン三次元計測
    10
    

    View Slide

11. ラインスキャン三次元計測：キーアイデア
    11
    [Matsuda+ “MC3D: Motion Contrast 3D Scanning” @ICCP2015]
    シート光源
    カメラ
    カメラ シート光源
    対象物
    𝑥𝑥1
    𝑡𝑡2
    𝑥𝑥2
    𝑡𝑡1
    (𝑥𝑥1
    , 𝑡𝑡1
    )
    𝑡𝑡2
    (𝑥𝑥2
    , 𝑡𝑡2
    )
    時間
    観測イベント
    時間
    シート角度
    𝑡𝑡1
    𝜃𝜃1
    𝜃𝜃2
    𝜃𝜃1
    𝜃𝜃2
    

    View Slide

12. ラインスキャン三次元計測：結果
    12
    対象物体 レーザースキャン イベントベース
    [Matsuda+ “MC3D: Motion Contrast 3D Scanning” @ICCP2015]
    

    View Slide

13. ラインスキャン三次元計測：メリット①
    データ量が大幅に削減可能
    13
    通常カメラ イベントカメラ
    [Matsuda+ “MC3D: Motion Contrast 3D Scanning” @ICCP2015]
    

    View Slide

14. ラインスキャン三次元計測：メリット②
    • HDRと高時間分解能の好影響
    14
    Kinect
    [Matsuda+ “MC3D: Motion Contrast 3D Scanning” @ICCP2015]
    

    View Slide

15. 二波長測光
    15
    

    View Slide

16. 二波長測光とは
    分析化学 大気科学 医療 コンピュータビジョン
    [Photo by KhomchatK (CC BY-SA 4.0)] [L. Mei+, Optics Express 25(20):A953-A962, 2017] [Photo by Phenix573 (CC BY-SA 4.0)]
    [Y. Asano+, TPAMI, 2020]
    薬物濃度計測 気体変化計測 パルスオキシメータ 水中形状計測
    16
    光源 𝜆𝜆1
    対象媒体
    𝜆𝜆1
    検出器
    𝜆𝜆1
    画像
    𝑙𝑙
    分光吸光係数 𝜇𝜇 𝜆𝜆 𝑐𝑐
    log
    log
    -
    光源 𝜆𝜆2
    ビーム統合 ビーム分離
    𝜆𝜆2
    検出器 𝜆𝜆2
    画像
    二波長差分
    𝝁𝝁 𝝀𝝀𝟏𝟏
    − 𝝁𝝁 𝝀𝝀𝟐𝟐
    𝒄𝒄𝒄𝒄
    濃度
    距離
    [Takatani+ “Event-Based Bispectral Photometry Using Temporally Modulated Illumination” @CVPR2021]
    

    View Slide

17. 二波長測光：イベント生成の原理
    log
    Photoreceptor Differentiator Comparators
    Positive event
    Negative event
    対数増幅された信号の時間差分
    Received light Amplified signal Differential signal Triggered events
    17
    

    View Slide

18. 二波長測光：キーアイデア
    log
    Photoreceptor Differentiator Comparators
    Positive event
    Negative event
    対数増幅された信号の時間差分
    log
    log
    -
    Light source at 𝜆𝜆1
    Light source at 𝜆𝜆2
    Beam combiner
    Target media
    Beam splitter
    Detector for 𝜆𝜆1
    Detector for 𝜆𝜆2 Image at 𝜆𝜆2
    Image at 𝜆𝜆1
    二波長差分
    二波帳測光法の原理
    イベント生成メカニズム
    キーアイデア
    時間的に変調された二波長光源を用いて，
    イベント生成における時間差分を二波長差分に変換
    18
    

    View Slide

19. 二波長測光：原理
    Σ
    光源𝜆𝜆1
    光源𝜆𝜆2
    ビーム統合
    対象媒質
    イベントカメラ
    二波長差分
    累積
    𝑙𝑙
    𝜇𝜇 𝜆𝜆 𝑐𝑐
    入射光 透過光 発生イベント 累積イベント
    波長𝜆𝜆1
    変調光
    波長𝜆𝜆2
    変調光
    合計
    二波長差分
    19
    

    View Slide

20. 二波長測光：プロトタイプシステム
    940 nm laser
    915 nm laser
    Target object
    Occluder
    Beam combiner
    Event camera
    Light
    intensity
    0 50000 100000 150000 200000 250000 300000
    Time [µs]
    Recorded
    events
    915nm 940nm
    Positive
    Negative
    System
    0mm 50mm 100mm 150mm 200mm 250mm
    Modulation frequency: 10Hz
    20
    Measurable range
    

    View Slide

21. 21
    二波長計測：水中三次元計測の結果
    Golf Ball
    Plastic Case
    3D Printed Stairs
    [Asano+, TPAMI, 2020] Our method
    

    View Slide

22. 二波長計測：濃度計測の結果
    Event camera
    Target media 𝜆𝜆1: 637nm
    𝜆𝜆2: 850nm
    22
    希釈醤油
    

    View Slide

23. 合成開口
    23
    

    View Slide

24. 合成開口とは
    24
    [Zhang+ “Event-based Synthetic Aperture Imaging with a Hybrid Network” @CVPR2021]
    撮影位置の異なる複数画像を合成して大きな開口を実現
    （隙間のある）遮蔽物
    

    View Slide

25. 合成開口：キーアイデア
    25
    [Zhang+ “Event-based Synthetic Aperture Imaging with a Hybrid Network” @CVPR2021]
    スパイキングニューラルネットワークを統合
    

    View Slide

26. 合成開口：結果
    26
    [Zhang+ “Event-based Synthetic Aperture Imaging with a Hybrid Network” @CVPR2021]
    

    View Slide

27. ローリングシャッタ歪み補正
    27
    

    View Slide

28. ローリングシャッタ歪み補正：目的
    28
    [Zhou+ “EvUnroll: Neuromorphic Events based Rolling Shutter Image Correction” @CVPR2022]
    

    View Slide

29. ローリングシャッタ歪み補正：キーアイデア
    29
    [Zhou+ “EvUnroll: Neuromorphic Events based Rolling Shutter Image Correction” @CVPR2022]
    

    View Slide

30. ローリングシャッタ歪み補正：手法
    30
    [Zhou+ “EvUnroll: Neuromorphic Events based Rolling Shutter Image Correction” @CVPR2022]
    

    View Slide

31. ローリングシャッタ歪み補正：結果
    31
    [Zhou+ “EvUnroll: Neuromorphic Events based Rolling Shutter Image Correction” @CVPR2022]
    

    View Slide

32. ローリングシャッタ歪み補正：比較
    32
    [Zhou+ “EvUnroll: Neuromorphic Events based Rolling Shutter Image Correction” @CVPR2022]
    

    View Slide

33. さいごに
    33
    

    View Slide

34. 今後の研究項目
    • スパイク駆動ネットワークの応用
    • フレームベースではもったいない
    • イベントカメラシミュレータ
    • アノテーション付きイベントが少ない
    • ノイズモデルの構築
    • モデルは自明でない
    • イベント分類
    • より複雑な動的シーンへの対応
    • スパイク駆動ハードウェアの利用
    • SpiNNaker, TrueNorth, Loihi, Dynap, Braindrop
    • アクティブセンシングの応用
    • 空間構造化，時間構造化
    34
    スパイク駆動ニューロンモデル
    画素分散
    イベント分類
    IBM TrueNorth
    

    View Slide

35. まとめ
    • イベントカメラを用いたCV研究が増加中
    • 多くの「今後の研究項目」
    • イベントカメラと計算撮像との出会い
    • 「計算撮像」との組合せはまだ少なくチャンス
    35
    

    View Slide