[論文読み会] An Asynchronous Kalman Filter for Hybrid Event Cameras

Transcript

1. “An Asynchronous Kalman Filter for Hybrid Event Cameras”
   Ziwei Wang Yonhon Ng Cedric Scheerlinck Robert Mahony
   The Australian National University Systems Theory and Robotics Group
   第9回 全日本コンピュータビジョン勉強会 ICCV2021読み会
   Godel
   @___Godel
   

   View Slide

2. アジェンダ
   • 選択理由（注目点）
   • カーボンニュートラルとCV
   • Event Camera 関連技術
   • カルマンフィルタ おさらい
   • An Asynchronous Kalman Filter for Hybrid Event Cameras
   • 所感
   

   View Slide

3. 本論文の選択理由
   • 題名に魅せられて
   • 高速センシング “EVENT CAMERA”
   • 気になる新手のカルマンフィルタ “Asynchronous Kalman Filter”
   • 掛け合わせ “EVENT CAMERA” ＋ “Kalman Filter”
   • Abstractを読んで
   • HDR処理
   • モデル不確定性の解法の一つ“a unifying uncertainty model”
   • 独自データセットの作成“ n both publicly available datasets with challenging lighting conditions and fast motions
   and our new dataset with HDR reference”
   • 処理フロー図を見て
   • 深層学習 未使用
   • 本文を読んで
   • COMPUTATIONAL PHOTOGRAPHY の一つの潮流
   • イベントカメラの前処理には良いかも
   

   View Slide

4. カーボンニュートラルとCV
   • カーボンニュートラル（脱炭素社会）
   • 地球温暖化に対する対策として，発電に伴う
   CO2
   削減並びに消費電力量の削減
   • AI（機械学習）ブーム
   • 機械学習を用いたCVがデファクト
   • 高性能CVモデルはGPU等消費電力量の高い
   デバイスが必須
   • CV開発に伴う消費電力の増大
   • GPT-3等高精度モデルの学習
   • 対策
   • Hardware Accelerator の開発
   • Green Algorismの考案
   CVにも脱炭素は不可欠
   https://arxiv.org/abs/2104.10350
   

   View Slide

5. カーボンニュートラルとCV（２）
   • 推論時の低消費電力化の必要性
   • サーバサイド処理での消費電力量の削減
   • 組み込み機器（Edge端末）での消費電力の削減
   • カーボンニュートラルより電池による使用時間の延
   長が主
   • ハードウエアによる対策
   • アクセラレータチップ（TPU，Snapdragon8等）
   • 通信処理時のデータ処理（圧縮，データフローFPGA
   等）
   • センサの低消費電力化（イベントカメラ等）
   • ソフトウエアによる対策
   • Green Algorism（素行列演算化，パイプライン化等）
   • DNNの圧縮（量子化，枝刈り等）
   • イベントベース処理 Spiking Neural Network（SNN等）
   CVにおける低消費電力化の流れ
   https://www.nikkei.com/article/DGXZQOUC130O20T10C21A9000000/
   https://www.intel.com/content/www/us/
   en/newsroom/news/intel-unveils-
   neuromorphic-loihi-2-lava-
   software.html#gs.j62fvg
   https://technoglitz.com/japan/%E3%82%AF%E3%
   82%A2%E3%83%AB%E3%82%B3%E3%83%A0
   %E3%81%AE%E6%AC%A1%E3%81%AEsnapdr
   agon%E3%81%AF%E5%B8%B8%E6%99%82%E
   3%82%AA%E3%83%B3%E3%81%AE%E3%82%
   B9%E3%83%9E%E3%83%BC%E3%83%88%E3
   %83%95%E3%82%A9%E3%83%B3/
   

   View Slide

6. Event Camera 関連技術
   • Event(-based) Camera
   • 輝度の変化が生じたピクセル毎に、画像としてではなく
   （画素Ｘ,画素Ｙ,輝度変化が生じた時間）
   を出力する2次元のイメージセンサ
   • 高速撮影可能（1000FPS以上）
   • 高ダイナミックレンジ（輝度変化や明暗が大きくても撮影可能）
   • カメラや被写体静止時の情報は無
   • EVENT-BASED CAMERAは研究としては最盛期
   • HTTP://RPG.IFI.UZH.CH/RESEARCH_DVS.HTML （ SCARAMUZZA研）
   • SSII2020チュートリアルセッション EVENT-BASED CAMERA の基礎と
   ニューラルネットワークによる信号処理
   HTTPS://CONFIT.ATLAS.JP/GUIDE/EVENT/SSII2020/STATIC/LECTURE
   NOTES
   • CVPR2020 WORKSHOP UNCONVENTIONAL SENSORS IN
   ROBOTICS: PERCEPTION FOR ONLINE LEARNING, ADAP-TIVE
   BEHAVIOR, AND COGNITION
   • PROFESEE(HTTPS://WWW.PROPHESEE.AI/BUY-EVENT-BASED-
   PRODUCTS-2/)がSONYと提携し商品開発
   https://gfycat.com/incredibleimpoliteblackmamba
   D. Falanga, S. Kim, D. Scaramuzza
   How Fast is Too Fast? The Role of Perception Latency in High-Speed Sense
   and Avoid
   IEEE Robotics and Automation Letters (RA-L), 2019.
   

   View Slide

7. Event Camera 関連技術（２）
   • Event(-based) Camera
   • 現状（実用期？）
   • SONY が EVENT BASED IMAGE SENSOR 発売
   • ICCV2021 のCHAMPION SPONSOR SONY がEVENT CAMERAを発売，宣伝
   • 画像機器展２０２１にてSONYセンサを用いたカメラ展示
   • 応用利用、実環境での研究利用促進
   • DNNによるEVENT ⇔ FLAME 相互変換
   • EVENTのANALOG NEURAL NETWORK（ANN）による，RGB同等の画像処理手法
   • SPIKING NEURAL NETWORK（SNN)との連携
   • SNNの学習手法の提案
   • MIRU2021優秀賞
   池川慎一（アイシン）, 齊院龍二（アイシン・ソフトウェア）, 澤田好秀, 名取直毅（アイシ
   ン），“正規化と PRE-ACTIVATION モジュールを用いた深層スパイキングニューラル
   ネットワーク”
   • INTEL LOIHI2等SNNのハードウエアアクセラレータ開発
   • DARPA THE FAST EVENT-BASED NEUROMORPHIC CAMERA AND
   ELECTRONICS (FENCE) PROGRAM
   • RAYTHEON, BAE SYSTEMS, AND NORTHROP GRUMMAN HAVE BEEN
   SELECTED TO DEVELOP EVENT-BASED INFRARED (IR) CAMERA
   TECHNOLOGIES
   • THESE ADVANCED MODELS OPERATE ASYNCHRONOUSLY AND ONLY
   TRANSMIT INFORMATION ABOUT PIXELS THAT HAVE CHANGED. THIS
   MEANS THEY PRODUCE SIGNIFICANTLY LESS DATA AND OPERATE
   WITH MUCH LOWER LATENCY AND POWER.
   参照論文：http://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123610086.pdf 参照動画：https://www.youtube.com/watch?v=sUqFM4xCZHI
   可視画像ドメイン
   イベントカメラ画像ドメイン
   物体検出ドメイン
   （バウンディング
   ボックス）
   中間情報１
   ドメイン
   中間情報２
   ドメイン
   Network Grafting Algorithm
   親のニューラルネットワーク
   子のニューラルネットワーク
   知
   識
   蒸
   留
   （
   親
   の
   知
   を
   子
   へ
   伝
   播
   ）
   ド
   メ
   イ
   ン
   適
   応
   スタイル変換
   第五回 全日本コンピュータビジョン勉強会 ECCV2020読み会
   https://www.darpa.mil/news-events/2021-07-02
   

   View Slide

8. Event Camera 関連技術（３）
   • Event(-based) Cameraの必要性
   • ロボットビジョンの要求に合致
   • 高速撮影可能（1000FPS以上）
   • 高ダイナミックレンジ（輝度変化や明暗が大きくても撮影可能）
   • カメラからの入力データが素
   • 高解像度でもフレーム画像と比して1/100～1000の情報量
   • 通信路の低体域化が可能
   • 画像の圧縮，伸張処理が不要
   • イベントベース演算の低消費電力化が可能
   • BIT演算化，BIT SEARCH化などBINARY演算で構成可能
   https://www.n-denkei.co.jp/pdf/news/tektronix20200917/tektronix_20200917_02.pdf
   • Event(-based) Cameraのデメリット
   • カメラや被写体静止時の情報は無
   • 監視カメラから現状を人がフレーム画像として確認
   したい，静止画の処理を自動化したい等のユース
   ケース
   • 対処方法
   • 本紹介論文
   • 低サンプリングフレーム画像を，高速なイベント情
   報により補完し高精度HDR画像を生成
   

   View Slide

9. カルマンフィルタおさらい
   • カルマンフィルタとは
   • カルマンフィルター (英: KALMAN FILTER) は、誤差のある観測値を用いて、ある動的システムの状態を推定あるいは制御するための、無限インパルス応答フィル
   ターの一種である。（WIKIPEDIA）
   • 応用例：カルマンフィルターは、 離散的な誤差のある観測から、時々刻々と時間変化する量（例えばある物体の位置と速度）を推定するために用いられる。レーダー
   やコンピュータビジョンなど、工学分野で広く用いられる。例えば、カーナビゲーションでは、機器内蔵の加速度計や人工衛星からの誤差のある情報を統合して、時々
   刻々変化する自動車の位置を推定するのに応用されている。カルマンフィルターは、目標物の時間変化を支配する法則を活用して、目標物の位置を現在（フィル
   ター）、未来（予測）、過去（内挿あるいは平滑化）に推定することができる。（WIKIPEDIA）
   https://ja.wikipedia.org/wiki/%E3%82%AB%E3%83%AB%E3%83%9E%E3%83%B3%E3%83%95%E3%82%A3%E3%83%AB%E3%82%BF%E3%83%BC
   観測方程式（人が考えて作る）
   状態方程式（人が考えて作る）
   強い前提条件（これが現実と合わないので問題が生じている，といっても良い）
   強い前提条件（これが現実と合わないので問題が生じている，といっても良い）
   

   View Slide

10. カルマンフィルタおさらい（２）
    • カルマンフィルタとは
    • …さっぱりわからない！
    • もっと直感的に理解したい！
    オススメ
    Youtube動画“裏口からのカルマンフィルタ入門”丸田一郎先生
    https://www.youtube.com/watch?v=zVAq_3HClGs
    実物モデル
    レプリカモデル
    状態方程式
    観測方程式
    誤差をフィードバック
    実物からの出力
    推定された特徴空間
    の推定値
    推定された出力
    • こう見ると，DNNの機械学習に似ているようにも見え
    ます．
    • 状態方程式は，実物モデルの中に含まれる数個（次
    元）の特徴変数を使って，人が考え出したモデルです．
    • 機械学習では，このレプリカモデルの部分をDNNなど
    で多次元の特徴空間を自動的に生成しているところ
    が異なります．
    • カルマンフィルタモデル 対 DNNモデル（DNN）では，
    当然DNNのほうが精度が上がると考えられます．（実
    際に超越しています）
    

    View Slide

11. カルマンフィルタおさらい（３）
    • カルマンフィルタの用途
    • ２つ以上のセンサの欠点を補うためのセンサフュージョンが可能
    • 詳しくは下記の動画の35分からの慣性計測装置からをご覧ください
    Youtube動画“裏口からのカルマンフィルタ入門”丸田一郎先生
    https://www.youtube.com/watch?v=zVAq_3HClGs
    • 例では，
    • 加速度センサ：
    • 鉛直下向きの加速度を絶対的にセンシング
    可能
    • 振動による外乱に鋭敏
    • 各加速度（ジャイロ）センサ
    • 振動による外乱の影響が皆無
    • 鉛直下向きは積分値なので時間発展の誤
    差が生じる
    • カルマンフィルタを用いたIMU（いいとこどり）
    • 鉛直方向下向きを高精度でセンシング
    • 振動に強い
    • 本紹介論文では，
    • イベントセンサ：
    • 輝度変化があった画素を素早く出力
    • フレーム画像情報は積分値なので時間発展の誤差が生
    じる
    • 画素ごとのイベントノイズが多い
    • フレーム画像センサ
    • 全画素の輝度のフレーム情報
    • イベントほど高速なフレーム情報の取得は不可能
    • ダイナミックレンジが狭い
    • 本紹介論文
    • 全画素の高HDRの輝度のフレーム情報
    • 高速なフレーム画像を推定
    

    View Slide

12. View Slide

13. 本論文の貢献
    • HDRビデオ再構成のためのイベント/フレーム情報の非同期カルマンフィルタ
    (AKF) の構築
    • イベント/フレームの不確実性モデルの統一
    • デブラーと時間的補間のためのフレーム画像生成
    • HDRの性能を定量的に評価するために，リファレンスHDR画像を含む新しい実
    世界HDRイベント／フレームハイブリッドデータセットと，HDRシミュレーションデー
    タセットの構築
    

    View Slide

14. 状態方程式（連続系）
    観測方程式（連続系）
    Asynchronous Kalman Gain
    

    View Slide

15. AKF処理
    フレーム画像入力時の処理
    フレーム画像出力時の処理
    イベントの処理
    

    View Slide

16. センシングシステム構成
    フレーム画像 イベント
    モノクロカメラ（輝度画像，Ground Truth）
    イベントカメラ（イベント，フレーム画像）
    

    View Slide

17. 既存研究の流れ
    E2VID：Henri Rebecq, René Ranftl, Vladlen Koltun, Davide Scaramuzza;201906
    イベントストリームからの強度画像の再構成を、手作業で作られたプライアに頼ることなく、データから直接学習するこ
    とを提案する。本研究では、イベントストリームから映像を再構成するための新しいリカレントネットワークを提案し、大
    量の模擬イベントデータを用いて学習を行う。学習の際には、再構成が自然な画像統計に従うように、知覚的な損失
    を使用することを提案する。さらに、この手法を拡張して、カラーのイベントストリームからカラー画像を合成することが
    できます。
    ECNN：Timo Stoffregen, Cedric Scheerlinck, Davide Scaramuzza, Tom Drummond, Nick Barnes, Lindsay Kleeman, Robert
    Mahony;202003
    我々は、イベントベースのCNNの学習データを改善する戦略を提示し、我々の方法で再学習された既存の最先端
    (SOTA)のビデオ再構成ネットワークの性能を20-40%向上させ、オプティックフローネットワークでは最大15%向上させ
    ることに成功しました。
    CF：Cedric Scheerlinck,Nick Barnes,Robert Mahony;２０１８．１１
    イベントカメラは、広いダイナミックレンジの局所的な時間的コントラストを、非同期にデータドリブンで測定し、極めて
    高い時間分解能を実現します。従来のカメラでは、低周波の基準となる強度情報を取得していました。これら2つのセ
    ンサーモダリティは、相補的な情報を提供します。我々は、画像フレームとイベントを連続的に融合し、単一の高時間
    分解能、高ダイナミックレンジの画像状態にする計算効率の高い非同期フィルタを提案する。従来の画像フレームが
    ない場合、このフィルタはイベントのみを対象として実行することができる。
    2018 2019 2020 2021
    Filter based
    CNN based
    CF
    E2VID ECNN
    AKF
    

    View Slide

18. 評価結果
    

    View Slide

19. 評価結果（２）
    

    View Slide

20. 評価結果（３） 動画参照 https://www.youtube.com/watch?v=XPz7laloKws&t=196s
    

    View Slide

21. まとめ・所感
    • An Asynchronous Kalman Filter for Hybrid Event Camerasの概要を説明
    • イベント情報とフレーム情報をミックスしたAsynchronous Kalman Filter を提案
    • HDR生成で，デブラーしつつ高速フレーム生成においてSoTA
    • 機械学習を行わないカルマンフィルタを利用した２センサの統合画像処理を提案
    • 一旦はCNN Basedを試したのち，Filter basedに戻ってSoTAを出している点は，きちんとカメラの物
    理モデルを考慮しカルマンフィルタを設計すれば，CNNをもしのぐ性能のモデルを得ることができ
    ることを示しており，自動化された設計手法よりヒューリスティックな設計手法が勝ることもある事
    例を示している．
    • ノイズを正規分布として仮定してよいかは今後の課題（ただし，データセットでは良好？な結果を
    得ている）
    • 他のcomputational photograpyにおいても，スキーム的に利用できる可能性を含んでいると考えら
    れる
    

    View Slide