“An Asynchronous Kalman Filter for Hybrid Event Cameras” Ziwei Wang Yonhon Ng Cedric Scheerlinck Robert Mahony The Australian National University Systems Theory and Robotics Group 第9回 全日本コンピュータビジョン勉強会 ICCV2021読み会 Godel @___Godel

アジェンダ • 選択理由（注目点） • カーボンニュートラルとCV • Event Camera 関連技術 • カルマンフィルタ おさらい • An Asynchronous Kalman Filter for Hybrid Event Cameras • 所感

本論文の選択理由 • 題名に魅せられて • 高速センシング “EVENT CAMERA” • 気になる新手のカルマンフィルタ “Asynchronous Kalman Filter” • 掛け合わせ “EVENT CAMERA” ＋ “Kalman Filter” • Abstractを読んで • HDR処理 • モデル不確定性の解法の一つ“a unifying uncertainty model” • 独自データセットの作成“ n both publicly available datasets with challenging lighting conditions and fast motions and our new dataset with HDR reference” • 処理フロー図を見て • 深層学習 未使用 • 本文を読んで • COMPUTATIONAL PHOTOGRAPHY の一つの潮流 • イベントカメラの前処理には良いかも

カーボンニュートラルとCV • カーボンニュートラル（脱炭素社会） • 地球温暖化に対する対策として，発電に伴う CO2 削減並びに消費電力量の削減 • AI（機械学習）ブーム • 機械学習を用いたCVがデファクト • 高性能CVモデルはGPU等消費電力量の高い デバイスが必須 • CV開発に伴う消費電力の増大 • GPT-3等高精度モデルの学習 • 対策 • Hardware Accelerator の開発 • Green Algorismの考案 CVにも脱炭素は不可欠 https://arxiv.org/abs/2104.10350

カーボンニュートラルとCV（２） • 推論時の低消費電力化の必要性 • サーバサイド処理での消費電力量の削減 • 組み込み機器（Edge端末）での消費電力の削減 • カーボンニュートラルより電池による使用時間の延 長が主 • ハードウエアによる対策 • アクセラレータチップ（TPU，Snapdragon8等） • 通信処理時のデータ処理（圧縮，データフローFPGA 等） • センサの低消費電力化（イベントカメラ等） • ソフトウエアによる対策 • Green Algorism（素行列演算化，パイプライン化等） • DNNの圧縮（量子化，枝刈り等） • イベントベース処理 Spiking Neural Network（SNN等） CVにおける低消費電力化の流れ https://www.nikkei.com/article/DGXZQOUC130O20T10C21A9000000/ https://www.intel.com/content/www/us/ en/newsroom/news/intel-unveils- neuromorphic-loihi-2-lava- software.html#gs.j62fvg https://technoglitz.com/japan/%E3%82%AF%E3% 82%A2%E3%83%AB%E3%82%B3%E3%83%A0 %E3%81%AE%E6%AC%A1%E3%81%AEsnapdr agon%E3%81%AF%E5%B8%B8%E6%99%82%E 3%82%AA%E3%83%B3%E3%81%AE%E3%82% B9%E3%83%9E%E3%83%BC%E3%83%88%E3 %83%95%E3%82%A9%E3%83%B3/

Event Camera 関連技術 • Event(-based) Camera • 輝度の変化が生じたピクセル毎に、画像としてではなく （画素Ｘ,画素Ｙ,輝度変化が生じた時間） を出力する2次元のイメージセンサ • 高速撮影可能（1000FPS以上） • 高ダイナミックレンジ（輝度変化や明暗が大きくても撮影可能） • カメラや被写体静止時の情報は無 • EVENT-BASED CAMERAは研究としては最盛期 • HTTP://RPG.IFI.UZH.CH/RESEARCH_DVS.HTML （ SCARAMUZZA研） • SSII2020チュートリアルセッション EVENT-BASED CAMERA の基礎と ニューラルネットワークによる信号処理 HTTPS://CONFIT.ATLAS.JP/GUIDE/EVENT/SSII2020/STATIC/LECTURE NOTES • CVPR2020 WORKSHOP UNCONVENTIONAL SENSORS IN ROBOTICS: PERCEPTION FOR ONLINE LEARNING, ADAP-TIVE BEHAVIOR, AND COGNITION • PROFESEE(HTTPS://WWW.PROPHESEE.AI/BUY-EVENT-BASED- PRODUCTS-2/)がSONYと提携し商品開発 https://gfycat.com/incredibleimpoliteblackmamba D. Falanga, S. Kim, D. Scaramuzza How Fast is Too Fast? The Role of Perception Latency in High-Speed Sense and Avoid IEEE Robotics and Automation Letters (RA-L), 2019.

Event Camera 関連技術（２） • Event(-based) Camera • 現状（実用期？） • SONY が EVENT BASED IMAGE SENSOR 発売 • ICCV2021 のCHAMPION SPONSOR SONY がEVENT CAMERAを発売，宣伝 • 画像機器展２０２１にてSONYセンサを用いたカメラ展示 • 応用利用、実環境での研究利用促進 • DNNによるEVENT ⇔ FLAME 相互変換 • EVENTのANALOG NEURAL NETWORK（ANN）による，RGB同等の画像処理手法 • SPIKING NEURAL NETWORK（SNN)との連携 • SNNの学習手法の提案 • MIRU2021優秀賞 池川慎一（アイシン）, 齊院龍二（アイシン・ソフトウェア）, 澤田好秀, 名取直毅（アイシ ン），“正規化と PRE-ACTIVATION モジュールを用いた深層スパイキングニューラル ネットワーク” • INTEL LOIHI2等SNNのハードウエアアクセラレータ開発 • DARPA THE FAST EVENT-BASED NEUROMORPHIC CAMERA AND ELECTRONICS (FENCE) PROGRAM • RAYTHEON, BAE SYSTEMS, AND NORTHROP GRUMMAN HAVE BEEN SELECTED TO DEVELOP EVENT-BASED INFRARED (IR) CAMERA TECHNOLOGIES • THESE ADVANCED MODELS OPERATE ASYNCHRONOUSLY AND ONLY TRANSMIT INFORMATION ABOUT PIXELS THAT HAVE CHANGED. THIS MEANS THEY PRODUCE SIGNIFICANTLY LESS DATA AND OPERATE WITH MUCH LOWER LATENCY AND POWER. 参照論文：http://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123610086.pdf 参照動画：https://www.youtube.com/watch?v=sUqFM4xCZHI 可視画像ドメイン イベントカメラ画像ドメイン 物体検出ドメイン （バウンディング ボックス） 中間情報１ ドメイン 中間情報２ ドメイン Network Grafting Algorithm 親のニューラルネットワーク 子のニューラルネットワーク 知 識 蒸 留 （ 親 の 知 を 子 へ 伝 播 ） ド メ イ ン 適 応 スタイル変換 第五回 全日本コンピュータビジョン勉強会 ECCV2020読み会 https://www.darpa.mil/news-events/2021-07-02

Event Camera 関連技術（３） • Event(-based) Cameraの必要性 • ロボットビジョンの要求に合致 • 高速撮影可能（1000FPS以上） • 高ダイナミックレンジ（輝度変化や明暗が大きくても撮影可能） • カメラからの入力データが素 • 高解像度でもフレーム画像と比して1/100～1000の情報量 • 通信路の低体域化が可能 • 画像の圧縮，伸張処理が不要 • イベントベース演算の低消費電力化が可能 • BIT演算化，BIT SEARCH化などBINARY演算で構成可能 https://www.n-denkei.co.jp/pdf/news/tektronix20200917/tektronix_20200917_02.pdf • Event(-based) Cameraのデメリット • カメラや被写体静止時の情報は無 • 監視カメラから現状を人がフレーム画像として確認 したい，静止画の処理を自動化したい等のユース ケース • 対処方法 • 本紹介論文 • 低サンプリングフレーム画像を，高速なイベント情 報により補完し高精度HDR画像を生成

カルマンフィルタおさらい • カルマンフィルタとは • カルマンフィルター (英: KALMAN FILTER) は、誤差のある観測値を用いて、ある動的システムの状態を推定あるいは制御するための、無限インパルス応答フィル ターの一種である。（WIKIPEDIA） • 応用例：カルマンフィルターは、 離散的な誤差のある観測から、時々刻々と時間変化する量（例えばある物体の位置と速度）を推定するために用いられる。レーダー やコンピュータビジョンなど、工学分野で広く用いられる。例えば、カーナビゲーションでは、機器内蔵の加速度計や人工衛星からの誤差のある情報を統合して、時々 刻々変化する自動車の位置を推定するのに応用されている。カルマンフィルターは、目標物の時間変化を支配する法則を活用して、目標物の位置を現在（フィル ター）、未来（予測）、過去（内挿あるいは平滑化）に推定することができる。（WIKIPEDIA） https://ja.wikipedia.org/wiki/%E3%82%AB%E3%83%AB%E3%83%9E%E3%83%B3%E3%83%95%E3%82%A3%E3%83%AB%E3%82%BF%E3%83%BC 観測方程式（人が考えて作る） 状態方程式（人が考えて作る） 強い前提条件（これが現実と合わないので問題が生じている，といっても良い） 強い前提条件（これが現実と合わないので問題が生じている，といっても良い）

カルマンフィルタおさらい（２） • カルマンフィルタとは • …さっぱりわからない！ • もっと直感的に理解したい！ オススメ Youtube動画“裏口からのカルマンフィルタ入門”丸田一郎先生 https://www.youtube.com/watch?v=zVAq_3HClGs 実物モデル レプリカモデル 状態方程式 観測方程式 誤差をフィードバック 実物からの出力 推定された特徴空間 の推定値 推定された出力 • こう見ると，DNNの機械学習に似ているようにも見え ます． • 状態方程式は，実物モデルの中に含まれる数個（次 元）の特徴変数を使って，人が考え出したモデルです． • 機械学習では，このレプリカモデルの部分をDNNなど で多次元の特徴空間を自動的に生成しているところ が異なります． • カルマンフィルタモデル 対 DNNモデル（DNN）では， 当然DNNのほうが精度が上がると考えられます．（実 際に超越しています）

カルマンフィルタおさらい（３） • カルマンフィルタの用途 • ２つ以上のセンサの欠点を補うためのセンサフュージョンが可能 • 詳しくは下記の動画の35分からの慣性計測装置からをご覧ください Youtube動画“裏口からのカルマンフィルタ入門”丸田一郎先生 https://www.youtube.com/watch?v=zVAq_3HClGs • 例では， • 加速度センサ： • 鉛直下向きの加速度を絶対的にセンシング 可能 • 振動による外乱に鋭敏 • 各加速度（ジャイロ）センサ • 振動による外乱の影響が皆無 • 鉛直下向きは積分値なので時間発展の誤 差が生じる • カルマンフィルタを用いたIMU（いいとこどり） • 鉛直方向下向きを高精度でセンシング • 振動に強い • 本紹介論文では， • イベントセンサ： • 輝度変化があった画素を素早く出力 • フレーム画像情報は積分値なので時間発展の誤差が生 じる • 画素ごとのイベントノイズが多い • フレーム画像センサ • 全画素の輝度のフレーム情報 • イベントほど高速なフレーム情報の取得は不可能 • ダイナミックレンジが狭い • 本紹介論文 • 全画素の高HDRの輝度のフレーム情報 • 高速なフレーム画像を推定

No content

本論文の貢献 • HDRビデオ再構成のためのイベント/フレーム情報の非同期カルマンフィルタ (AKF) の構築 • イベント/フレームの不確実性モデルの統一 • デブラーと時間的補間のためのフレーム画像生成 • HDRの性能を定量的に評価するために，リファレンスHDR画像を含む新しい実 世界HDRイベント／フレームハイブリッドデータセットと，HDRシミュレーションデー タセットの構築

状態方程式（連続系） 観測方程式（連続系） Asynchronous Kalman Gain

AKF処理 フレーム画像入力時の処理 フレーム画像出力時の処理 イベントの処理

センシングシステム構成 フレーム画像 イベント モノクロカメラ（輝度画像，Ground Truth） イベントカメラ（イベント，フレーム画像）

既存研究の流れ E2VID：Henri Rebecq, René Ranftl, Vladlen Koltun, Davide Scaramuzza;201906 イベントストリームからの強度画像の再構成を、手作業で作られたプライアに頼ることなく、データから直接学習するこ とを提案する。本研究では、イベントストリームから映像を再構成するための新しいリカレントネットワークを提案し、大 量の模擬イベントデータを用いて学習を行う。学習の際には、再構成が自然な画像統計に従うように、知覚的な損失 を使用することを提案する。さらに、この手法を拡張して、カラーのイベントストリームからカラー画像を合成することが できます。 ECNN：Timo Stoffregen, Cedric Scheerlinck, Davide Scaramuzza, Tom Drummond, Nick Barnes, Lindsay Kleeman, Robert Mahony;202003 我々は、イベントベースのCNNの学習データを改善する戦略を提示し、我々の方法で再学習された既存の最先端 (SOTA)のビデオ再構成ネットワークの性能を20-40%向上させ、オプティックフローネットワークでは最大15%向上させ ることに成功しました。 CF：Cedric Scheerlinck,Nick Barnes,Robert Mahony;２０１８．１１ イベントカメラは、広いダイナミックレンジの局所的な時間的コントラストを、非同期にデータドリブンで測定し、極めて 高い時間分解能を実現します。従来のカメラでは、低周波の基準となる強度情報を取得していました。これら2つのセ ンサーモダリティは、相補的な情報を提供します。我々は、画像フレームとイベントを連続的に融合し、単一の高時間 分解能、高ダイナミックレンジの画像状態にする計算効率の高い非同期フィルタを提案する。従来の画像フレームが ない場合、このフィルタはイベントのみを対象として実行することができる。 2018 2019 2020 2021 Filter based CNN based CF E2VID ECNN AKF

評価結果

評価結果（２）

評価結果（３） 動画参照 https://www.youtube.com/watch?v=XPz7laloKws&t=196s

まとめ・所感 • An Asynchronous Kalman Filter for Hybrid Event Camerasの概要を説明 • イベント情報とフレーム情報をミックスしたAsynchronous Kalman Filter を提案 • HDR生成で，デブラーしつつ高速フレーム生成においてSoTA • 機械学習を行わないカルマンフィルタを利用した２センサの統合画像処理を提案 • 一旦はCNN Basedを試したのち，Filter basedに戻ってSoTAを出している点は，きちんとカメラの物 理モデルを考慮しカルマンフィルタを設計すれば，CNNをもしのぐ性能のモデルを得ることができ ることを示しており，自動化された設計手法よりヒューリスティックな設計手法が勝ることもある事 例を示している． • ノイズを正規分布として仮定してよいかは今後の課題（ただし，データセットでは良好？な結果を 得ている） • 他のcomputational photograpyにおいても，スキーム的に利用できる可能性を含んでいると考えら れる