Yonhon Ng Cedric Scheerlinck Robert Mahony The Australian National University Systems Theory and Robotics Group 第9回 全日本コンピュータビジョン勉強会 ICCV2021読み会 Godel @___Godel
• 高速撮影可能(1000FPS以上) • 高ダイナミックレンジ(輝度変化や明暗が大きくても撮影可能) • カメラや被写体静止時の情報は無 • EVENT-BASED CAMERAは研究としては最盛期 • HTTP://RPG.IFI.UZH.CH/RESEARCH_DVS.HTML ( SCARAMUZZA研) • SSII2020チュートリアルセッション EVENT-BASED CAMERA の基礎と ニューラルネットワークによる信号処理 HTTPS://CONFIT.ATLAS.JP/GUIDE/EVENT/SSII2020/STATIC/LECTURE NOTES • CVPR2020 WORKSHOP UNCONVENTIONAL SENSORS IN ROBOTICS: PERCEPTION FOR ONLINE LEARNING, ADAP-TIVE BEHAVIOR, AND COGNITION • PROFESEE(HTTPS://WWW.PROPHESEE.AI/BUY-EVENT-BASED- PRODUCTS-2/)がSONYと提携し商品開発 https://gfycat.com/incredibleimpoliteblackmamba D. Falanga, S. Kim, D. Scaramuzza How Fast is Too Fast? The Role of Perception Latency in High-Speed Sense and Avoid IEEE Robotics and Automation Letters (RA-L), 2019.
が EVENT BASED IMAGE SENSOR 発売 • ICCV2021 のCHAMPION SPONSOR SONY がEVENT CAMERAを発売,宣伝 • 画像機器展2021にてSONYセンサを用いたカメラ展示 • 応用利用、実環境での研究利用促進 • DNNによるEVENT ⇔ FLAME 相互変換 • EVENTのANALOG NEURAL NETWORK(ANN)による,RGB同等の画像処理手法 • SPIKING NEURAL NETWORK(SNN)との連携 • SNNの学習手法の提案 • MIRU2021優秀賞 池川慎一(アイシン), 齊院龍二(アイシン・ソフトウェア), 澤田好秀, 名取直毅(アイシ ン),“正規化と PRE-ACTIVATION モジュールを用いた深層スパイキングニューラル ネットワーク” • INTEL LOIHI2等SNNのハードウエアアクセラレータ開発 • DARPA THE FAST EVENT-BASED NEUROMORPHIC CAMERA AND ELECTRONICS (FENCE) PROGRAM • RAYTHEON, BAE SYSTEMS, AND NORTHROP GRUMMAN HAVE BEEN SELECTED TO DEVELOP EVENT-BASED INFRARED (IR) CAMERA TECHNOLOGIES • THESE ADVANCED MODELS OPERATE ASYNCHRONOUSLY AND ONLY TRANSMIT INFORMATION ABOUT PIXELS THAT HAVE CHANGED. THIS MEANS THEY PRODUCE SIGNIFICANTLY LESS DATA AND OPERATE WITH MUCH LOWER LATENCY AND POWER. 参照論文:http://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123610086.pdf 参照動画:https://www.youtube.com/watch?v=sUqFM4xCZHI 可視画像ドメイン イベントカメラ画像ドメイン 物体検出ドメイン (バウンディング ボックス) 中間情報1 ドメイン 中間情報2 ドメイン Network Grafting Algorithm 親のニューラルネットワーク 子のニューラルネットワーク 知 識 蒸 留 ( 親 の 知 を 子 へ 伝 播 ) ド メ イ ン 適 応 スタイル変換 第五回 全日本コンピュータビジョン勉強会 ECCV2020読み会 https://www.darpa.mil/news-events/2021-07-02