Tweet
Tweet

Slide 1

Slide 1 text

イベントカメラの研究紹介と 可視光通信への応⽤ 芝 慎太朗（ウーブン・バイ・トヨタ株式会社）

Slide 2

Slide 2 text

2 Proprietary & Confidential 関係者外秘 自己紹介 § 東京大学総合文化研究科 修士（神経科学） 岡ノ谷研究室 § 慶應義塾大学 理工学研究科 博士（工学） 青木研究室 ベルリン工科大学コンピュータサイエンス学科 留学 専門はイベントベースカメラのコンピュータビジョン・機械学習 § トヨタ自動車 → ウーブン・バイ・トヨタ株式会社 Vision AI リサーチサイエンティスト § その他 未踏アドバンスト事業（イベントカメラ） ドイツ学術振興会 二国間博士研究フェローシップ 第14回 日本学術振興会育志賞

Slide 3

Slide 3 text

3 Proprietary & Confidential 関係者外秘

Slide 4

Slide 4 text

4 Proprietary & Confidential 関係者外秘

Slide 5

Slide 5 text

5 Proprietary & Confidential 関係者外秘 6 14 23 Contents 概論 研究紹介 可視光通信への応用

Slide 6

Slide 6 text

6 Proprietary & Confidential 関係者外秘 概論 センサの歴史、仕組み、最近のトレンド 01

Slide 7

Slide 7 text

7 Proprietary & Confidential 関係者外秘 Neural Computation, Vol. 1 (1989), MIT Press

Slide 8

Slide 8 text

8 Proprietary & Confidential 関係者外秘 イベントカメラ 深層学習 Neural Computation, Vol. 1 (1989), MIT Press

Slide 9

Slide 9 text

9 Proprietary & Confidential 関係者外秘 差分を検出する眼の仕組み 1920x1080の動画、60fps: 1.32 Gbps ヒト網膜から脳へのデータ量（推定）：8.75 Mbps 変化のみに着目したセンシング Kostas Daniilidis (GRASP seminar, 2022)

Slide 10

Slide 10 text

10 Proprietary & Confidential 関係者外秘 データ 時間解像度 電力効率 データ効率 ダイナミックレンジ 同期：フレーム ~10 ms 低い 低い 約60dB 非同期：イベント ~10 μs 高い 高い ~120dB イベントカメラとは？

Slide 11

Slide 11 text

11 Proprietary & Confidential 関係者外秘 画素ピッチの推移 産業側の推移 ハードウェア関連企業 パッケージ・ソリューション企業 ソニーセミコンダクタソリューションズ（日本） OMNIVISION（中国） iniVation（スイス） Prophesee（フランス） センチュリーアークス（日本） LUCID（カナダ） SynSense（中国） BranChip（アメリカ）

Slide 12

Slide 12 text

12 Proprietary & Confidential 関係者外秘 ワークショップ ロボティクス系：ICRA (’15, ‘17, 20), IROS (’15, ’18, ’24) 画像処理系：ECCV/ICCV: (‘23, ‘24, ‘25), CVPR (‘19, 21, ‘23, ‘25) 論文数の推移 アカデミアでの盛り上がり CVPR / ICCV ’25投稿テーマ

Slide 13

Slide 13 text

13 Proprietary & Confidential 関係者外秘 研究機関・大学 特に中国と欧州が圧倒的

Slide 14

Slide 14 text

14 Proprietary & Confidential 関係者外秘 研究紹介 02 センサの汎用性

Slide 15

Slide 15 text

15 Proprietary & Confidential 関係者外秘 オプティカルフローや深度の推定 入力イベント 動き補填後 フロー 深度 左 右 Shintaro Shiba, Yannick Klose, Yoshimitsu Aoki, Guillermo Gallego (ECCV, 2022, IEEE T-PAMI 2024) https://www.youtube.com/watch?v=5_uKRya795I

Slide 16

Slide 16 text

16 Proprietary & Confidential 関係者外秘 SLAM Hanme Kim, Stefan Leutenegger and Andrew J. Davison (ECCV, 2016) https://www.youtube.com/watch?v=yHLyhdMSw7w

Slide 17

Slide 17 text

17 Proprietary & Confidential 関係者外秘 衝突回避 Davide Falanga, Kevin Kleber and Davide Scaramuzza, Science Robotics 2020 https://www.youtube.com/watch?v=BzykucxFddI

Slide 18

Slide 18 text

18 Proprietary & Confidential 関係者外秘 ブラー除去 Prophesee, 2023 https://www.youtube.com/watch?v=1LXt4ScwfXA

Slide 19

Slide 19 text

19 Proprietary & Confidential 関係者外秘 動画の高fps化 Tulyakov et al. CVPR 2021 https://www.youtube.com/watch?v=dVLyia-ezvo

Slide 20

Slide 20 text

20 Proprietary & Confidential 関係者外秘 Structured Light での高fps深度推定 Manasi Muglikar; Guillermo Gallego; Davide Scaramuzza (2021 3DV) https://www.youtube.com/watch?v=SITmvZ8VLfs

Slide 21

Slide 21 text

21 Proprietary & Confidential 関係者外秘 宇宙産業 ICNS, Western Sydney University, 2022 https://www.youtube.com/watch?v=f_DEjYafPIk

Slide 22

Slide 22 text

22 Proprietary & Confidential 関係者外秘 現在の課題は？ 研究 § 非同期データに適した処理理 論の構築、進展 § 高速、低レイテンシで動く手 法や、システムとしての実装 § Spiking Neural Network等の 新しい理論との統合 産業 § 企業での応用の実装、活用 § 処理方法の知見共有、ライブ ラリ等 § サービス、システム、ソリュ ーションとしての事業化

Slide 23

Slide 23 text

23 Proprietary & Confidential 関係者外秘 可視光通信への応用 03

Slide 24

Slide 24 text

24 Proprietary & Confidential 関係者外秘 身の回りのローカルな情報伝達 決済 ロボットの位置推定 広告 インターネットの普及した現代でも多用される 重要なローカル通信手段 (OpenCV official docs)

Slide 25

Slide 25 text

25 Proprietary & Confidential 関係者外秘 可視光通信とは？ LED照明等の可視光を高速に変調する ことで情報通信する仕組み 明滅そのものを2値情報に対応させる、 明滅の間隔を対応させるなどの方式 東京タワー 本日のチケット：有 位置情報 位置情報 自己位置推定

Slide 26

Slide 26 text

26 Proprietary & Confidential 関係者外秘 信号 信号機検出 信号情報の送信 信号機周辺の情報送信 非常灯 位置情報（ARマーカー） 工場（あんどん） ラインの状態の監視 車のヘッドランプ 車車間の通信 船の誘導灯 電波の届きにくい場所 でのPtoP通信 日常で使われる光 日常の可視光を用いて、帯域幅に影響せず、 様々な情報送信や、位置推定への応用が可能 街灯・街路灯 インフラから車などへの通信 ARシステム用の情報

Slide 27

Slide 27 text

27 Proprietary & Confidential 関係者外秘 可視光通信の受信センサにおける課題 時間解像度 空間解像度 フォトダイオード 高い（GHz） 低い フレームベースカメラ 低い（~60 Hz） 高い（~1000万画素） イベントカメラ 高い（~MHz） 高い（~100万画素） イベントカメラを用いた可視光通信に着目 通信や位置推定を検証 送信の帯域幅 に影響 複数信号の混信 位置推定に影響

Slide 28

Slide 28 text

28 Proprietary & Confidential 関係者外秘 1. モバイル搭載・データセット 2. 車載・符号化技術 3. 屋外での実証 Woven by Toyota での取り組み

Slide 29

Slide 29 text

29 Proprietary & Confidential 関係者外秘 E-VLCデータセット これまで可視光通信に着目したデータセットが存在せず、通 信や位置推定の精度評価や改善が難しかった フレーム、イベント、モーションキャプチャを同期した、様 々な条件で撮影した110シーンのデータセットE-VLCを公開 Marker Detection & Localization Benchmark Motion compensation and LED decoding 3 sensitivities 4 scene luminances 4 motions LED markers with precise locations Synchronized events + frames Synchronized motion capture 110 sequences, 7.5G events (1Mpix) 88k frames (1Mpix), 266k annotations × × E-VLC Dataset: 課題 本研究

Slide 30

Slide 30 text

30 Proprietary & Confidential 関係者外秘 E-VLCデータセット｜送信機 5kHzで明滅し、異なるIDを送るLEDを、様々な物体に取り付ける

Slide 31

Slide 31 text

31 Proprietary & Confidential 関係者外秘 E-VLCデータセット｜明滅プロトコル 照明の明滅パターンによって、バイナリを符号化

Slide 32

Slide 32 text

32 Proprietary & Confidential 関係者外秘 E-VLCデータセット｜受信機 タブレット（モバイルを想定）にイベントカメラ、フレームカメラ、 同期用の信号ボックスを取り付け

Slide 33

Slide 33 text

33 Proprietary & Confidential 関係者外秘 E-VLCデータセット｜受信機の外部同期 同期信号を外部のモーションキャプチャに出力し、LEDの送信ID情報 のアノテーションも作成 Back Front 取得データ例 Frame Event GT Pose LED Annotation 2 1 3 7 6 9 13 3 モーションキャプチャへ同期

Slide 34

Slide 34 text

34 Proprietary & Confidential 関係者外秘 E-VLCデータセット｜撮影シーン § 動きのパターン § シーンの明るさ § カメラの感度 を変えて、データ取得

Slide 35

Slide 35 text

35 Proprietary & Confidential 関係者外秘 E-VLCデータセット｜詳細

Slide 36

Slide 36 text

36 Proprietary & Confidential 関係者外秘 E-VLCデータセット｜位置推定精度の向上 動きを推定・補填することでデコードと位置推定の精度を向上

Slide 37

Slide 37 text

37 Proprietary & Confidential 関係者外秘 E-VLCデータセット｜位置推定結果 マーカーまでの距離4m以下の場合のみの 比較で、イベントカメラは、検出率が向上 し（4倍~）、精度が少し低下（~2cm） イベントカメラは、シーンの明るさに よらず遠方まで検出（>10m）

Slide 38

Slide 38 text

38 Proprietary & Confidential 関係者外秘 ウォルシュ・アダマール符号を用いた車への通信 車載カメラのようなカメラが高速に動く環境で、頑健に通信 できるプロトコルがわかっていなかった ウォルシュ・アダマール符号化を用いて、車載環境でも長距 離通信できる符号化・復号アルゴリズムを提案 課題 本研究 ※名古屋大学、トヨタ自動車との共同研究

Slide 39

Slide 39 text

39 Proprietary & Confidential 関係者外秘 ウォルシュ・アダマール符号を用いた車への通信 ※名古屋大学、トヨタ自動車との共同研究 ウォルシュ・アダマール（WH）行列とは、1, -1で構成される、各行が直行する正方行列 例 +1 +1 +1 −1 エンコード デコード

Slide 40

Slide 40 text

40 Proprietary & Confidential 関係者外秘 ウォルシュ・アダマール符号を用いた車への通信 動的環境 静止環境 20km/h … 50m以内、40km/h … 40m以内で、 エラーフリーの通信を実現 ※名古屋大学、トヨタ自動車との共同研究

Slide 41

Slide 41 text

41 Proprietary & Confidential 関係者外秘 1. モバイル搭載・データセット 2. 車載・符号化技術 Woven by Toyota での取り組み｜論文情報まとめ “E-VLC: A Real-World Dataset for Event-based Visible Light Communication And Localization”, Shiba S., Kong Q., Kobori N., CVPRW2025 “Augmented Reality Applications Using Active Markers With An Event Camera”, Shiba S., Kong Q., Kobori N., CVPRW2025 https://woven-visionai.github.io/evlc-dataset/ ”Evaluation of Mobile Environment for Vehicular Visible Light Communication Using Multiple LEDs and Event Cameras”, Soga R., Shiba S., Kong Q., Kobori N., Shimizu T., Lu S., Yamazato T, IEEE IV 2025. ”Distance Estimation in Outdoor Driving Environments Using Phase-only Correlation Method with Event Cameras”, Kobayashi M., Shiba S., Kong Q., Kobori N., Shimizu T., Lu S., Yamazato T, IEEE IV 2025. 他、電気情報通信学会 総合大会 2025等

Slide 42

Slide 42 text

42 Proprietary & Confidential 関係者外秘 まとめ § イベントカメラの概論：歴史、仕組み、産学のトレンド § 研究紹介：センサの汎用性を紹介 § 応用紹介：可視光通信（モバイル搭載・データセット、車載・ 符号化、屋外での実証） 来月開催のCVPR Event-based Vision WSにて招待講演・発表予定