$30 off During Our Annual Pro Sale. View details »

Real-Time Spatio-Temporal LiDAR Point Cloud Compression

HorizonLab
October 24, 2020
Education
0
110

Real-Time Spatio-Temporal LiDAR Point Cloud Compression

IROS 2020 talk slides by Yu Feng.

HorizonLab

October 24, 2020
Tweet

More Decks by HorizonLab

See All by HorizonLab
Ptolemy: Architecture Support for Robust Deep Learning
horizonlab
0
150
Mesorasi: Architecture Support for Point Cloud Analytics via Delayed-Aggregation
horizonlab
0
300
Building the Computing System for Autonomous Micromobility Vehicles: Design Constraints and Architectural Optimizations
horizonlab
0
100
Low-Latency Proactive Continuous Vision
horizonlab
0
43
Energy-Efficient 360-Degree Video Rendering on FPGA via Algorithm- Architecture Co-Design
horizonlab
0
190
ASV: Accelerated Stereo Vision System
horizonlab
0
130
ASV: Accelerated Stereo Vision System
horizonlab
0
37
Tigris: Architecture and Algorithms for 3D Perception in Point Clouds
horizonlab
0
180
Tigris: Architecture and Algorithms for 3D Perception in Point Clouds
horizonlab
0
97

Other Decks in Education

See All in Education
Builders, Hackers, and Makers
arnabdotorg
0
120
20221014_「GoGoDX」富山県内市町村職員研修
koshiba_noriaki
1
110
炎上を疑似体験！？ゲームを通して炎上の仕組みを考えてみよう
engineercafe
0
100
Sprucing Up Your Presentations
butler1
0
120
New England: the Founding of Massachusetts Bay
oripsolob
0
750
「プログラミング的思考」から、「プログラミング」へ
asial_edu
0
260
HT22 - DA106A - JavaScript
tibbelit
0
150
Rubyから広がるプログラミング入門教育〜小学校高学年向けプログラミング入門書『ユウと魔法のプログラミング・ノート』執筆から学んだこと〜
yotii23
2
360
超入門フルサイト編集/easiest introduction of full site editing
oleindesign
0
140
OLM R&D祭2022 10/21 R&Dインターン受け入れマニュアル
olmdrd
PRO
0
110
Bias is Ubiquitous: student edition
oripsolob
1
850
明日から使えるテスト技法勉強会_2_クラシフィケーションツリー法
gihoz_support
0
110

Featured

See All Featured
The Power of CSS Pseudo Elements
geoffreycrofte
51
4.2k
A designer walks into a library…
pauljervisheath
197
16k
Clear Off the Table
cherdarchuk
79
290k
The Art of Programming - Codeland 2020
erikaheidi
35
11k
The Invisible Side of Design
smashingmag
292
48k
Build your cross-platform service in a week with App Engine
jlugia
221
17k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
120
29k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
182
15k
GitHub's CSS Performance
jonrohan
1020
420k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
351
21k
BBQ
matthewcrist
75
8.1k
How To Stay Up To Date on Web Technology
chriscoyier
779
250k

Transcript

  1. 1 Real-Time Spatio-Temporal LiDAR Point Cloud Compression Yu Feng with

    Shaoshan Liu (PerceptIn) and Yuhao Zhu Department of Computer Science University of Rochester http://horizon-lab.org

  2. Real-time LiDAR Data Sharing 2

  3. Real-time LiDAR Data Sharing 2

  4. Real-time LiDAR Data Sharing 2

  5. Real-time LiDAR Data Sharing 2

  6. Real-time LiDAR Data Sharing 2 26MB/s ???

  7. Point Cloud Compression 3

  8. Point Cloud Compression 3 Free Viewport Events

  9. Point Cloud Compression 3 Free Viewport Events Culture Heritage

  10. Point Cloud Compression 3 Free Viewport Events Culture Heritage Autonomous

    Driving

  11. Point Cloud Compression 3 Free Viewport Events Culture Heritage Autonomous

    Driving Ochotta - 2004, Lien - 2009, Kammerl - 2012, Fan - 2013, Golla - 2015, Thanou - 2016, Queiroz - 2017, Krivokuća - 2018, Jang - 2019 Huang - 2008, Smith - 2012, Hornung - 2013, Digne - 2014, Morell - 2014, Schwarz - 2018, Lasserre - 2019 Tu - 2015, Sun - 2019, Tu - 2019

  12. Point Cloud Compression 3 Free Viewport Events Culture Heritage Autonomous

    Driving Ochotta - 2004, Lien - 2009, Kammerl - 2012, Fan - 2013, Golla - 2015, Thanou - 2016, Queiroz - 2017, Krivokuća - 2018, Jang - 2019 Huang - 2008, Smith - 2012, Hornung - 2013, Digne - 2014, Morell - 2014, Schwarz - 2018, Lasserre - 2019 Tu - 2015, Sun - 2019, Tu - 2019

  13. LiDAR Data Harvesting 4 Harvested Data Front View Top View

  14. LiDAR Data Harvesting 4 Harvested Data Front View Top View

    LiDAR

  15. LiDAR Data Harvesting 4 Harvested Data Front View Top View

    (θ1, Φ1, ≌t1) (θ2, Φ1, ≌t2) (θ3, Φ1, ≌t3) … Φ1 θ1 ≌θ LiDAR

  16. LiDAR Data Harvesting 5 Harvested Data Front View Top View

    (θ1, Φ1, ≌t1,1) (θ2, Φ1, ≌t1,2) (θ3, Φ1, ≌t1,3) … Φ2 θ1

  17. LiDAR Data Harvesting 5 Harvested Data Front View Top View

    (θ1, Φ1, ≌t1,1) (θ2, Φ1, ≌t1,2) (θ3, Φ1, ≌t1,3) … Φ2 θ1 ≌Φ

  18. LiDAR Data Harvesting 5 Harvested Data Front View Top View

    (θ1, Φ1, ≌t1,1) (θ2, Φ1, ≌t1,2) (θ3, Φ1, ≌t1,3) … Φ2 θ1 (θ1, Φ2, ≌t2,1) (θ2, Φ2, ≌t2,2) (θ3, Φ2, ≌t2,3) … ≌Φ

  19. LiDAR Data Harvesting 5 Harvested Data Front View Top View

    (θ1, Φ1, ≌t1,1) (θ2, Φ1, ≌t1,2) (θ3, Φ1, ≌t1,3) … Φ2 θ1 (θ1, Φ2, ≌t2,1) (θ2, Φ2, ≌t2,2) (θ3, Φ2, ≌t2,3) … … (θ1, Φ3, ≌t3,1) (θ2, Φ3, ≌t3,2) (θ3, Φ3, ≌t3,3) … ≌Φ

  20. Range Image Conversion 6 Harvested Data (θ1, Φ1, ≌t1,1) (θ1,

    Φ2, ≌t2,1) (θ1, Φ3, ≌t3,1) (θ2, Φ1, ≌t1,2) (θ2, Φ2, ≌t2,2) (θ2, Φ3, ≌t3,2) (θ3, Φ1, ≌t1,3) (θ3, Φ2, ≌t2,3) (θ3, Φ3, ≌t3,3) … … … …

  21. Range Image Range Image Conversion 6 Harvested Data (θ1, Φ1,

    ≌t1,1) (θ1, Φ2, ≌t2,1) (θ1, Φ3, ≌t3,1) (θ2, Φ1, ≌t1,2) (θ2, Φ2, ≌t2,2) (θ2, Φ3, ≌t3,2) (θ3, Φ1, ≌t1,3) (θ3, Φ2, ≌t2,3) (θ3, Φ3, ≌t3,3) … … … …

  22. Range Image Range Image Conversion 6 Harvested Data (θ1, Φ1,

    ≌t1,1) (θ1, Φ2, ≌t2,1) (θ1, Φ3, ≌t3,1) (θ2, Φ1, ≌t1,2) (θ2, Φ2, ≌t2,2) (θ2, Φ3, ≌t3,2) (θ3, Φ1, ≌t1,3) (θ3, Φ2, ≌t2,3) (θ3, Φ3, ≌t3,3) … … … … θ1

  23. Range Image Range Image Conversion 6 Harvested Data (θ1, Φ1,

    ≌t1,1) (θ1, Φ2, ≌t2,1) (θ1, Φ3, ≌t3,1) (θ2, Φ1, ≌t1,2) (θ2, Φ2, ≌t2,2) (θ2, Φ3, ≌t3,2) (θ3, Φ1, ≌t1,3) (θ3, Φ2, ≌t2,3) (θ3, Φ3, ≌t3,3) … … … … Φ1 θ1

  24. Range Image Range Image Conversion 6 Harvested Data R1,1 R1,2

    R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Φ1 θ1

  25. Range Image So, using image compression? Range Image Conversion 6

    Harvested Data R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Φ1 θ1

  26. Inefficiency of Using Image Compression 7 R1,1 R1,2 R1,3 R1,4

    R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Range Image ▸Disadvantages of Using Image Compression

  27. Inefficiency of Using Image Compression 7 R1,1 R1,2 R1,3 R1,4

    R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 ▸Disadvantages of Using Image Compression

  28. Inefficiency of Using Image Compression 7 R1,1 R1,2 R1,3 R1,4

    R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 ▸Disadvantages of Using Image Compression ▹Leverage redundant color information not spatial information.

  29. Inefficiency of Using Image Compression 7 R1,1 R1,2 R1,3 R1,4

    R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 ▸Disadvantages of Using Image Compression ▹Leverage redundant color information not spatial information. ▹Lose detailed spatial information by normalizing range value into 0-255. (120 m with 0.02 m distance accuracy)

  30. Inefficiency of Using Image Compression 7 R1,1 R1,2 R1,3 R1,4

    R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 ▸Disadvantages of Using Image Compression ▹Leverage redundant color information not spatial information. ▹Lose detailed spatial information by normalizing range value into 0-255. (120 m with 0.02 m distance accuracy) ▹Intelligent applications are more precision- sensitive than human visual cue.

  31. Spatio-Temporal Compression 8

  32. Spatio-Temporal Compression 8 Spatial Encoding

  33. Spatio-Temporal Compression 8 Spatial Encoding Temporal Encoding

  34. Spatio-Temporal Compression 8 Spatial Encoding Temporal Encoding

  35. Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6

  36. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6

  37. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data

  38. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data

  39. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1)

  40. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) Unfitted Data R1,3, R1,4, R2,3, R2,4

  41. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) Unfitted Data R1,3, R1,4, R2,3, R2,4

  42. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) Unfitted Data R1,3, R1,4, R2,3, R2,4

  43. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) Unfitted Data R1,3, R1,4, R2,3, R2,4

  44. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) Unfitted Data R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6

  45. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) Unfitted Data R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0

  46. Plane : x + ay + bz + c =

    0 LiDARs have a much more fine- grained horizontal resolution than vertical resolution. Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) Unfitted Data R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0

  47. Encoding Multiple Frames ??? 10 Fitted Data Unfitted Data T1:

    (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0

  48. Encoding Multiple Frames ??? 10 Fitted Data Unfitted Data T1:

    (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0

  49. Encoding Multiple Frames ??? 10 Fitted Data Unfitted Data T1:

    (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 99% of the region is overlapped.

  50. Spatio-Temporal Compression 11 Spatial Encoding Temporal Encoding

  51. Spatio-Temporal Compression 11 Spatial Encoding Temporal Encoding

  52. Encoding Multiple Frames 12 Time T3 T4 T5 T1 T2

  53. Encoding Multiple Frames 12 Time T3 T4 T5 T1 T2

    IMU measurements +

  54. Encoding Multiple Frames 12 Time T3 T4 T5 T1 T2

    IMU measurements +

  55. Encoding Multiple Frames 12 Time T3 T4 T5 T1 T2

    IMU measurements + Before Transformation After Transformation

  56. Encoding Multiple Frames 12 Before Transformation After Transformation R1,1 R1,2

    R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Range Image Conversion

  57. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6

  58. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels?

  59. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU.

  60. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2

  61. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c1

  62. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c1 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1

  63. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c1 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2

  64. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c1 … 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …

  65. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c1 … { C2(avg.) 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …

  66. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c2 c1 … { C2(avg.) 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …

  67. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c2 c1 c3 … { C2(avg.) 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …

  68. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c2 c1 c3 c4 … { C2(avg.) 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …

  69. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c2 c1 c3 c4 c5 … { C2(avg.) 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …

  70. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c2 c1 c3 c4 c5 … (a, b, c1, c2, c3, c4, c5, len) 8 parameters instead of 20 { C2(avg.) 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …

  71. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6

  72. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Multi-Channel Fitted Data

  73. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Multi-Channel Fitted Data

  74. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 T1: (a1, b1, c11, c12, c13, c14, c15,1) Multi-Channel Fitted Data

  75. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 T1: (a1, b1, c11, c12, c13, c14, c15,1) Multi-Channel Fitted Data

  76. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 T1: (a1, b1, c11, c12, c13, c14, c15,1) Multi-Channel Fitted Data

  77. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 T1: (a1, b1, c11, c12, c13, c14, c15,1) Multi-Channel Fitted Data

  78. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 T1: (a1, b1, c11, c12, c13, c14, c15,1) T4, T5: (a4, b4, c41, c42, c43, c44, c45, 2) Multi-Channel Fitted Data

  79. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 T1: (a1, b1, c11, c12, c13, c14, c15,1) T4, T5: (a4, b4, c41, c42, c43, c44, c45, 2) Multi-Channel Fitted Data

  80. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Unfitted Data Single Channel Fitted Data T1: (a1, b1, c11, c12, c13, c14, c15,1) T4, T5: (a4, b4, c41, c42, c43, c44, c45, 2) Multi-Channel Fitted Data

  81. Temporal Encoding 14 Bitmap 1 0 0 1 1 0

    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Unfitted Data Single Channel Fitted Data T1: (a1, b1, c11, c12, c13, c14, c15,1) T4, T5: (a4, b4, c41, c42, c43, c44, c45, 2) Multi-Channel Fitted Data

  82. Put Things Together 15 middle frame 3 frame 1, 2,

    4, 5

  83. Put Things Together 15 Motion Transformation middle frame 3 frame

    1, 2, 4, 5

  84. Put Things Together 15 Range Image Conversion Motion Transformation middle

    frame 3 frame 1, 2, 4, 5

  85. Put Things Together 15 Range Image Conversion Temporal Encoding (cross

    channel fitting) Motion Transformation middle frame 3 frame 1, 2, 4, 5

  86. Put Things Together 15 Range Image Conversion Temporal Encoding (cross

    channel fitting) Spatial Encoding (single channel fitting) Motion Transformation middle frame 3 frame 1, 2, 4, 5

  87. Put Things Together 15 Range Image Conversion Temporal Encoding (cross

    channel fitting) Spatial Encoding (single channel fitting) Motion Transformation middle frame 3 frame 1, 2, 4, 5 Lossless Encoding Multi-channel fitted data Single channel fitted data unfitted data +

  88. Put Things Together 15 Range Image Conversion Temporal Encoding (cross

    channel fitting) Spatial Encoding (single channel fitting) Motion Transformation Encoded Data middle frame 3 frame 1, 2, 4, 5 Lossless Encoding Multi-channel fitted data Single channel fitted data unfitted data +

  89. Experimental Setup 16

  90. Experimental Setup 16 Three Robotic Applications: ▹ Registration, Object Detection,

    Scene Segmentation

  91. Experimental Setup 16 Three Robotic Applications: ▹ Registration, Object Detection,

    Scene Segmentation Datasets: ▹ KITTI and SemanticKITTI dataset

  92. Experimental Setup 16 Three Robotic Applications: ▹ Registration, Object Detection,

    Scene Segmentation Datasets: ▹ KITTI and SemanticKITTI dataset Baselines: ▹ G-PCC, V-PCC, JPEG, H264

  93. Experimental Setup 16 Three Robotic Applications: ▹ Registration, Object Detection,

    Scene Segmentation Datasets: ▹ KITTI and SemanticKITTI dataset Baselines: ▹ G-PCC, V-PCC, JPEG, H264 Variants: ▹ Single-frame: only spatial encoding ▹ Streaming: spatial and temporal encoding

  94. Experimental Setup 16 Three Robotic Applications: ▹ Registration, Object Detection,

    Scene Segmentation Datasets: ▹ KITTI and SemanticKITTI dataset Baselines: ▹ G-PCC, V-PCC, JPEG, H264 Variants: ▹ Single-frame: only spatial encoding ▹ Streaming: spatial and temporal encoding Hardware Platforms: ▹ Intel i5-7500 with 4 cores and Nvidia Jetson TX2 ▹

  95. Registration Result 17

  96. Registration Result 17 Translational Error (%) 0 1 2 3

    4 Compression Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy Original

  97. Registration Result 17 Translational Error (%) 0 1 2 3

    4 Compression Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy Original >85%

  98. Registration Result 17 Translational Error (%) 0 1 2 3

    4 Compression Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy Original Better >85%

  99. Object Detection 18

  100. Object Detection 18 Accuracy (%) 0 25 50 75 100

    Compression Rate 0 30 60 90 120 Single-Frame G-PCC Image Original

  101. Object Detection 18 Accuracy (%) 0 25 50 75 100

    Compression Rate 0 30 60 90 120 Single-Frame G-PCC Image Original

  102. Object Detection 18 Accuracy (%) 0 25 50 75 100

    Compression Rate 0 30 60 90 120 Single-Frame G-PCC Image Original Better

  103. Scene Segmentation 19

  104. Scene Segmentation 19 Accuracy (%) 0 25 50 75 100

    Compression Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy Original

  105. Scene Segmentation 19 Accuracy (%) 0 25 50 75 100

    Compression Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy Original

  106. Scene Segmentation 19 Accuracy (%) 0 25 50 75 100

    Compression Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy Original Better

  107. Compression Speed 20

  108. Compression Speed 20 FPS 0.01 0.1 1 10 100 Compression

    Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy

  109. Compression Speed 20 FPS 0.01 0.1 1 10 100 Compression

    Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy

  110. Conclusion 21

  111. Conclusion 21 ‣Efficient point cloud compression will enable autonomous machines

    to be more connected with each other and with the cloud

  112. Conclusion 21 ‣By exploiting spatial and temporal redundancies across point

    clouds, our real-time compression method achieves up to 90× compression rate with high application accuracy. ‣Efficient point cloud compression will enable autonomous machines to be more connected with each other and with the cloud