Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Real-Time Spatio-Temporal LiDAR Point Cloud Com...

HorizonLab
October 24, 2020
Education
0
320

Real-Time Spatio-Temporal LiDAR Point Cloud Compression

IROS 2020 talk slides by Yu Feng.

HorizonLab

October 24, 2020
Tweet

More Decks by HorizonLab

See All by HorizonLab
Ptolemy: Architecture Support for Robust Deep Learning
horizonlab
0
360
Mesorasi: Architecture Support for Point Cloud Analytics via Delayed-Aggregation
horizonlab
0
570
Building the Computing System for Autonomous Micromobility Vehicles: Design Constraints and Architectural Optimizations
horizonlab
0
230
Low-Latency Proactive Continuous Vision
horizonlab
0
160
Energy-Efficient 360-Degree Video Rendering on FPGA via Algorithm- Architecture Co-Design
horizonlab
0
430
ASV: Accelerated Stereo Vision System
horizonlab
0
280
ASV: Accelerated Stereo Vision System
horizonlab
0
140
Tigris: Architecture and Algorithms for 3D Perception in Point Clouds
horizonlab
0
320
Tigris: Architecture and Algorithms for 3D Perception in Point Clouds
horizonlab
0
260

Other Decks in Education

See All in Education
Design Guidelines and Models - Lecture 5 - Human-Computer Interaction (1023841ANR)
signer
PRO
0
720
(2024) Couper un gâteau... sans connaître le nombre de convives
mansuy
2
160
1113
cbtlibrary
0
270
人々はさくらになにを込めたか
jamashita
0
120
Carving the Way to Ruby Engineering
koic
3
440
AWS Well-Architected Labを活用してつよつよAWSエンジニアになろう！！！ #jawsug_tokyo
masakiokuda
0
220
Semantic Web and Web 3.0 - Lecture 9 - Web Technologies (1019888BNR)
signer
PRO
2
2.6k
Library Prefects 2024-2025
cbtlibrary
0
120
Algo de fontes de alimentación
irocho
1
440
Ch2_-_Partie_1.pdf
bernhardsvt
0
120
2409_CompanyInfo_Hanji_published.pdf
yosukemurata
0
630
Zero to Hero
takesection
0
130

Featured

See All Featured
Faster Mobile Websites
deanohume
305
30k
VelocityConf: Rendering Performance Case Studies
addyosmani
326
24k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
665
120k
The Cost Of JavaScript in 2023
addyosmani
45
7k
Become a Pro
speakerdeck
PRO
26
5k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
0
94
Code Reviewing Like a Champion
maltzj
520
39k
Fashionably flexible responsive web design (full day workshop)
malarkey
405
65k
Building Applications with DynamoDB
mza
91
6.1k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
28
900
Side Projects
sachag
452
42k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
32
2.7k

Transcript

  1. 1 Real-Time Spatio-Temporal LiDAR Point Cloud Compression Yu Feng with

    Shaoshan Liu (PerceptIn) and Yuhao Zhu Department of Computer Science University of Rochester http://horizon-lab.org

  2. Real-time LiDAR Data Sharing 2

  3. Real-time LiDAR Data Sharing 2

  4. Real-time LiDAR Data Sharing 2

  5. Real-time LiDAR Data Sharing 2

  6. Real-time LiDAR Data Sharing 2 26MB/s ???

  7. Point Cloud Compression 3

  8. Point Cloud Compression 3 Free Viewport Events

  9. Point Cloud Compression 3 Free Viewport Events Culture Heritage

  10. Point Cloud Compression 3 Free Viewport Events Culture Heritage Autonomous

    Driving

  11. Point Cloud Compression 3 Free Viewport Events Culture Heritage Autonomous

    Driving Ochotta - 2004, Lien - 2009, Kammerl - 2012, Fan - 2013, Golla - 2015, Thanou - 2016, Queiroz - 2017, Krivokuća - 2018, Jang - 2019 Huang - 2008, Smith - 2012, Hornung - 2013, Digne - 2014, Morell - 2014, Schwarz - 2018, Lasserre - 2019 Tu - 2015, Sun - 2019, Tu - 2019

  12. Point Cloud Compression 3 Free Viewport Events Culture Heritage Autonomous

    Driving Ochotta - 2004, Lien - 2009, Kammerl - 2012, Fan - 2013, Golla - 2015, Thanou - 2016, Queiroz - 2017, Krivokuća - 2018, Jang - 2019 Huang - 2008, Smith - 2012, Hornung - 2013, Digne - 2014, Morell - 2014, Schwarz - 2018, Lasserre - 2019 Tu - 2015, Sun - 2019, Tu - 2019

  13. LiDAR Data Harvesting 4 Harvested Data Front View Top View

  14. LiDAR Data Harvesting 4 Harvested Data Front View Top View

    LiDAR

  15. LiDAR Data Harvesting 4 Harvested Data Front View Top View

    (θ1, Φ1, ≌t1) (θ2, Φ1, ≌t2) (θ3, Φ1, ≌t3) … Φ1 θ1 ≌θ LiDAR

  16. LiDAR Data Harvesting 5 Harvested Data Front View Top View

    (θ1, Φ1, ≌t1,1) (θ2, Φ1, ≌t1,2) (θ3, Φ1, ≌t1,3) … Φ2 θ1

  17. LiDAR Data Harvesting 5 Harvested Data Front View Top View

    (θ1, Φ1, ≌t1,1) (θ2, Φ1, ≌t1,2) (θ3, Φ1, ≌t1,3) … Φ2 θ1 ≌Φ

  18. LiDAR Data Harvesting 5 Harvested Data Front View Top View

    (θ1, Φ1, ≌t1,1) (θ2, Φ1, ≌t1,2) (θ3, Φ1, ≌t1,3) … Φ2 θ1 (θ1, Φ2, ≌t2,1) (θ2, Φ2, ≌t2,2) (θ3, Φ2, ≌t2,3) … ≌Φ

  19. LiDAR Data Harvesting 5 Harvested Data Front View Top View

    (θ1, Φ1, ≌t1,1) (θ2, Φ1, ≌t1,2) (θ3, Φ1, ≌t1,3) … Φ2 θ1 (θ1, Φ2, ≌t2,1) (θ2, Φ2, ≌t2,2) (θ3, Φ2, ≌t2,3) … … (θ1, Φ3, ≌t3,1) (θ2, Φ3, ≌t3,2) (θ3, Φ3, ≌t3,3) … ≌Φ

  20. Range Image Conversion 6 Harvested Data (θ1, Φ1, ≌t1,1) (θ1,

    Φ2, ≌t2,1) (θ1, Φ3, ≌t3,1) (θ2, Φ1, ≌t1,2) (θ2, Φ2, ≌t2,2) (θ2, Φ3, ≌t3,2) (θ3, Φ1, ≌t1,3) (θ3, Φ2, ≌t2,3) (θ3, Φ3, ≌t3,3) … … … …

  21. Range Image Range Image Conversion 6 Harvested Data (θ1, Φ1,

    ≌t1,1) (θ1, Φ2, ≌t2,1) (θ1, Φ3, ≌t3,1) (θ2, Φ1, ≌t1,2) (θ2, Φ2, ≌t2,2) (θ2, Φ3, ≌t3,2) (θ3, Φ1, ≌t1,3) (θ3, Φ2, ≌t2,3) (θ3, Φ3, ≌t3,3) … … … …

  22. Range Image Range Image Conversion 6 Harvested Data (θ1, Φ1,

    ≌t1,1) (θ1, Φ2, ≌t2,1) (θ1, Φ3, ≌t3,1) (θ2, Φ1, ≌t1,2) (θ2, Φ2, ≌t2,2) (θ2, Φ3, ≌t3,2) (θ3, Φ1, ≌t1,3) (θ3, Φ2, ≌t2,3) (θ3, Φ3, ≌t3,3) … … … … θ1

  23. Range Image Range Image Conversion 6 Harvested Data (θ1, Φ1,

    ≌t1,1) (θ1, Φ2, ≌t2,1) (θ1, Φ3, ≌t3,1) (θ2, Φ1, ≌t1,2) (θ2, Φ2, ≌t2,2) (θ2, Φ3, ≌t3,2) (θ3, Φ1, ≌t1,3) (θ3, Φ2, ≌t2,3) (θ3, Φ3, ≌t3,3) … … … … Φ1 θ1

  24. Range Image Range Image Conversion 6 Harvested Data R1,1 R1,2

    R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Φ1 θ1

  25. Range Image So, using image compression? Range Image Conversion 6

    Harvested Data R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Φ1 θ1

  26. Inefficiency of Using Image Compression 7 R1,1 R1,2 R1,3 R1,4

    R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Range Image ▸Disadvantages of Using Image Compression

  27. Inefficiency of Using Image Compression 7 R1,1 R1,2 R1,3 R1,4

    R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 ▸Disadvantages of Using Image Compression

  28. Inefficiency of Using Image Compression 7 R1,1 R1,2 R1,3 R1,4

    R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 ▸Disadvantages of Using Image Compression ▹Leverage redundant color information not spatial information.

  29. Inefficiency of Using Image Compression 7 R1,1 R1,2 R1,3 R1,4

    R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 ▸Disadvantages of Using Image Compression ▹Leverage redundant color information not spatial information. ▹Lose detailed spatial information by normalizing range value into 0-255. (120 m with 0.02 m distance accuracy)

  30. Inefficiency of Using Image Compression 7 R1,1 R1,2 R1,3 R1,4

    R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 ▸Disadvantages of Using Image Compression ▹Leverage redundant color information not spatial information. ▹Lose detailed spatial information by normalizing range value into 0-255. (120 m with 0.02 m distance accuracy) ▹Intelligent applications are more precision- sensitive than human visual cue.

  31. Spatio-Temporal Compression 8

  32. Spatio-Temporal Compression 8 Spatial Encoding

  33. Spatio-Temporal Compression 8 Spatial Encoding Temporal Encoding

  34. Spatio-Temporal Compression 8 Spatial Encoding Temporal Encoding

  35. Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6

  36. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6

  37. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data

  38. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data

  39. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1)

  40. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) Unfitted Data R1,3, R1,4, R2,3, R2,4

  41. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) Unfitted Data R1,3, R1,4, R2,3, R2,4

  42. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) Unfitted Data R1,3, R1,4, R2,3, R2,4

  43. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) Unfitted Data R1,3, R1,4, R2,3, R2,4

  44. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) Unfitted Data R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6

  45. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) Unfitted Data R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0

  46. Plane : x + ay + bz + c =

    0 LiDARs have a much more fine- grained horizontal resolution than vertical resolution. Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) Unfitted Data R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0

  47. Encoding Multiple Frames ??? 10 Fitted Data Unfitted Data T1:

    (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0

  48. Encoding Multiple Frames ??? 10 Fitted Data Unfitted Data T1:

    (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0

  49. Encoding Multiple Frames ??? 10 Fitted Data Unfitted Data T1:

    (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 99% of the region is overlapped.

  50. Spatio-Temporal Compression 11 Spatial Encoding Temporal Encoding

  51. Spatio-Temporal Compression 11 Spatial Encoding Temporal Encoding

  52. Encoding Multiple Frames 12 Time T3 T4 T5 T1 T2

  53. Encoding Multiple Frames 12 Time T3 T4 T5 T1 T2

    IMU measurements +

  54. Encoding Multiple Frames 12 Time T3 T4 T5 T1 T2

    IMU measurements +

  55. Encoding Multiple Frames 12 Time T3 T4 T5 T1 T2

    IMU measurements + Before Transformation After Transformation

  56. Encoding Multiple Frames 12 Before Transformation After Transformation R1,1 R1,2

    R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Range Image Conversion

  57. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6

  58. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels?

  59. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU.

  60. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2

  61. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c1

  62. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c1 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1

  63. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c1 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2

  64. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c1 … 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …

  65. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c1 … { C2(avg.) 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …

  66. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c2 c1 … { C2(avg.) 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …

  67. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c2 c1 c3 … { C2(avg.) 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …

  68. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c2 c1 c3 c4 … { C2(avg.) 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …

  69. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c2 c1 c3 c4 c5 … { C2(avg.) 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …

  70. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c2 c1 c3 c4 c5 … (a, b, c1, c2, c3, c4, c5, len) 8 parameters instead of 20 { C2(avg.) 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …

  71. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6

  72. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Multi-Channel Fitted Data

  73. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Multi-Channel Fitted Data

  74. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 T1: (a1, b1, c11, c12, c13, c14, c15,1) Multi-Channel Fitted Data

  75. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 T1: (a1, b1, c11, c12, c13, c14, c15,1) Multi-Channel Fitted Data

  76. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 T1: (a1, b1, c11, c12, c13, c14, c15,1) Multi-Channel Fitted Data

  77. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 T1: (a1, b1, c11, c12, c13, c14, c15,1) Multi-Channel Fitted Data

  78. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 T1: (a1, b1, c11, c12, c13, c14, c15,1) T4, T5: (a4, b4, c41, c42, c43, c44, c45, 2) Multi-Channel Fitted Data

  79. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 T1: (a1, b1, c11, c12, c13, c14, c15,1) T4, T5: (a4, b4, c41, c42, c43, c44, c45, 2) Multi-Channel Fitted Data

  80. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Unfitted Data Single Channel Fitted Data T1: (a1, b1, c11, c12, c13, c14, c15,1) T4, T5: (a4, b4, c41, c42, c43, c44, c45, 2) Multi-Channel Fitted Data

  81. Temporal Encoding 14 Bitmap 1 0 0 1 1 0

    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Unfitted Data Single Channel Fitted Data T1: (a1, b1, c11, c12, c13, c14, c15,1) T4, T5: (a4, b4, c41, c42, c43, c44, c45, 2) Multi-Channel Fitted Data

  82. Put Things Together 15 middle frame 3 frame 1, 2,

    4, 5

  83. Put Things Together 15 Motion Transformation middle frame 3 frame

    1, 2, 4, 5

  84. Put Things Together 15 Range Image Conversion Motion Transformation middle

    frame 3 frame 1, 2, 4, 5

  85. Put Things Together 15 Range Image Conversion Temporal Encoding (cross

    channel fitting) Motion Transformation middle frame 3 frame 1, 2, 4, 5

  86. Put Things Together 15 Range Image Conversion Temporal Encoding (cross

    channel fitting) Spatial Encoding (single channel fitting) Motion Transformation middle frame 3 frame 1, 2, 4, 5

  87. Put Things Together 15 Range Image Conversion Temporal Encoding (cross

    channel fitting) Spatial Encoding (single channel fitting) Motion Transformation middle frame 3 frame 1, 2, 4, 5 Lossless Encoding Multi-channel fitted data Single channel fitted data unfitted data +

  88. Put Things Together 15 Range Image Conversion Temporal Encoding (cross

    channel fitting) Spatial Encoding (single channel fitting) Motion Transformation Encoded Data middle frame 3 frame 1, 2, 4, 5 Lossless Encoding Multi-channel fitted data Single channel fitted data unfitted data +

  89. Experimental Setup 16

  90. Experimental Setup 16 Three Robotic Applications: ▹ Registration, Object Detection,

    Scene Segmentation

  91. Experimental Setup 16 Three Robotic Applications: ▹ Registration, Object Detection,

    Scene Segmentation Datasets: ▹ KITTI and SemanticKITTI dataset

  92. Experimental Setup 16 Three Robotic Applications: ▹ Registration, Object Detection,

    Scene Segmentation Datasets: ▹ KITTI and SemanticKITTI dataset Baselines: ▹ G-PCC, V-PCC, JPEG, H264

  93. Experimental Setup 16 Three Robotic Applications: ▹ Registration, Object Detection,

    Scene Segmentation Datasets: ▹ KITTI and SemanticKITTI dataset Baselines: ▹ G-PCC, V-PCC, JPEG, H264 Variants: ▹ Single-frame: only spatial encoding ▹ Streaming: spatial and temporal encoding

  94. Experimental Setup 16 Three Robotic Applications: ▹ Registration, Object Detection,

    Scene Segmentation Datasets: ▹ KITTI and SemanticKITTI dataset Baselines: ▹ G-PCC, V-PCC, JPEG, H264 Variants: ▹ Single-frame: only spatial encoding ▹ Streaming: spatial and temporal encoding Hardware Platforms: ▹ Intel i5-7500 with 4 cores and Nvidia Jetson TX2 ▹

  95. Registration Result 17

  96. Registration Result 17 Translational Error (%) 0 1 2 3

    4 Compression Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy Original

  97. Registration Result 17 Translational Error (%) 0 1 2 3

    4 Compression Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy Original >85%

  98. Registration Result 17 Translational Error (%) 0 1 2 3

    4 Compression Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy Original Better >85%

  99. Object Detection 18

  100. Object Detection 18 Accuracy (%) 0 25 50 75 100

    Compression Rate 0 30 60 90 120 Single-Frame G-PCC Image Original

  101. Object Detection 18 Accuracy (%) 0 25 50 75 100

    Compression Rate 0 30 60 90 120 Single-Frame G-PCC Image Original

  102. Object Detection 18 Accuracy (%) 0 25 50 75 100

    Compression Rate 0 30 60 90 120 Single-Frame G-PCC Image Original Better

  103. Scene Segmentation 19

  104. Scene Segmentation 19 Accuracy (%) 0 25 50 75 100

    Compression Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy Original

  105. Scene Segmentation 19 Accuracy (%) 0 25 50 75 100

    Compression Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy Original

  106. Scene Segmentation 19 Accuracy (%) 0 25 50 75 100

    Compression Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy Original Better

  107. Compression Speed 20

  108. Compression Speed 20 FPS 0.01 0.1 1 10 100 Compression

    Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy

  109. Compression Speed 20 FPS 0.01 0.1 1 10 100 Compression

    Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy

  110. Conclusion 21

  111. Conclusion 21 ‣Efficient point cloud compression will enable autonomous machines

    to be more connected with each other and with the cloud

  112. Conclusion 21 ‣By exploiting spatial and temporal redundancies across point

    clouds, our real-time compression method achieves up to 90× compression rate with high application accuracy. ‣Efficient point cloud compression will enable autonomous machines to be more connected with each other and with the cloud