Real-Time Spatio-Temporal LiDAR Point Cloud Compression

F0c4b39a71fc7c752d4e6c451f6f678b?s=47 HorizonLab
October 24, 2020

Real-Time Spatio-Temporal LiDAR Point Cloud Compression

IROS 2020 talk slides by Yu Feng.

F0c4b39a71fc7c752d4e6c451f6f678b?s=128

HorizonLab

October 24, 2020
Tweet

Transcript

  1. 1 Real-Time Spatio-Temporal LiDAR Point Cloud Compression Yu Feng with

    Shaoshan Liu (PerceptIn) and Yuhao Zhu Department of Computer Science University of Rochester http://horizon-lab.org
  2. Real-time LiDAR Data Sharing 2

  3. Real-time LiDAR Data Sharing 2

  4. Real-time LiDAR Data Sharing 2

  5. Real-time LiDAR Data Sharing 2

  6. Real-time LiDAR Data Sharing 2 26MB/s ???

  7. Point Cloud Compression 3

  8. Point Cloud Compression 3 Free Viewport Events

  9. Point Cloud Compression 3 Free Viewport Events Culture Heritage

  10. Point Cloud Compression 3 Free Viewport Events Culture Heritage Autonomous

    Driving
  11. Point Cloud Compression 3 Free Viewport Events Culture Heritage Autonomous

    Driving Ochotta - 2004, Lien - 2009, Kammerl - 2012, Fan - 2013, Golla - 2015, Thanou - 2016, Queiroz - 2017, Krivokuća - 2018, Jang - 2019 Huang - 2008, Smith - 2012, Hornung - 2013, Digne - 2014, Morell - 2014, Schwarz - 2018, Lasserre - 2019 Tu - 2015, Sun - 2019, Tu - 2019
  12. Point Cloud Compression 3 Free Viewport Events Culture Heritage Autonomous

    Driving Ochotta - 2004, Lien - 2009, Kammerl - 2012, Fan - 2013, Golla - 2015, Thanou - 2016, Queiroz - 2017, Krivokuća - 2018, Jang - 2019 Huang - 2008, Smith - 2012, Hornung - 2013, Digne - 2014, Morell - 2014, Schwarz - 2018, Lasserre - 2019 Tu - 2015, Sun - 2019, Tu - 2019
  13. LiDAR Data Harvesting 4 Harvested Data Front View Top View

  14. LiDAR Data Harvesting 4 Harvested Data Front View Top View

    LiDAR
  15. LiDAR Data Harvesting 4 Harvested Data Front View Top View

    (θ1, Φ1, ≌t1) (θ2, Φ1, ≌t2) (θ3, Φ1, ≌t3) … Φ1 θ1 ≌θ LiDAR
  16. LiDAR Data Harvesting 5 Harvested Data Front View Top View

    (θ1, Φ1, ≌t1,1) (θ2, Φ1, ≌t1,2) (θ3, Φ1, ≌t1,3) … Φ2 θ1
  17. LiDAR Data Harvesting 5 Harvested Data Front View Top View

    (θ1, Φ1, ≌t1,1) (θ2, Φ1, ≌t1,2) (θ3, Φ1, ≌t1,3) … Φ2 θ1 ≌Φ
  18. LiDAR Data Harvesting 5 Harvested Data Front View Top View

    (θ1, Φ1, ≌t1,1) (θ2, Φ1, ≌t1,2) (θ3, Φ1, ≌t1,3) … Φ2 θ1 (θ1, Φ2, ≌t2,1) (θ2, Φ2, ≌t2,2) (θ3, Φ2, ≌t2,3) … ≌Φ
  19. LiDAR Data Harvesting 5 Harvested Data Front View Top View

    (θ1, Φ1, ≌t1,1) (θ2, Φ1, ≌t1,2) (θ3, Φ1, ≌t1,3) … Φ2 θ1 (θ1, Φ2, ≌t2,1) (θ2, Φ2, ≌t2,2) (θ3, Φ2, ≌t2,3) … … (θ1, Φ3, ≌t3,1) (θ2, Φ3, ≌t3,2) (θ3, Φ3, ≌t3,3) … ≌Φ
  20. Range Image Conversion 6 Harvested Data (θ1, Φ1, ≌t1,1) (θ1,

    Φ2, ≌t2,1) (θ1, Φ3, ≌t3,1) (θ2, Φ1, ≌t1,2) (θ2, Φ2, ≌t2,2) (θ2, Φ3, ≌t3,2) (θ3, Φ1, ≌t1,3) (θ3, Φ2, ≌t2,3) (θ3, Φ3, ≌t3,3) … … … …
  21. Range Image Range Image Conversion 6 Harvested Data (θ1, Φ1,

    ≌t1,1) (θ1, Φ2, ≌t2,1) (θ1, Φ3, ≌t3,1) (θ2, Φ1, ≌t1,2) (θ2, Φ2, ≌t2,2) (θ2, Φ3, ≌t3,2) (θ3, Φ1, ≌t1,3) (θ3, Φ2, ≌t2,3) (θ3, Φ3, ≌t3,3) … … … …
  22. Range Image Range Image Conversion 6 Harvested Data (θ1, Φ1,

    ≌t1,1) (θ1, Φ2, ≌t2,1) (θ1, Φ3, ≌t3,1) (θ2, Φ1, ≌t1,2) (θ2, Φ2, ≌t2,2) (θ2, Φ3, ≌t3,2) (θ3, Φ1, ≌t1,3) (θ3, Φ2, ≌t2,3) (θ3, Φ3, ≌t3,3) … … … … θ1
  23. Range Image Range Image Conversion 6 Harvested Data (θ1, Φ1,

    ≌t1,1) (θ1, Φ2, ≌t2,1) (θ1, Φ3, ≌t3,1) (θ2, Φ1, ≌t1,2) (θ2, Φ2, ≌t2,2) (θ2, Φ3, ≌t3,2) (θ3, Φ1, ≌t1,3) (θ3, Φ2, ≌t2,3) (θ3, Φ3, ≌t3,3) … … … … Φ1 θ1
  24. Range Image Range Image Conversion 6 Harvested Data R1,1 R1,2

    R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Φ1 θ1
  25. Range Image So, using image compression? Range Image Conversion 6

    Harvested Data R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Φ1 θ1
  26. Inefficiency of Using Image Compression 7 R1,1 R1,2 R1,3 R1,4

    R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Range Image ▸Disadvantages of Using Image Compression
  27. Inefficiency of Using Image Compression 7 R1,1 R1,2 R1,3 R1,4

    R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 ▸Disadvantages of Using Image Compression
  28. Inefficiency of Using Image Compression 7 R1,1 R1,2 R1,3 R1,4

    R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 ▸Disadvantages of Using Image Compression ▹Leverage redundant color information not spatial information.
  29. Inefficiency of Using Image Compression 7 R1,1 R1,2 R1,3 R1,4

    R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 ▸Disadvantages of Using Image Compression ▹Leverage redundant color information not spatial information. ▹Lose detailed spatial information by normalizing range value into 0-255. (120 m with 0.02 m distance accuracy)
  30. Inefficiency of Using Image Compression 7 R1,1 R1,2 R1,3 R1,4

    R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 ▸Disadvantages of Using Image Compression ▹Leverage redundant color information not spatial information. ▹Lose detailed spatial information by normalizing range value into 0-255. (120 m with 0.02 m distance accuracy) ▹Intelligent applications are more precision- sensitive than human visual cue.
  31. Spatio-Temporal Compression 8

  32. Spatio-Temporal Compression 8 Spatial Encoding

  33. Spatio-Temporal Compression 8 Spatial Encoding Temporal Encoding

  34. Spatio-Temporal Compression 8 Spatial Encoding Temporal Encoding

  35. Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
  36. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
  37. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data
  38. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data
  39. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1)
  40. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) Unfitted Data R1,3, R1,4, R2,3, R2,4
  41. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) Unfitted Data R1,3, R1,4, R2,3, R2,4
  42. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) Unfitted Data R1,3, R1,4, R2,3, R2,4
  43. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) Unfitted Data R1,3, R1,4, R2,3, R2,4
  44. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) Unfitted Data R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6
  45. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) Unfitted Data R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0
  46. Plane : x + ay + bz + c =

    0 LiDARs have a much more fine- grained horizontal resolution than vertical resolution. Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) Unfitted Data R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0
  47. Encoding Multiple Frames ??? 10 Fitted Data Unfitted Data T1:

    (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0
  48. Encoding Multiple Frames ??? 10 Fitted Data Unfitted Data T1:

    (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0
  49. Encoding Multiple Frames ??? 10 Fitted Data Unfitted Data T1:

    (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 99% of the region is overlapped.
  50. Spatio-Temporal Compression 11 Spatial Encoding Temporal Encoding

  51. Spatio-Temporal Compression 11 Spatial Encoding Temporal Encoding

  52. Encoding Multiple Frames 12 Time T3 T4 T5 T1 T2

  53. Encoding Multiple Frames 12 Time T3 T4 T5 T1 T2

    IMU measurements +
  54. Encoding Multiple Frames 12 Time T3 T4 T5 T1 T2

    IMU measurements +
  55. Encoding Multiple Frames 12 Time T3 T4 T5 T1 T2

    IMU measurements + Before Transformation After Transformation
  56. Encoding Multiple Frames 12 Before Transformation After Transformation R1,1 R1,2

    R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Range Image Conversion
  57. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
  58. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels?
  59. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU.
  60. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2
  61. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c1
  62. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c1 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1
  63. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c1 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2
  64. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c1 … 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …
  65. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c1 … { C2(avg.) 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …
  66. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c2 c1 … { C2(avg.) 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …
  67. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c2 c1 c3 … { C2(avg.) 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …
  68. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c2 c1 c3 c4 … { C2(avg.) 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …
  69. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c2 c1 c3 c4 c5 … { C2(avg.) 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …
  70. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c2 c1 c3 c4 c5 … (a, b, c1, c2, c3, c4, c5, len) 8 parameters instead of 20 { C2(avg.) 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …
  71. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
  72. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Multi-Channel Fitted Data
  73. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Multi-Channel Fitted Data
  74. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 T1: (a1, b1, c11, c12, c13, c14, c15,1) Multi-Channel Fitted Data
  75. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 T1: (a1, b1, c11, c12, c13, c14, c15,1) Multi-Channel Fitted Data
  76. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 T1: (a1, b1, c11, c12, c13, c14, c15,1) Multi-Channel Fitted Data
  77. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 T1: (a1, b1, c11, c12, c13, c14, c15,1) Multi-Channel Fitted Data
  78. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 T1: (a1, b1, c11, c12, c13, c14, c15,1) T4, T5: (a4, b4, c41, c42, c43, c44, c45, 2) Multi-Channel Fitted Data
  79. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 T1: (a1, b1, c11, c12, c13, c14, c15,1) T4, T5: (a4, b4, c41, c42, c43, c44, c45, 2) Multi-Channel Fitted Data
  80. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Unfitted Data Single Channel Fitted Data T1: (a1, b1, c11, c12, c13, c14, c15,1) T4, T5: (a4, b4, c41, c42, c43, c44, c45, 2) Multi-Channel Fitted Data
  81. Temporal Encoding 14 Bitmap 1 0 0 1 1 0

    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Unfitted Data Single Channel Fitted Data T1: (a1, b1, c11, c12, c13, c14, c15,1) T4, T5: (a4, b4, c41, c42, c43, c44, c45, 2) Multi-Channel Fitted Data
  82. Put Things Together 15 middle frame 3 frame 1, 2,

    4, 5
  83. Put Things Together 15 Motion Transformation middle frame 3 frame

    1, 2, 4, 5
  84. Put Things Together 15 Range Image Conversion Motion Transformation middle

    frame 3 frame 1, 2, 4, 5
  85. Put Things Together 15 Range Image Conversion Temporal Encoding (cross

    channel fitting) Motion Transformation middle frame 3 frame 1, 2, 4, 5
  86. Put Things Together 15 Range Image Conversion Temporal Encoding (cross

    channel fitting) Spatial Encoding (single channel fitting) Motion Transformation middle frame 3 frame 1, 2, 4, 5
  87. Put Things Together 15 Range Image Conversion Temporal Encoding (cross

    channel fitting) Spatial Encoding (single channel fitting) Motion Transformation middle frame 3 frame 1, 2, 4, 5 Lossless Encoding Multi-channel fitted data Single channel fitted data unfitted data +
  88. Put Things Together 15 Range Image Conversion Temporal Encoding (cross

    channel fitting) Spatial Encoding (single channel fitting) Motion Transformation Encoded Data middle frame 3 frame 1, 2, 4, 5 Lossless Encoding Multi-channel fitted data Single channel fitted data unfitted data +
  89. Experimental Setup 16

  90. Experimental Setup 16 Three Robotic Applications: ▹ Registration, Object Detection,

    Scene Segmentation
  91. Experimental Setup 16 Three Robotic Applications: ▹ Registration, Object Detection,

    Scene Segmentation Datasets: ▹ KITTI and SemanticKITTI dataset
  92. Experimental Setup 16 Three Robotic Applications: ▹ Registration, Object Detection,

    Scene Segmentation Datasets: ▹ KITTI and SemanticKITTI dataset Baselines: ▹ G-PCC, V-PCC, JPEG, H264
  93. Experimental Setup 16 Three Robotic Applications: ▹ Registration, Object Detection,

    Scene Segmentation Datasets: ▹ KITTI and SemanticKITTI dataset Baselines: ▹ G-PCC, V-PCC, JPEG, H264 Variants: ▹ Single-frame: only spatial encoding ▹ Streaming: spatial and temporal encoding
  94. Experimental Setup 16 Three Robotic Applications: ▹ Registration, Object Detection,

    Scene Segmentation Datasets: ▹ KITTI and SemanticKITTI dataset Baselines: ▹ G-PCC, V-PCC, JPEG, H264 Variants: ▹ Single-frame: only spatial encoding ▹ Streaming: spatial and temporal encoding Hardware Platforms: ▹ Intel i5-7500 with 4 cores and Nvidia Jetson TX2 ▹
  95. Registration Result 17

  96. Registration Result 17 Translational Error (%) 0 1 2 3

    4 Compression Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy Original
  97. Registration Result 17 Translational Error (%) 0 1 2 3

    4 Compression Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy Original >85%
  98. Registration Result 17 Translational Error (%) 0 1 2 3

    4 Compression Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy Original Better >85%
  99. Object Detection 18

  100. Object Detection 18 Accuracy (%) 0 25 50 75 100

    Compression Rate 0 30 60 90 120 Single-Frame G-PCC Image Original
  101. Object Detection 18 Accuracy (%) 0 25 50 75 100

    Compression Rate 0 30 60 90 120 Single-Frame G-PCC Image Original
  102. Object Detection 18 Accuracy (%) 0 25 50 75 100

    Compression Rate 0 30 60 90 120 Single-Frame G-PCC Image Original Better
  103. Scene Segmentation 19

  104. Scene Segmentation 19 Accuracy (%) 0 25 50 75 100

    Compression Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy Original
  105. Scene Segmentation 19 Accuracy (%) 0 25 50 75 100

    Compression Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy Original
  106. Scene Segmentation 19 Accuracy (%) 0 25 50 75 100

    Compression Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy Original Better
  107. Compression Speed 20

  108. Compression Speed 20 FPS 0.01 0.1 1 10 100 Compression

    Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy
  109. Compression Speed 20 FPS 0.01 0.1 1 10 100 Compression

    Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy
  110. Conclusion 21

  111. Conclusion 21 ‣Efficient point cloud compression will enable autonomous machines

    to be more connected with each other and with the cloud
  112. Conclusion 21 ‣By exploiting spatial and temporal redundancies across point

    clouds, our real-time compression method achieves up to 90× compression rate with high application accuracy. ‣Efficient point cloud compression will enable autonomous machines to be more connected with each other and with the cloud