Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Real-Time Spatio-Temporal LiDAR Point Cloud Compression

F0c4b39a71fc7c752d4e6c451f6f678b?s=47 HorizonLab
October 24, 2020
Education
0
48

Real-Time Spatio-Temporal LiDAR Point Cloud Compression

IROS 2020 talk slides by Yu Feng.

F0c4b39a71fc7c752d4e6c451f6f678b?s=128

HorizonLab

October 24, 2020
Tweet

More Decks by HorizonLab

See All by HorizonLab
F0c4b39a71fc7c752d4e6c451f6f678b?s=48 horizonlab
0
61
F0c4b39a71fc7c752d4e6c451f6f678b?s=48 horizonlab
0
92
F0c4b39a71fc7c752d4e6c451f6f678b?s=48 horizonlab
0
47
F0c4b39a71fc7c752d4e6c451f6f678b?s=48 horizonlab
0
20
F0c4b39a71fc7c752d4e6c451f6f678b?s=48 horizonlab
0
81
F0c4b39a71fc7c752d4e6c451f6f678b?s=48 horizonlab
0
99
F0c4b39a71fc7c752d4e6c451f6f678b?s=48 horizonlab
0
27
F0c4b39a71fc7c752d4e6c451f6f678b?s=48 horizonlab
0
130
F0c4b39a71fc7c752d4e6c451f6f678b?s=48 horizonlab
0
65

Other Decks in Education

See All in Education
18cdb6f294c8cb10a46167e462c2a51f?s=48 matleenalaakso
0
160
69c550e795cc670125d488eb5a873b2e?s=48 mac03nd
0
110
61ce24f312aae05be2b3c921b079715b?s=48 dwschanz
PRO
0
180
49152f9ea4577167477f76489a4bbbf3?s=48 asial_edu
1
460
58660723de21de826f67924c8498336c?s=48 yasslab
PRO
2
400k
61ce24f312aae05be2b3c921b079715b?s=48 dwschanz
PRO
0
170
15d05906370266398f014184d86d17c5?s=48 cyber_unfold
1
1.5k
0b2426ff15397042caa863cc7965c091?s=48 kurotaky
0
250
1b16821fb12e372c96ecaa2dac898fec?s=48 ivy_waffle
0
420
18cdb6f294c8cb10a46167e462c2a51f?s=48 matleenalaakso
2
3.6k
D46acf9853c6a209c9d2025394950667?s=48 elenaburic
0
200
1e708b2afb8622d5c5f070a94a3425a9?s=48 tibbelit
0
160

Featured

See All Featured
C0b42577cfc2b321be3474618107e933?s=48 samanthasiow
59
6.6k
E14f55d3f939977cecbf51b64ff6f861?s=48 keithpitt
401
20k
64827b31aef81498662e8af4bd6d5157?s=48 jonrohan
1020
390k
C44e1f7e22c3f23cff7bc130871047ef?s=48 eileencodes
115
26k
9952dfcd5d338f8a8e7175c8a8f65fb5?s=48 wjessup
341
16k
Ecdea9b9714877b86cee08458f085481?s=48 trallard
18
990
96270e4c3e5e9806cf7245475c00b275?s=48 addyosmani
495
110k
245cee81a9c424266e5e401d844ea881?s=48 lara
21
3.1k
F29327647a9cff5c69618bae420792ea?s=48 tenderlove
55
3.6k
Bfd6b681ec6e8c9bef82ff0521c364f7?s=48 kastner
54
2k
3d6ace9554821d552146413bcdf874f6?s=48 trishagee
30
3.6k
282d599b414022eba5096510f675b6e2?s=48 chrislema
174
14k

Transcript

  1. 1 Real-Time Spatio-Temporal LiDAR Point Cloud Compression Yu Feng with

    Shaoshan Liu (PerceptIn) and Yuhao Zhu Department of Computer Science University of Rochester http://horizon-lab.org

  2. Real-time LiDAR Data Sharing 2

  3. Real-time LiDAR Data Sharing 2

  4. Real-time LiDAR Data Sharing 2

  5. Real-time LiDAR Data Sharing 2

  6. Real-time LiDAR Data Sharing 2 26MB/s ???

  7. Point Cloud Compression 3

  8. Point Cloud Compression 3 Free Viewport Events

  9. Point Cloud Compression 3 Free Viewport Events Culture Heritage

  10. Point Cloud Compression 3 Free Viewport Events Culture Heritage Autonomous

    Driving

  11. Point Cloud Compression 3 Free Viewport Events Culture Heritage Autonomous

    Driving Ochotta - 2004, Lien - 2009, Kammerl - 2012, Fan - 2013, Golla - 2015, Thanou - 2016, Queiroz - 2017, Krivokuća - 2018, Jang - 2019 Huang - 2008, Smith - 2012, Hornung - 2013, Digne - 2014, Morell - 2014, Schwarz - 2018, Lasserre - 2019 Tu - 2015, Sun - 2019, Tu - 2019

  12. Point Cloud Compression 3 Free Viewport Events Culture Heritage Autonomous

    Driving Ochotta - 2004, Lien - 2009, Kammerl - 2012, Fan - 2013, Golla - 2015, Thanou - 2016, Queiroz - 2017, Krivokuća - 2018, Jang - 2019 Huang - 2008, Smith - 2012, Hornung - 2013, Digne - 2014, Morell - 2014, Schwarz - 2018, Lasserre - 2019 Tu - 2015, Sun - 2019, Tu - 2019

  13. LiDAR Data Harvesting 4 Harvested Data Front View Top View

  14. LiDAR Data Harvesting 4 Harvested Data Front View Top View

    LiDAR

  15. LiDAR Data Harvesting 4 Harvested Data Front View Top View

    (θ1, Φ1, ≌t1) (θ2, Φ1, ≌t2) (θ3, Φ1, ≌t3) … Φ1 θ1 ≌θ LiDAR

  16. LiDAR Data Harvesting 5 Harvested Data Front View Top View

    (θ1, Φ1, ≌t1,1) (θ2, Φ1, ≌t1,2) (θ3, Φ1, ≌t1,3) … Φ2 θ1

  17. LiDAR Data Harvesting 5 Harvested Data Front View Top View

    (θ1, Φ1, ≌t1,1) (θ2, Φ1, ≌t1,2) (θ3, Φ1, ≌t1,3) … Φ2 θ1 ≌Φ

  18. LiDAR Data Harvesting 5 Harvested Data Front View Top View

    (θ1, Φ1, ≌t1,1) (θ2, Φ1, ≌t1,2) (θ3, Φ1, ≌t1,3) … Φ2 θ1 (θ1, Φ2, ≌t2,1) (θ2, Φ2, ≌t2,2) (θ3, Φ2, ≌t2,3) … ≌Φ

  19. LiDAR Data Harvesting 5 Harvested Data Front View Top View

    (θ1, Φ1, ≌t1,1) (θ2, Φ1, ≌t1,2) (θ3, Φ1, ≌t1,3) … Φ2 θ1 (θ1, Φ2, ≌t2,1) (θ2, Φ2, ≌t2,2) (θ3, Φ2, ≌t2,3) … … (θ1, Φ3, ≌t3,1) (θ2, Φ3, ≌t3,2) (θ3, Φ3, ≌t3,3) … ≌Φ

  20. Range Image Conversion 6 Harvested Data (θ1, Φ1, ≌t1,1) (θ1,

    Φ2, ≌t2,1) (θ1, Φ3, ≌t3,1) (θ2, Φ1, ≌t1,2) (θ2, Φ2, ≌t2,2) (θ2, Φ3, ≌t3,2) (θ3, Φ1, ≌t1,3) (θ3, Φ2, ≌t2,3) (θ3, Φ3, ≌t3,3) … … … …

  21. Range Image Range Image Conversion 6 Harvested Data (θ1, Φ1,

    ≌t1,1) (θ1, Φ2, ≌t2,1) (θ1, Φ3, ≌t3,1) (θ2, Φ1, ≌t1,2) (θ2, Φ2, ≌t2,2) (θ2, Φ3, ≌t3,2) (θ3, Φ1, ≌t1,3) (θ3, Φ2, ≌t2,3) (θ3, Φ3, ≌t3,3) … … … …

  22. Range Image Range Image Conversion 6 Harvested Data (θ1, Φ1,

    ≌t1,1) (θ1, Φ2, ≌t2,1) (θ1, Φ3, ≌t3,1) (θ2, Φ1, ≌t1,2) (θ2, Φ2, ≌t2,2) (θ2, Φ3, ≌t3,2) (θ3, Φ1, ≌t1,3) (θ3, Φ2, ≌t2,3) (θ3, Φ3, ≌t3,3) … … … … θ1

  23. Range Image Range Image Conversion 6 Harvested Data (θ1, Φ1,

    ≌t1,1) (θ1, Φ2, ≌t2,1) (θ1, Φ3, ≌t3,1) (θ2, Φ1, ≌t1,2) (θ2, Φ2, ≌t2,2) (θ2, Φ3, ≌t3,2) (θ3, Φ1, ≌t1,3) (θ3, Φ2, ≌t2,3) (θ3, Φ3, ≌t3,3) … … … … Φ1 θ1

  24. Range Image Range Image Conversion 6 Harvested Data R1,1 R1,2

    R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Φ1 θ1

  25. Range Image So, using image compression? Range Image Conversion 6

    Harvested Data R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Φ1 θ1

  26. Inefficiency of Using Image Compression 7 R1,1 R1,2 R1,3 R1,4

    R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Range Image ▸Disadvantages of Using Image Compression

  27. Inefficiency of Using Image Compression 7 R1,1 R1,2 R1,3 R1,4

    R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 ▸Disadvantages of Using Image Compression

  28. Inefficiency of Using Image Compression 7 R1,1 R1,2 R1,3 R1,4

    R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 ▸Disadvantages of Using Image Compression ▹Leverage redundant color information not spatial information.

  29. Inefficiency of Using Image Compression 7 R1,1 R1,2 R1,3 R1,4

    R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 ▸Disadvantages of Using Image Compression ▹Leverage redundant color information not spatial information. ▹Lose detailed spatial information by normalizing range value into 0-255. (120 m with 0.02 m distance accuracy)

  30. Inefficiency of Using Image Compression 7 R1,1 R1,2 R1,3 R1,4

    R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 ▸Disadvantages of Using Image Compression ▹Leverage redundant color information not spatial information. ▹Lose detailed spatial information by normalizing range value into 0-255. (120 m with 0.02 m distance accuracy) ▹Intelligent applications are more precision- sensitive than human visual cue.

  31. Spatio-Temporal Compression 8

  32. Spatio-Temporal Compression 8 Spatial Encoding

  33. Spatio-Temporal Compression 8 Spatial Encoding Temporal Encoding

  34. Spatio-Temporal Compression 8 Spatial Encoding Temporal Encoding

  35. Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6

  36. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6

  37. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data

  38. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data

  39. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1)

  40. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) Unfitted Data R1,3, R1,4, R2,3, R2,4

  41. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) Unfitted Data R1,3, R1,4, R2,3, R2,4

  42. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) Unfitted Data R1,3, R1,4, R2,3, R2,4

  43. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) Unfitted Data R1,3, R1,4, R2,3, R2,4

  44. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) Unfitted Data R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6

  45. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) Unfitted Data R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0

  46. Plane : x + ay + bz + c =

    0 LiDARs have a much more fine- grained horizontal resolution than vertical resolution. Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) Unfitted Data R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0

  47. Encoding Multiple Frames ??? 10 Fitted Data Unfitted Data T1:

    (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0

  48. Encoding Multiple Frames ??? 10 Fitted Data Unfitted Data T1:

    (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0

  49. Encoding Multiple Frames ??? 10 Fitted Data Unfitted Data T1:

    (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 99% of the region is overlapped.

  50. Spatio-Temporal Compression 11 Spatial Encoding Temporal Encoding

  51. Spatio-Temporal Compression 11 Spatial Encoding Temporal Encoding

  52. Encoding Multiple Frames 12 Time T3 T4 T5 T1 T2

  53. Encoding Multiple Frames 12 Time T3 T4 T5 T1 T2

    IMU measurements +

  54. Encoding Multiple Frames 12 Time T3 T4 T5 T1 T2

    IMU measurements +

  55. Encoding Multiple Frames 12 Time T3 T4 T5 T1 T2

    IMU measurements + Before Transformation After Transformation

  56. Encoding Multiple Frames 12 Before Transformation After Transformation R1,1 R1,2

    R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Range Image Conversion

  57. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6

  58. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels?

  59. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU.

  60. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2

  61. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c1

  62. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c1 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1

  63. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c1 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2

  64. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c1 … 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …

  65. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c1 … { C2(avg.) 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …

  66. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c2 c1 … { C2(avg.) 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …

  67. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c2 c1 c3 … { C2(avg.) 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …

  68. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c2 c1 c3 c4 … { C2(avg.) 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …

  69. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c2 c1 c3 c4 c5 … { C2(avg.) 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …

  70. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c2 c1 c3 c4 c5 … (a, b, c1, c2, c3, c4, c5, len) 8 parameters instead of 20 { C2(avg.) 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …

  71. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6

  72. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Multi-Channel Fitted Data

  73. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Multi-Channel Fitted Data

  74. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 T1: (a1, b1, c11, c12, c13, c14, c15,1) Multi-Channel Fitted Data

  75. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 T1: (a1, b1, c11, c12, c13, c14, c15,1) Multi-Channel Fitted Data

  76. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 T1: (a1, b1, c11, c12, c13, c14, c15,1) Multi-Channel Fitted Data

  77. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 T1: (a1, b1, c11, c12, c13, c14, c15,1) Multi-Channel Fitted Data

  78. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 T1: (a1, b1, c11, c12, c13, c14, c15,1) T4, T5: (a4, b4, c41, c42, c43, c44, c45, 2) Multi-Channel Fitted Data

  79. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 T1: (a1, b1, c11, c12, c13, c14, c15,1) T4, T5: (a4, b4, c41, c42, c43, c44, c45, 2) Multi-Channel Fitted Data

  80. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Unfitted Data Single Channel Fitted Data T1: (a1, b1, c11, c12, c13, c14, c15,1) T4, T5: (a4, b4, c41, c42, c43, c44, c45, 2) Multi-Channel Fitted Data

  81. Temporal Encoding 14 Bitmap 1 0 0 1 1 0

    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Unfitted Data Single Channel Fitted Data T1: (a1, b1, c11, c12, c13, c14, c15,1) T4, T5: (a4, b4, c41, c42, c43, c44, c45, 2) Multi-Channel Fitted Data

  82. Put Things Together 15 middle frame 3 frame 1, 2,

    4, 5

  83. Put Things Together 15 Motion Transformation middle frame 3 frame

    1, 2, 4, 5

  84. Put Things Together 15 Range Image Conversion Motion Transformation middle

    frame 3 frame 1, 2, 4, 5

  85. Put Things Together 15 Range Image Conversion Temporal Encoding (cross

    channel fitting) Motion Transformation middle frame 3 frame 1, 2, 4, 5

  86. Put Things Together 15 Range Image Conversion Temporal Encoding (cross

    channel fitting) Spatial Encoding (single channel fitting) Motion Transformation middle frame 3 frame 1, 2, 4, 5

  87. Put Things Together 15 Range Image Conversion Temporal Encoding (cross

    channel fitting) Spatial Encoding (single channel fitting) Motion Transformation middle frame 3 frame 1, 2, 4, 5 Lossless Encoding Multi-channel fitted data Single channel fitted data unfitted data +

  88. Put Things Together 15 Range Image Conversion Temporal Encoding (cross

    channel fitting) Spatial Encoding (single channel fitting) Motion Transformation Encoded Data middle frame 3 frame 1, 2, 4, 5 Lossless Encoding Multi-channel fitted data Single channel fitted data unfitted data +

  89. Experimental Setup 16

  90. Experimental Setup 16 Three Robotic Applications: ▹ Registration, Object Detection,

    Scene Segmentation

  91. Experimental Setup 16 Three Robotic Applications: ▹ Registration, Object Detection,

    Scene Segmentation Datasets: ▹ KITTI and SemanticKITTI dataset

  92. Experimental Setup 16 Three Robotic Applications: ▹ Registration, Object Detection,

    Scene Segmentation Datasets: ▹ KITTI and SemanticKITTI dataset Baselines: ▹ G-PCC, V-PCC, JPEG, H264

  93. Experimental Setup 16 Three Robotic Applications: ▹ Registration, Object Detection,

    Scene Segmentation Datasets: ▹ KITTI and SemanticKITTI dataset Baselines: ▹ G-PCC, V-PCC, JPEG, H264 Variants: ▹ Single-frame: only spatial encoding ▹ Streaming: spatial and temporal encoding

  94. Experimental Setup 16 Three Robotic Applications: ▹ Registration, Object Detection,

    Scene Segmentation Datasets: ▹ KITTI and SemanticKITTI dataset Baselines: ▹ G-PCC, V-PCC, JPEG, H264 Variants: ▹ Single-frame: only spatial encoding ▹ Streaming: spatial and temporal encoding Hardware Platforms: ▹ Intel i5-7500 with 4 cores and Nvidia Jetson TX2 ▹

  95. Registration Result 17

  96. Registration Result 17 Translational Error (%) 0 1 2 3

    4 Compression Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy Original

  97. Registration Result 17 Translational Error (%) 0 1 2 3

    4 Compression Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy Original >85%

  98. Registration Result 17 Translational Error (%) 0 1 2 3

    4 Compression Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy Original Better >85%

  99. Object Detection 18

  100. Object Detection 18 Accuracy (%) 0 25 50 75 100

    Compression Rate 0 30 60 90 120 Single-Frame G-PCC Image Original

  101. Object Detection 18 Accuracy (%) 0 25 50 75 100

    Compression Rate 0 30 60 90 120 Single-Frame G-PCC Image Original

  102. Object Detection 18 Accuracy (%) 0 25 50 75 100

    Compression Rate 0 30 60 90 120 Single-Frame G-PCC Image Original Better

  103. Scene Segmentation 19

  104. Scene Segmentation 19 Accuracy (%) 0 25 50 75 100

    Compression Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy Original

  105. Scene Segmentation 19 Accuracy (%) 0 25 50 75 100

    Compression Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy Original

  106. Scene Segmentation 19 Accuracy (%) 0 25 50 75 100

    Compression Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy Original Better

  107. Compression Speed 20

  108. Compression Speed 20 FPS 0.01 0.1 1 10 100 Compression

    Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy

  109. Compression Speed 20 FPS 0.01 0.1 1 10 100 Compression

    Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy

  110. Conclusion 21

  111. Conclusion 21 ‣Efficient point cloud compression will enable autonomous machines

    to be more connected with each other and with the cloud

  112. Conclusion 21 ‣By exploiting spatial and temporal redundancies across point

    clouds, our real-time compression method achieves up to 90× compression rate with high application accuracy. ‣Efficient point cloud compression will enable autonomous machines to be more connected with each other and with the cloud