Real-Time Spatio-Temporal LiDAR Point Cloud Compression

F0c4b39a71fc7c752d4e6c451f6f678b?s=47 HorizonLab
October 24, 2020
Education
0
11

Real-Time Spatio-Temporal LiDAR Point Cloud Compression

IROS 2020 talk slides by Yu Feng.

F0c4b39a71fc7c752d4e6c451f6f678b?s=128

HorizonLab

October 24, 2020
Tweet

More Decks by HorizonLab

See All by HorizonLab
F0c4b39a71fc7c752d4e6c451f6f678b?s=48 horizonlab
0
11
F0c4b39a71fc7c752d4e6c451f6f678b?s=48 horizonlab
0
11
F0c4b39a71fc7c752d4e6c451f6f678b?s=48 horizonlab
0
14
F0c4b39a71fc7c752d4e6c451f6f678b?s=48 horizonlab
0
6
F0c4b39a71fc7c752d4e6c451f6f678b?s=48 horizonlab
0
56
F0c4b39a71fc7c752d4e6c451f6f678b?s=48 horizonlab
0
58
F0c4b39a71fc7c752d4e6c451f6f678b?s=48 horizonlab
0
19
F0c4b39a71fc7c752d4e6c451f6f678b?s=48 horizonlab
0
85
F0c4b39a71fc7c752d4e6c451f6f678b?s=48 horizonlab
0
42

Other Decks in Education

See All in Education
8c2e9364460f670da429102b55627a0c?s=48 ceejeanpiaget
0
200
92c818cb0f8ed8007b9ad90e9165658b?s=48 chiemi627
0
330
D0167b760673d702a06427fb3f878696?s=48 umepon
7
2.4k
13e0500d2721da6352a312b77b98c4f6?s=48 utokyoissr2360
0
610
18cdb6f294c8cb10a46167e462c2a51f?s=48 matleenalaakso
0
1.5k
B8e6931d3d31aa5a5b931e1c54118d70?s=48 studentshubgh
0
140
9e9eb825c69d719f2d3c32bdd3bc971e?s=48 atp
0
120
18cdb6f294c8cb10a46167e462c2a51f?s=48 matleenalaakso
1
8.8k
1135dc242dcff3b90ae46fc586ff4da8?s=48 signer
0
200
92109472c97bf5b2bc1717279cf77594?s=48 masatakamurase
0
160
B9ade6772136154da028ffd0a006eb8f?s=48 antoinephi
1
190
13e0500d2721da6352a312b77b98c4f6?s=48 utokyoissr2360
0
420

Featured

See All Featured
6804f1775cb4babfcc3851298566fbce?s=48 tanoku
258
24k
5b9fe87ec1faa67a4599782930f45ec9?s=48 sstephenson
144
12k
E43f8dfd01057f8304f5f8fb9a294d7d?s=48 jeffersonlam
325
15k
48c098b6579220a67a6ba949be6e4b5a?s=48 revolveconf
198
9.5k
6bb82b13cda86d3b821fa44100335ddf?s=48 thoeni
4
420
Fde6c3a50ca518a909ef35c22c0ee0e4?s=48 destraynor
223
47k
812e1705ff0f8bc1bcf18587bde687d5?s=48 62gerente
585
200k
39488f9d172ab92fd352f2cd7b73258d?s=48 mza
80
4k
24fc194843a71f10949be18d5a692682?s=48 gr2m
82
11k
B3ace07412a5178ea778e7eec161fc0a?s=48 jcasabona
7
480
1519587b1a0febb658c36c94f6272b0d?s=48 roundedbygravity
84
7.8k
1519587b1a0febb658c36c94f6272b0d?s=48 roundedbygravity
241
21k

Transcript

  1. 1 Real-Time Spatio-Temporal LiDAR Point Cloud Compression Yu Feng with

    Shaoshan Liu (PerceptIn) and Yuhao Zhu Department of Computer Science University of Rochester http://horizon-lab.org

  2. Real-time LiDAR Data Sharing 2

  3. Real-time LiDAR Data Sharing 2

  4. Real-time LiDAR Data Sharing 2

  5. Real-time LiDAR Data Sharing 2

  6. Real-time LiDAR Data Sharing 2 26MB/s ???

  7. Point Cloud Compression 3

  8. Point Cloud Compression 3 Free Viewport Events

  9. Point Cloud Compression 3 Free Viewport Events Culture Heritage

  10. Point Cloud Compression 3 Free Viewport Events Culture Heritage Autonomous

    Driving

  11. Point Cloud Compression 3 Free Viewport Events Culture Heritage Autonomous

    Driving Ochotta - 2004, Lien - 2009, Kammerl - 2012, Fan - 2013, Golla - 2015, Thanou - 2016, Queiroz - 2017, Krivokuća - 2018, Jang - 2019 Huang - 2008, Smith - 2012, Hornung - 2013, Digne - 2014, Morell - 2014, Schwarz - 2018, Lasserre - 2019 Tu - 2015, Sun - 2019, Tu - 2019

  12. Point Cloud Compression 3 Free Viewport Events Culture Heritage Autonomous

    Driving Ochotta - 2004, Lien - 2009, Kammerl - 2012, Fan - 2013, Golla - 2015, Thanou - 2016, Queiroz - 2017, Krivokuća - 2018, Jang - 2019 Huang - 2008, Smith - 2012, Hornung - 2013, Digne - 2014, Morell - 2014, Schwarz - 2018, Lasserre - 2019 Tu - 2015, Sun - 2019, Tu - 2019

  13. LiDAR Data Harvesting 4 Harvested Data Front View Top View

  14. LiDAR Data Harvesting 4 Harvested Data Front View Top View

    LiDAR

  15. LiDAR Data Harvesting 4 Harvested Data Front View Top View

    (θ1, Φ1, ≌t1) (θ2, Φ1, ≌t2) (θ3, Φ1, ≌t3) … Φ1 θ1 ≌θ LiDAR

  16. LiDAR Data Harvesting 5 Harvested Data Front View Top View

    (θ1, Φ1, ≌t1,1) (θ2, Φ1, ≌t1,2) (θ3, Φ1, ≌t1,3) … Φ2 θ1

  17. LiDAR Data Harvesting 5 Harvested Data Front View Top View

    (θ1, Φ1, ≌t1,1) (θ2, Φ1, ≌t1,2) (θ3, Φ1, ≌t1,3) … Φ2 θ1 ≌Φ

  18. LiDAR Data Harvesting 5 Harvested Data Front View Top View

    (θ1, Φ1, ≌t1,1) (θ2, Φ1, ≌t1,2) (θ3, Φ1, ≌t1,3) … Φ2 θ1 (θ1, Φ2, ≌t2,1) (θ2, Φ2, ≌t2,2) (θ3, Φ2, ≌t2,3) … ≌Φ

  19. LiDAR Data Harvesting 5 Harvested Data Front View Top View

    (θ1, Φ1, ≌t1,1) (θ2, Φ1, ≌t1,2) (θ3, Φ1, ≌t1,3) … Φ2 θ1 (θ1, Φ2, ≌t2,1) (θ2, Φ2, ≌t2,2) (θ3, Φ2, ≌t2,3) … … (θ1, Φ3, ≌t3,1) (θ2, Φ3, ≌t3,2) (θ3, Φ3, ≌t3,3) … ≌Φ

  20. Range Image Conversion 6 Harvested Data (θ1, Φ1, ≌t1,1) (θ1,

    Φ2, ≌t2,1) (θ1, Φ3, ≌t3,1) (θ2, Φ1, ≌t1,2) (θ2, Φ2, ≌t2,2) (θ2, Φ3, ≌t3,2) (θ3, Φ1, ≌t1,3) (θ3, Φ2, ≌t2,3) (θ3, Φ3, ≌t3,3) … … … …

  21. Range Image Range Image Conversion 6 Harvested Data (θ1, Φ1,

    ≌t1,1) (θ1, Φ2, ≌t2,1) (θ1, Φ3, ≌t3,1) (θ2, Φ1, ≌t1,2) (θ2, Φ2, ≌t2,2) (θ2, Φ3, ≌t3,2) (θ3, Φ1, ≌t1,3) (θ3, Φ2, ≌t2,3) (θ3, Φ3, ≌t3,3) … … … …

  22. Range Image Range Image Conversion 6 Harvested Data (θ1, Φ1,

    ≌t1,1) (θ1, Φ2, ≌t2,1) (θ1, Φ3, ≌t3,1) (θ2, Φ1, ≌t1,2) (θ2, Φ2, ≌t2,2) (θ2, Φ3, ≌t3,2) (θ3, Φ1, ≌t1,3) (θ3, Φ2, ≌t2,3) (θ3, Φ3, ≌t3,3) … … … … θ1

  23. Range Image Range Image Conversion 6 Harvested Data (θ1, Φ1,

    ≌t1,1) (θ1, Φ2, ≌t2,1) (θ1, Φ3, ≌t3,1) (θ2, Φ1, ≌t1,2) (θ2, Φ2, ≌t2,2) (θ2, Φ3, ≌t3,2) (θ3, Φ1, ≌t1,3) (θ3, Φ2, ≌t2,3) (θ3, Φ3, ≌t3,3) … … … … Φ1 θ1

  24. Range Image Range Image Conversion 6 Harvested Data R1,1 R1,2

    R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Φ1 θ1

  25. Range Image So, using image compression? Range Image Conversion 6

    Harvested Data R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Φ1 θ1

  26. Inefficiency of Using Image Compression 7 R1,1 R1,2 R1,3 R1,4

    R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Range Image ▸Disadvantages of Using Image Compression

  27. Inefficiency of Using Image Compression 7 R1,1 R1,2 R1,3 R1,4

    R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 ▸Disadvantages of Using Image Compression

  28. Inefficiency of Using Image Compression 7 R1,1 R1,2 R1,3 R1,4

    R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 ▸Disadvantages of Using Image Compression ▹Leverage redundant color information not spatial information.

  29. Inefficiency of Using Image Compression 7 R1,1 R1,2 R1,3 R1,4

    R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 ▸Disadvantages of Using Image Compression ▹Leverage redundant color information not spatial information. ▹Lose detailed spatial information by normalizing range value into 0-255. (120 m with 0.02 m distance accuracy)

  30. Inefficiency of Using Image Compression 7 R1,1 R1,2 R1,3 R1,4

    R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 ▸Disadvantages of Using Image Compression ▹Leverage redundant color information not spatial information. ▹Lose detailed spatial information by normalizing range value into 0-255. (120 m with 0.02 m distance accuracy) ▹Intelligent applications are more precision- sensitive than human visual cue.

  31. Spatio-Temporal Compression 8

  32. Spatio-Temporal Compression 8 Spatial Encoding

  33. Spatio-Temporal Compression 8 Spatial Encoding Temporal Encoding

  34. Spatio-Temporal Compression 8 Spatial Encoding Temporal Encoding

  35. Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6

  36. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6

  37. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data

  38. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data

  39. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1)

  40. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) Unfitted Data R1,3, R1,4, R2,3, R2,4

  41. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) Unfitted Data R1,3, R1,4, R2,3, R2,4

  42. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) Unfitted Data R1,3, R1,4, R2,3, R2,4

  43. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) Unfitted Data R1,3, R1,4, R2,3, R2,4

  44. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) Unfitted Data R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6

  45. Plane : x + ay + bz + c =

    0 Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) Unfitted Data R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0

  46. Plane : x + ay + bz + c =

    0 LiDARs have a much more fine- grained horizontal resolution than vertical resolution. Spatial Encoding 9 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Fitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) Unfitted Data R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0

  47. Encoding Multiple Frames ??? 10 Fitted Data Unfitted Data T1:

    (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0

  48. Encoding Multiple Frames ??? 10 Fitted Data Unfitted Data T1:

    (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0

  49. Encoding Multiple Frames ??? 10 Fitted Data Unfitted Data T1:

    (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 Fitted Data Unfitted Data T1: (a1, b1, c1,1) T3: (a3, b3, c3,1) T4, T5: (a4, b4, c4, 2) R1,3, R1,4, R2,3, R2,4 R3,5, R3,6, R4,5, R4,6 Bitmap 1 0 1 1 1 0 99% of the region is overlapped.

  50. Spatio-Temporal Compression 11 Spatial Encoding Temporal Encoding

  51. Spatio-Temporal Compression 11 Spatial Encoding Temporal Encoding

  52. Encoding Multiple Frames 12 Time T3 T4 T5 T1 T2

  53. Encoding Multiple Frames 12 Time T3 T4 T5 T1 T2

    IMU measurements +

  54. Encoding Multiple Frames 12 Time T3 T4 T5 T1 T2

    IMU measurements +

  55. Encoding Multiple Frames 12 Time T3 T4 T5 T1 T2

    IMU measurements + Before Transformation After Transformation

  56. Encoding Multiple Frames 12 Before Transformation After Transformation R1,1 R1,2

    R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Range Image Conversion

  57. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6

  58. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels?

  59. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU.

  60. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2

  61. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c1

  62. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c1 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1

  63. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c1 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2

  64. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c1 … 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …

  65. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c1 … { C2(avg.) 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …

  66. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c2 c1 … { C2(avg.) 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …

  67. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c2 c1 c3 … { C2(avg.) 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …

  68. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c2 c1 c3 c4 … { C2(avg.) 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …

  69. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c2 c1 c3 c4 c5 … { C2(avg.) 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …

  70. Temporal Encoding 13 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Plane fitting across 5 channels? Answer: No! The coarse transformation from IMU. Ch3 Ch4 Ch5 Ch1 Ch2 F(x, y, z): x+ay+bz+c1 = 0 c2 c1 c3 c4 c5 … (a, b, c1, c2, c3, c4, c5, len) 8 parameters instead of 20 { C2(avg.) 1: x2,1+ay2,1+bz2,1+c2,1 = 0 1 2: x2,2+ay2,2+bz2,2+c2,2 = 0 2 5: x2,5+ay2,5+bz2,5+c2,5 = 0 5 …

  71. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6

  72. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Multi-Channel Fitted Data

  73. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Multi-Channel Fitted Data

  74. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 T1: (a1, b1, c11, c12, c13, c14, c15,1) Multi-Channel Fitted Data

  75. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 T1: (a1, b1, c11, c12, c13, c14, c15,1) Multi-Channel Fitted Data

  76. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 T1: (a1, b1, c11, c12, c13, c14, c15,1) Multi-Channel Fitted Data

  77. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 T1: (a1, b1, c11, c12, c13, c14, c15,1) Multi-Channel Fitted Data

  78. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 T1: (a1, b1, c11, c12, c13, c14, c15,1) T4, T5: (a4, b4, c41, c42, c43, c44, c45, 2) Multi-Channel Fitted Data

  79. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 T1: (a1, b1, c11, c12, c13, c14, c15,1) T4, T5: (a4, b4, c41, c42, c43, c44, c45, 2) Multi-Channel Fitted Data

  80. Temporal Encoding 14 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1

    R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Unfitted Data Single Channel Fitted Data T1: (a1, b1, c11, c12, c13, c14, c15,1) T4, T5: (a4, b4, c41, c42, c43, c44, c45, 2) Multi-Channel Fitted Data

  81. Temporal Encoding 14 Bitmap 1 0 0 1 1 0

    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 R1,1 R1,2 R1,3 R1,4 R1,5 R1,6 R2,1 R2,2 R2,3 R2,4 R2,5 R2,6 R3,1 R3,2 R3,3 R3,4 R3,5 R3,6 R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Unfitted Data Single Channel Fitted Data T1: (a1, b1, c11, c12, c13, c14, c15,1) T4, T5: (a4, b4, c41, c42, c43, c44, c45, 2) Multi-Channel Fitted Data

  82. Put Things Together 15 middle frame 3 frame 1, 2,

    4, 5

  83. Put Things Together 15 Motion Transformation middle frame 3 frame

    1, 2, 4, 5

  84. Put Things Together 15 Range Image Conversion Motion Transformation middle

    frame 3 frame 1, 2, 4, 5

  85. Put Things Together 15 Range Image Conversion Temporal Encoding (cross

    channel fitting) Motion Transformation middle frame 3 frame 1, 2, 4, 5

  86. Put Things Together 15 Range Image Conversion Temporal Encoding (cross

    channel fitting) Spatial Encoding (single channel fitting) Motion Transformation middle frame 3 frame 1, 2, 4, 5

  87. Put Things Together 15 Range Image Conversion Temporal Encoding (cross

    channel fitting) Spatial Encoding (single channel fitting) Motion Transformation middle frame 3 frame 1, 2, 4, 5 Lossless Encoding Multi-channel fitted data Single channel fitted data unfitted data +

  88. Put Things Together 15 Range Image Conversion Temporal Encoding (cross

    channel fitting) Spatial Encoding (single channel fitting) Motion Transformation Encoded Data middle frame 3 frame 1, 2, 4, 5 Lossless Encoding Multi-channel fitted data Single channel fitted data unfitted data +

  89. Experimental Setup 16

  90. Experimental Setup 16 Three Robotic Applications: ▹ Registration, Object Detection,

    Scene Segmentation

  91. Experimental Setup 16 Three Robotic Applications: ▹ Registration, Object Detection,

    Scene Segmentation Datasets: ▹ KITTI and SemanticKITTI dataset

  92. Experimental Setup 16 Three Robotic Applications: ▹ Registration, Object Detection,

    Scene Segmentation Datasets: ▹ KITTI and SemanticKITTI dataset Baselines: ▹ G-PCC, V-PCC, JPEG, H264

  93. Experimental Setup 16 Three Robotic Applications: ▹ Registration, Object Detection,

    Scene Segmentation Datasets: ▹ KITTI and SemanticKITTI dataset Baselines: ▹ G-PCC, V-PCC, JPEG, H264 Variants: ▹ Single-frame: only spatial encoding ▹ Streaming: spatial and temporal encoding

  94. Experimental Setup 16 Three Robotic Applications: ▹ Registration, Object Detection,

    Scene Segmentation Datasets: ▹ KITTI and SemanticKITTI dataset Baselines: ▹ G-PCC, V-PCC, JPEG, H264 Variants: ▹ Single-frame: only spatial encoding ▹ Streaming: spatial and temporal encoding Hardware Platforms: ▹ Intel i5-7500 with 4 cores and Nvidia Jetson TX2 ▹

  95. Registration Result 17

  96. Registration Result 17 Translational Error (%) 0 1 2 3

    4 Compression Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy Original

  97. Registration Result 17 Translational Error (%) 0 1 2 3

    4 Compression Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy Original >85%

  98. Registration Result 17 Translational Error (%) 0 1 2 3

    4 Compression Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy Original Better >85%

  99. Object Detection 18

  100. Object Detection 18 Accuracy (%) 0 25 50 75 100

    Compression Rate 0 30 60 90 120 Single-Frame G-PCC Image Original

  101. Object Detection 18 Accuracy (%) 0 25 50 75 100

    Compression Rate 0 30 60 90 120 Single-Frame G-PCC Image Original

  102. Object Detection 18 Accuracy (%) 0 25 50 75 100

    Compression Rate 0 30 60 90 120 Single-Frame G-PCC Image Original Better

  103. Scene Segmentation 19

  104. Scene Segmentation 19 Accuracy (%) 0 25 50 75 100

    Compression Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy Original

  105. Scene Segmentation 19 Accuracy (%) 0 25 50 75 100

    Compression Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy Original

  106. Scene Segmentation 19 Accuracy (%) 0 25 50 75 100

    Compression Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy Original Better

  107. Compression Speed 20

  108. Compression Speed 20 FPS 0.01 0.1 1 10 100 Compression

    Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy

  109. Compression Speed 20 FPS 0.01 0.1 1 10 100 Compression

    Rate 0 30 60 90 120 Streaming Single-Frame Video Lossless G-PCC V-PCC Video Lossy

  110. Conclusion 21

  111. Conclusion 21 ‣Efficient point cloud compression will enable autonomous machines

    to be more connected with each other and with the cloud

  112. Conclusion 21 ‣By exploiting spatial and temporal redundancies across point

    clouds, our real-time compression method achieves up to 90× compression rate with high application accuracy. ‣Efficient point cloud compression will enable autonomous machines to be more connected with each other and with the cloud