Real-Time Spatio-Temporal LiDAR Point Cloud Compression

IROS 2020 talk slides by Yu Feng.

Transcript

1. 1
   Real-Time Spatio-Temporal LiDAR
   
   Point Cloud Compression
   Yu Feng
   with Shaoshan Liu (PerceptIn) and Yuhao Zhu
   Department of Computer Science
   
   University of Rochester
   
   http://horizon-lab.org
   

   View Slide

2. Real-time LiDAR Data Sharing
   2
   

   View Slide

3. Real-time LiDAR Data Sharing
   2
   

   View Slide

4. Real-time LiDAR Data Sharing
   2
   

   View Slide

5. Real-time LiDAR Data Sharing
   2
   

   View Slide

6. Real-time LiDAR Data Sharing
   2
   26MB/s ???
   

   View Slide

7. Point Cloud Compression
   3
   

   View Slide

8. Point Cloud Compression
   3
   Free Viewport
   Events
   

   View Slide

9. Point Cloud Compression
   3
   Free Viewport
   Events
   Culture
   Heritage
   

   View Slide

10. Point Cloud Compression
    3
    Free Viewport
    Events
    Culture
    Heritage
    Autonomous
    Driving
    

    View Slide

11. Point Cloud Compression
    3
    Free Viewport
    Events
    Culture
    Heritage
    Autonomous
    Driving
    Ochotta - 2004, Lien - 2009,
    
    Kammerl - 2012,
    
    Fan - 2013, Golla - 2015,
    
    Thanou - 2016,
    
    Queiroz - 2017,
    
    Krivokuća - 2018, Jang - 2019
    Huang - 2008, Smith - 2012,
    
    Hornung - 2013, Digne - 2014,
    
    Morell - 2014, Schwarz - 2018,
    
    Lasserre - 2019
    Tu - 2015,
    
    Sun - 2019,
    
    Tu - 2019
    

    View Slide

12. Point Cloud Compression
    3
    Free Viewport
    Events
    Culture
    Heritage
    Autonomous
    Driving
    Ochotta - 2004, Lien - 2009,
    
    Kammerl - 2012,
    
    Fan - 2013, Golla - 2015,
    
    Thanou - 2016,
    
    Queiroz - 2017,
    
    Krivokuća - 2018, Jang - 2019
    Huang - 2008, Smith - 2012,
    
    Hornung - 2013, Digne - 2014,
    
    Morell - 2014, Schwarz - 2018,
    
    Lasserre - 2019
    Tu - 2015,
    
    Sun - 2019,
    
    Tu - 2019
    

    View Slide

13. LiDAR Data Harvesting
    4
    Harvested Data
    Front View
    Top View
    

    View Slide

14. LiDAR Data Harvesting
    4
    Harvested Data
    Front View
    Top View
    LiDAR
    

    View Slide

15. LiDAR Data Harvesting
    4
    Harvested Data
    Front View
    Top View
    (θ1, Φ1, ≌t1) (θ2, Φ1, ≌t2)
    (θ3, Φ1, ≌t3) …
    Φ1
    θ1
    ≌θ
    LiDAR
    

    View Slide

16. LiDAR Data Harvesting
    5
    Harvested Data
    Front View
    Top View
    (θ1, Φ1, ≌t1,1) (θ2, Φ1, ≌t1,2)
    (θ3, Φ1, ≌t1,3) …
    Φ2
    θ1
    

    View Slide

17. LiDAR Data Harvesting
    5
    Harvested Data
    Front View
    Top View
    (θ1, Φ1, ≌t1,1) (θ2, Φ1, ≌t1,2)
    (θ3, Φ1, ≌t1,3) …
    Φ2
    θ1
    ≌Φ
    

    View Slide

18. LiDAR Data Harvesting
    5
    Harvested Data
    Front View
    Top View
    (θ1, Φ1, ≌t1,1) (θ2, Φ1, ≌t1,2)
    (θ3, Φ1, ≌t1,3) …
    Φ2
    θ1
    (θ1, Φ2, ≌t2,1) (θ2, Φ2, ≌t2,2)
    (θ3, Φ2, ≌t2,3) …
    ≌Φ
    

    View Slide

19. LiDAR Data Harvesting
    5
    Harvested Data
    Front View
    Top View
    (θ1, Φ1, ≌t1,1) (θ2, Φ1, ≌t1,2)
    (θ3, Φ1, ≌t1,3) …
    Φ2
    θ1
    (θ1, Φ2, ≌t2,1) (θ2, Φ2, ≌t2,2)
    (θ3, Φ2, ≌t2,3) …
    …
    (θ1, Φ3, ≌t3,1) (θ2, Φ3, ≌t3,2)
    (θ3, Φ3, ≌t3,3) …
    ≌Φ
    

    View Slide

20. Range Image Conversion
    6
    Harvested Data
    (θ1, Φ1, ≌t1,1)
    (θ1, Φ2, ≌t2,1)
    (θ1, Φ3, ≌t3,1)
    (θ2, Φ1, ≌t1,2)
    (θ2, Φ2, ≌t2,2)
    (θ2, Φ3, ≌t3,2)
    (θ3, Φ1, ≌t1,3)
    (θ3, Φ2, ≌t2,3)
    (θ3, Φ3, ≌t3,3)
    …
    …
    …
    …
    

    View Slide

21. Range Image
    Range Image Conversion
    6
    Harvested Data
    (θ1, Φ1, ≌t1,1)
    (θ1, Φ2, ≌t2,1)
    (θ1, Φ3, ≌t3,1)
    (θ2, Φ1, ≌t1,2)
    (θ2, Φ2, ≌t2,2)
    (θ2, Φ3, ≌t3,2)
    (θ3, Φ1, ≌t1,3)
    (θ3, Φ2, ≌t2,3)
    (θ3, Φ3, ≌t3,3)
    …
    …
    …
    …
    

    View Slide

22. Range Image
    Range Image Conversion
    6
    Harvested Data
    (θ1, Φ1, ≌t1,1)
    (θ1, Φ2, ≌t2,1)
    (θ1, Φ3, ≌t3,1)
    (θ2, Φ1, ≌t1,2)
    (θ2, Φ2, ≌t2,2)
    (θ2, Φ3, ≌t3,2)
    (θ3, Φ1, ≌t1,3)
    (θ3, Φ2, ≌t2,3)
    (θ3, Φ3, ≌t3,3)
    …
    …
    …
    …
    θ1
    

    View Slide

23. Range Image
    Range Image Conversion
    6
    Harvested Data
    (θ1, Φ1, ≌t1,1)
    (θ1, Φ2, ≌t2,1)
    (θ1, Φ3, ≌t3,1)
    (θ2, Φ1, ≌t1,2)
    (θ2, Φ2, ≌t2,2)
    (θ2, Φ3, ≌t3,2)
    (θ3, Φ1, ≌t1,3)
    (θ3, Φ2, ≌t2,3)
    (θ3, Φ3, ≌t3,3)
    …
    …
    …
    … Φ1
    θ1
    

    View Slide

24. Range Image
    Range Image Conversion
    6
    Harvested Data
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    Φ1
    θ1
    

    View Slide

25. Range Image
    So, using image compression?
    Range Image Conversion
    6
    Harvested Data
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    Φ1
    θ1
    

    View Slide

26. Inefficiency of Using Image Compression
    7
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    Range Image
    ▸Disadvantages of Using Image Compression
    

    View Slide

27. Inefficiency of Using Image Compression
    7
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    ▸Disadvantages of Using Image Compression
    

    View Slide

28. Inefficiency of Using Image Compression
    7
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    ▸Disadvantages of Using Image Compression
    ▹Leverage redundant color information not
    spatial information.
    

    View Slide

29. Inefficiency of Using Image Compression
    7
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    ▸Disadvantages of Using Image Compression
    ▹Leverage redundant color information not
    spatial information.
    ▹Lose detailed spatial information by
    normalizing range value into 0-255.
    (120 m with 0.02 m distance accuracy)
    

    View Slide

30. Inefficiency of Using Image Compression
    7
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    ▸Disadvantages of Using Image Compression
    ▹Leverage redundant color information not
    spatial information.
    ▹Lose detailed spatial information by
    normalizing range value into 0-255.
    (120 m with 0.02 m distance accuracy)
    ▹Intelligent applications are more precision-
    sensitive than human visual cue.
    

    View Slide

31. Spatio-Temporal Compression
    8
    

    View Slide

32. Spatio-Temporal Compression
    8
    Spatial Encoding
    

    View Slide

33. Spatio-Temporal Compression
    8
    Spatial Encoding Temporal Encoding
    

    View Slide

34. Spatio-Temporal Compression
    8
    Spatial Encoding Temporal Encoding
    

    View Slide

35. Spatial Encoding
    9
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    

    View Slide

36. Plane : x + ay + bz + c = 0
    Spatial Encoding
    9
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    

    View Slide

37. Plane : x + ay + bz + c = 0
    Spatial Encoding
    9
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    Fitted Data
    

    View Slide

38. Plane : x + ay + bz + c = 0
    Spatial Encoding
    9
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    Fitted Data
    

    View Slide

39. Plane : x + ay + bz + c = 0
    Spatial Encoding
    9
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    Fitted Data
    T1: (a1, b1, c1,1)
    

    View Slide

40. Plane : x + ay + bz + c = 0
    Spatial Encoding
    9
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    Fitted Data
    T1: (a1, b1, c1,1)
    Unfitted Data
    R1,3, R1,4, R2,3, R2,4
    

    View Slide

41. Plane : x + ay + bz + c = 0
    Spatial Encoding
    9
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    Fitted Data
    T1: (a1, b1, c1,1) T3: (a3, b3, c3,1)
    Unfitted Data
    R1,3, R1,4, R2,3, R2,4
    

    View Slide

42. Plane : x + ay + bz + c = 0
    Spatial Encoding
    9
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    Fitted Data
    T1: (a1, b1, c1,1) T3: (a3, b3, c3,1)
    Unfitted Data
    R1,3, R1,4, R2,3, R2,4
    

    View Slide

43. Plane : x + ay + bz + c = 0
    Spatial Encoding
    9
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    Fitted Data
    T1: (a1, b1, c1,1) T3: (a3, b3, c3,1)
    T4, T5: (a4, b4, c4, 2)
    Unfitted Data
    R1,3, R1,4, R2,3, R2,4
    

    View Slide

44. Plane : x + ay + bz + c = 0
    Spatial Encoding
    9
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    Fitted Data
    T1: (a1, b1, c1,1) T3: (a3, b3, c3,1)
    T4, T5: (a4, b4, c4, 2)
    Unfitted Data
    R1,3, R1,4, R2,3, R2,4
    R3,5, R3,6, R4,5, R4,6
    

    View Slide

45. Plane : x + ay + bz + c = 0
    Spatial Encoding
    9
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    Fitted Data
    T1: (a1, b1, c1,1) T3: (a3, b3, c3,1)
    T4, T5: (a4, b4, c4, 2)
    Unfitted Data
    R1,3, R1,4, R2,3, R2,4
    R3,5, R3,6, R4,5, R4,6
    Bitmap
    1 0 1
    1 1 0
    

    View Slide

46. Plane : x + ay + bz + c = 0
    LiDARs have a much more fine-
    grained horizontal resolution than
    vertical resolution.
    Spatial Encoding
    9
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    Fitted Data
    T1: (a1, b1, c1,1) T3: (a3, b3, c3,1)
    T4, T5: (a4, b4, c4, 2)
    Unfitted Data
    R1,3, R1,4, R2,3, R2,4
    R3,5, R3,6, R4,5, R4,6
    Bitmap
    1 0 1
    1 1 0
    

    View Slide

47. Encoding Multiple Frames ???
    10
    Fitted Data
    Unfitted Data
    T1: (a1, b1, c1,1) T3: (a3, b3, c3,1)
    T4, T5: (a4, b4, c4, 2)
    R1,3, R1,4, R2,3, R2,4
    R3,5, R3,6, R4,5, R4,6
    Bitmap
    1 0 1
    1 1 0
    

    View Slide

48. Encoding Multiple Frames ???
    10
    Fitted Data
    Unfitted Data
    T1: (a1, b1, c1,1) T3: (a3, b3, c3,1)
    T4, T5: (a4, b4, c4, 2)
    R1,3, R1,4, R2,3, R2,4
    R3,5, R3,6, R4,5, R4,6
    Bitmap
    1 0 1
    1 1 0
    Fitted Data
    Unfitted Data
    T1: (a1, b1, c1,1) T3: (a3, b3, c3,1)
    T4, T5: (a4, b4, c4, 2)
    R1,3, R1,4, R2,3, R2,4
    R3,5, R3,6, R4,5, R4,6
    Bitmap
    1 0 1
    1 1 0
    Fitted Data
    Unfitted Data
    T1: (a1, b1, c1,1) T3: (a3, b3, c3,1)
    T4, T5: (a4, b4, c4, 2)
    R1,3, R1,4, R2,3, R2,4
    R3,5, R3,6, R4,5, R4,6
    Bitmap
    1 0 1
    1 1 0
    Fitted Data
    Unfitted Data
    T1: (a1, b1, c1,1) T3: (a3, b3, c3,1)
    T4, T5: (a4, b4, c4, 2)
    R1,3, R1,4, R2,3, R2,4
    R3,5, R3,6, R4,5, R4,6
    Bitmap
    1 0 1
    1 1 0
    Fitted Data
    Unfitted Data
    T1: (a1, b1, c1,1) T3: (a3, b3, c3,1)
    T4, T5: (a4, b4, c4, 2)
    R1,3, R1,4, R2,3, R2,4
    R3,5, R3,6, R4,5, R4,6
    Bitmap
    1 0 1
    1 1 0
    

    View Slide

49. Encoding Multiple Frames ???
    10
    Fitted Data
    Unfitted Data
    T1: (a1, b1, c1,1) T3: (a3, b3, c3,1)
    T4, T5: (a4, b4, c4, 2)
    R1,3, R1,4, R2,3, R2,4
    R3,5, R3,6, R4,5, R4,6
    Bitmap
    1 0 1
    1 1 0
    Fitted Data
    Unfitted Data
    T1: (a1, b1, c1,1) T3: (a3, b3, c3,1)
    T4, T5: (a4, b4, c4, 2)
    R1,3, R1,4, R2,3, R2,4
    R3,5, R3,6, R4,5, R4,6
    Bitmap
    1 0 1
    1 1 0
    Fitted Data
    Unfitted Data
    T1: (a1, b1, c1,1) T3: (a3, b3, c3,1)
    T4, T5: (a4, b4, c4, 2)
    R1,3, R1,4, R2,3, R2,4
    R3,5, R3,6, R4,5, R4,6
    Bitmap
    1 0 1
    1 1 0
    Fitted Data
    Unfitted Data
    T1: (a1, b1, c1,1) T3: (a3, b3, c3,1)
    T4, T5: (a4, b4, c4, 2)
    R1,3, R1,4, R2,3, R2,4
    R3,5, R3,6, R4,5, R4,6
    Bitmap
    1 0 1
    1 1 0
    Fitted Data
    Unfitted Data
    T1: (a1, b1, c1,1) T3: (a3, b3, c3,1)
    T4, T5: (a4, b4, c4, 2)
    R1,3, R1,4, R2,3, R2,4
    R3,5, R3,6, R4,5, R4,6
    Bitmap
    1 0 1
    1 1 0
    99% of the region is
    overlapped.
    

    View Slide

50. Spatio-Temporal Compression
    11
    Spatial Encoding Temporal Encoding
    

    View Slide

51. Spatio-Temporal Compression
    11
    Spatial Encoding Temporal Encoding
    

    View Slide

52. Encoding Multiple Frames
    12
    Time
    T3 T4 T5
    T1 T2
    

    View Slide

53. Encoding Multiple Frames
    12
    Time
    T3 T4 T5
    T1 T2
    IMU measurements
    +
    

    View Slide

54. Encoding Multiple Frames
    12
    Time
    T3 T4 T5
    T1 T2
    IMU measurements
    +
    

    View Slide

55. Encoding Multiple Frames
    12
    Time
    T3 T4 T5
    T1 T2
    IMU measurements
    +
    Before Transformation
    After Transformation
    

    View Slide

56. Encoding Multiple Frames
    12
    Before Transformation
    After Transformation
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    Range Image
    Conversion
    

    View Slide

57. Temporal Encoding
    13
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    

    View Slide

58. Temporal Encoding
    13
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    Plane fitting across 5 channels?
    

    View Slide

59. Temporal Encoding
    13
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    Plane fitting across 5 channels?
    Answer: No! The coarse
    transformation from IMU.
    

    View Slide

60. Temporal Encoding
    13
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    Plane fitting across 5 channels?
    Answer: No! The coarse
    transformation from IMU.
    Ch3 Ch4 Ch5
    Ch1 Ch2
    

    View Slide

61. Temporal Encoding
    13
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    Plane fitting across 5 channels?
    Answer: No! The coarse
    transformation from IMU.
    Ch3 Ch4 Ch5
    Ch1 Ch2
    F(x, y, z): x+ay+bz+c1 = 0
    c1
    

    View Slide

62. Temporal Encoding
    13
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    Plane fitting across 5 channels?
    Answer: No! The coarse
    transformation from IMU.
    Ch3 Ch4 Ch5
    Ch1 Ch2
    F(x, y, z): x+ay+bz+c1 = 0
    c1
    1: x2,1+ay2,1+bz2,1+c2,1 = 0
    1
    

    View Slide

63. Temporal Encoding
    13
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    Plane fitting across 5 channels?
    Answer: No! The coarse
    transformation from IMU.
    Ch3 Ch4 Ch5
    Ch1 Ch2
    F(x, y, z): x+ay+bz+c1 = 0
    c1
    1: x2,1+ay2,1+bz2,1+c2,1 = 0
    1
    2: x2,2+ay2,2+bz2,2+c2,2 = 0
    2
    

    View Slide

64. Temporal Encoding
    13
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    Plane fitting across 5 channels?
    Answer: No! The coarse
    transformation from IMU.
    Ch3 Ch4 Ch5
    Ch1 Ch2
    F(x, y, z): x+ay+bz+c1 = 0
    c1
    …
    1: x2,1+ay2,1+bz2,1+c2,1 = 0
    1
    2: x2,2+ay2,2+bz2,2+c2,2 = 0
    2
    5: x2,5+ay2,5+bz2,5+c2,5 = 0
    5
    …
    

    View Slide

65. Temporal Encoding
    13
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    Plane fitting across 5 channels?
    Answer: No! The coarse
    transformation from IMU.
    Ch3 Ch4 Ch5
    Ch1 Ch2
    F(x, y, z): x+ay+bz+c1 = 0
    c1
    …
    { C2(avg.)
    1: x2,1+ay2,1+bz2,1+c2,1 = 0
    1
    2: x2,2+ay2,2+bz2,2+c2,2 = 0
    2
    5: x2,5+ay2,5+bz2,5+c2,5 = 0
    5
    …
    

    View Slide

66. Temporal Encoding
    13
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    Plane fitting across 5 channels?
    Answer: No! The coarse
    transformation from IMU.
    Ch3 Ch4 Ch5
    Ch1 Ch2
    F(x, y, z): x+ay+bz+c1 = 0
    c2
    c1
    …
    { C2(avg.)
    1: x2,1+ay2,1+bz2,1+c2,1 = 0
    1
    2: x2,2+ay2,2+bz2,2+c2,2 = 0
    2
    5: x2,5+ay2,5+bz2,5+c2,5 = 0
    5
    …
    

    View Slide

67. Temporal Encoding
    13
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    Plane fitting across 5 channels?
    Answer: No! The coarse
    transformation from IMU.
    Ch3 Ch4 Ch5
    Ch1 Ch2
    F(x, y, z): x+ay+bz+c1 = 0
    c2
    c1 c3
    …
    { C2(avg.)
    1: x2,1+ay2,1+bz2,1+c2,1 = 0
    1
    2: x2,2+ay2,2+bz2,2+c2,2 = 0
    2
    5: x2,5+ay2,5+bz2,5+c2,5 = 0
    5
    …
    

    View Slide

68. Temporal Encoding
    13
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    Plane fitting across 5 channels?
    Answer: No! The coarse
    transformation from IMU.
    Ch3 Ch4 Ch5
    Ch1 Ch2
    F(x, y, z): x+ay+bz+c1 = 0
    c2
    c1 c3 c4
    …
    { C2(avg.)
    1: x2,1+ay2,1+bz2,1+c2,1 = 0
    1
    2: x2,2+ay2,2+bz2,2+c2,2 = 0
    2
    5: x2,5+ay2,5+bz2,5+c2,5 = 0
    5
    …
    

    View Slide

69. Temporal Encoding
    13
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    Plane fitting across 5 channels?
    Answer: No! The coarse
    transformation from IMU.
    Ch3 Ch4 Ch5
    Ch1 Ch2
    F(x, y, z): x+ay+bz+c1 = 0
    c2
    c1 c3 c4 c5
    …
    { C2(avg.)
    1: x2,1+ay2,1+bz2,1+c2,1 = 0
    1
    2: x2,2+ay2,2+bz2,2+c2,2 = 0
    2
    5: x2,5+ay2,5+bz2,5+c2,5 = 0
    5
    …
    

    View Slide

70. Temporal Encoding
    13
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    Plane fitting across 5 channels?
    Answer: No! The coarse
    transformation from IMU.
    Ch3 Ch4 Ch5
    Ch1 Ch2
    F(x, y, z): x+ay+bz+c1 = 0
    c2
    c1 c3 c4 c5
    …
    (a, b, c1, c2, c3, c4, c5, len)
    8 parameters instead of 20
    { C2(avg.)
    1: x2,1+ay2,1+bz2,1+c2,1 = 0
    1
    2: x2,2+ay2,2+bz2,2+c2,2 = 0
    2
    5: x2,5+ay2,5+bz2,5+c2,5 = 0
    5
    …
    

    View Slide

71. Temporal Encoding
    14
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    

    View Slide

72. Temporal Encoding
    14
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    Multi-Channel Fitted Data
    

    View Slide

73. Temporal Encoding
    14
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    Multi-Channel Fitted Data
    

    View Slide

74. Temporal Encoding
    14
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    T1: (a1, b1, c11, c12, c13, c14, c15,1)
    Multi-Channel Fitted Data
    

    View Slide

75. Temporal Encoding
    14
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    T1: (a1, b1, c11, c12, c13, c14, c15,1)
    Multi-Channel Fitted Data
    

    View Slide

76. Temporal Encoding
    14
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    T1: (a1, b1, c11, c12, c13, c14, c15,1)
    Multi-Channel Fitted Data
    

    View Slide

77. Temporal Encoding
    14
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    T1: (a1, b1, c11, c12, c13, c14, c15,1)
    Multi-Channel Fitted Data
    

    View Slide

78. Temporal Encoding
    14
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    T1: (a1, b1, c11, c12, c13, c14, c15,1)
    T4, T5: (a4, b4, c41, c42, c43, c44, c45, 2)
    Multi-Channel Fitted Data
    

    View Slide

79. Temporal Encoding
    14
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    T1: (a1, b1, c11, c12, c13, c14, c15,1)
    T4, T5: (a4, b4, c41, c42, c43, c44, c45, 2)
    Multi-Channel Fitted Data
    

    View Slide

80. Temporal Encoding
    14
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Unfitted Data
    Single Channel Fitted Data
    T1: (a1, b1, c11, c12, c13, c14, c15,1)
    T4, T5: (a4, b4, c41, c42, c43, c44, c45, 2)
    Multi-Channel Fitted Data
    

    View Slide

81. Temporal Encoding
    14
    Bitmap
    1 0 0
    1 1 0
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6
    R1,1 R1,2 R1,3 R1,4 R1,5 R1,6
    R2,1 R2,2 R2,3 R2,4 R2,5 R2,6
    R3,1 R3,2 R3,3 R3,4 R3,5 R3,6
    R4,1 R4,2 R4,3 R4,4 R4,5 R4,6 Unfitted Data
    Single Channel Fitted Data
    T1: (a1, b1, c11, c12, c13, c14, c15,1)
    T4, T5: (a4, b4, c41, c42, c43, c44, c45, 2)
    Multi-Channel Fitted Data
    

    View Slide

82. Put Things Together
    15
    middle frame 3
    frame 1, 2, 4, 5
    

    View Slide

83. Put Things Together
    15
    Motion
    Transformation
    middle frame 3
    frame 1, 2, 4, 5
    

    View Slide

84. Put Things Together
    15
    Range Image
    
    Conversion
    Motion
    Transformation
    middle frame 3
    frame 1, 2, 4, 5
    

    View Slide

85. Put Things Together
    15
    Range Image
    
    Conversion
    Temporal
    
    Encoding
    
    (cross channel fitting)
    Motion
    Transformation
    middle frame 3
    frame 1, 2, 4, 5
    

    View Slide

86. Put Things Together
    15
    Range Image
    
    Conversion
    Temporal
    
    Encoding
    
    (cross channel fitting)
    Spatial
    
    Encoding
    
    (single channel fitting)
    Motion
    Transformation
    middle frame 3
    frame 1, 2, 4, 5
    

    View Slide

87. Put Things Together
    15
    Range Image
    
    Conversion
    Temporal
    
    Encoding
    
    (cross channel fitting)
    Spatial
    
    Encoding
    
    (single channel fitting)
    Motion
    Transformation
    middle frame 3
    frame 1, 2, 4, 5
    Lossless
    
    Encoding
    Multi-channel
    fitted data
    Single channel
    fitted data
    unfitted
    data
    +
    

    View Slide

88. Put Things Together
    15
    Range Image
    
    Conversion
    Temporal
    
    Encoding
    
    (cross channel fitting)
    Spatial
    
    Encoding
    
    (single channel fitting)
    Motion
    Transformation
    Encoded
    
    Data
    middle frame 3
    frame 1, 2, 4, 5
    Lossless
    
    Encoding
    Multi-channel
    fitted data
    Single channel
    fitted data
    unfitted
    data
    +
    

    View Slide

89. Experimental Setup
    16
    

    View Slide

90. Experimental Setup
    16
    Three Robotic Applications:
    ▹ Registration, Object Detection, Scene Segmentation
    

    View Slide

91. Experimental Setup
    16
    Three Robotic Applications:
    ▹ Registration, Object Detection, Scene Segmentation
    Datasets:
    ▹ KITTI and SemanticKITTI dataset
    

    View Slide

92. Experimental Setup
    16
    Three Robotic Applications:
    ▹ Registration, Object Detection, Scene Segmentation
    Datasets:
    ▹ KITTI and SemanticKITTI dataset
    Baselines:
    ▹ G-PCC, V-PCC, JPEG, H264
    

    View Slide

93. Experimental Setup
    16
    Three Robotic Applications:
    ▹ Registration, Object Detection, Scene Segmentation
    Datasets:
    ▹ KITTI and SemanticKITTI dataset
    Baselines:
    ▹ G-PCC, V-PCC, JPEG, H264
    Variants:
    ▹ Single-frame: only spatial encoding
    ▹ Streaming: spatial and temporal encoding
    

    View Slide

94. Experimental Setup
    16
    Three Robotic Applications:
    ▹ Registration, Object Detection, Scene Segmentation
    Datasets:
    ▹ KITTI and SemanticKITTI dataset
    Baselines:
    ▹ G-PCC, V-PCC, JPEG, H264
    Variants:
    ▹ Single-frame: only spatial encoding
    ▹ Streaming: spatial and temporal encoding
    Hardware Platforms:
    ▹ Intel i5-7500 with 4 cores and Nvidia Jetson TX2
    ▹
    

    View Slide

95. Registration Result
    17
    

    View Slide

96. Registration Result
    17
    Translational Error (%)
    0
    1
    2
    3
    4
    Compression Rate
    0 30 60 90 120
    Streaming
    Single-Frame
    Video Lossless
    G-PCC
    V-PCC
    Video Lossy
    Original
    

    View Slide

97. Registration Result
    17
    Translational Error (%)
    0
    1
    2
    3
    4
    Compression Rate
    0 30 60 90 120
    Streaming
    Single-Frame
    Video Lossless
    G-PCC
    V-PCC
    Video Lossy
    Original
    >85%
    

    View Slide

98. Registration Result
    17
    Translational Error (%)
    0
    1
    2
    3
    4
    Compression Rate
    0 30 60 90 120
    Streaming
    Single-Frame
    Video Lossless
    G-PCC
    V-PCC
    Video Lossy
    Original
    Better
    >85%
    

    View Slide

99. Object Detection
    18
    

    View Slide

100. Object Detection
     18
     Accuracy (%)
     0
     25
     50
     75
     100
     Compression Rate
     0 30 60 90 120
     Single-Frame
     G-PCC
     Image
     Original
     

     View Slide

101. Object Detection
     18
     Accuracy (%)
     0
     25
     50
     75
     100
     Compression Rate
     0 30 60 90 120
     Single-Frame
     G-PCC
     Image
     Original
     

     View Slide

102. Object Detection
     18
     Accuracy (%)
     0
     25
     50
     75
     100
     Compression Rate
     0 30 60 90 120
     Single-Frame
     G-PCC
     Image
     Original
     Better
     

     View Slide

103. Scene Segmentation
     19
     

     View Slide

104. Scene Segmentation
     19
     Accuracy (%)
     0
     25
     50
     75
     100
     Compression Rate
     0 30 60 90 120
     Streaming
     Single-Frame
     Video Lossless
     G-PCC
     V-PCC
     Video Lossy
     Original
     

     View Slide

105. Scene Segmentation
     19
     Accuracy (%)
     0
     25
     50
     75
     100
     Compression Rate
     0 30 60 90 120
     Streaming
     Single-Frame
     Video Lossless
     G-PCC
     V-PCC
     Video Lossy
     Original
     

     View Slide

106. Scene Segmentation
     19
     Accuracy (%)
     0
     25
     50
     75
     100
     Compression Rate
     0 30 60 90 120
     Streaming
     Single-Frame
     Video Lossless
     G-PCC
     V-PCC
     Video Lossy
     Original
     Better
     

     View Slide

107. Compression Speed
     20
     

     View Slide

108. Compression Speed
     20
     FPS
     0.01
     0.1
     1
     10
     100
     Compression Rate
     0 30 60 90 120
     Streaming
     Single-Frame
     Video Lossless
     G-PCC
     V-PCC
     Video Lossy
     

     View Slide

109. Compression Speed
     20
     FPS
     0.01
     0.1
     1
     10
     100
     Compression Rate
     0 30 60 90 120
     Streaming
     Single-Frame
     Video Lossless
     G-PCC
     V-PCC
     Video Lossy
     

     View Slide

110. Conclusion
     21
     

     View Slide

111. Conclusion
     21
     ‣Efficient point cloud compression will enable
     autonomous machines to be more connected
     with each other and with the cloud
     

     View Slide

112. Conclusion
     21
     ‣By exploiting spatial and temporal redundancies
     across point clouds, our real-time compression
     method achieves up to 90× compression rate
     with high application accuracy.
     ‣Efficient point cloud compression will enable
     autonomous machines to be more connected
     with each other and with the cloud
     

     View Slide