AV1 Temps Réel

Luc Trudeau présente les possibilités d'AV1 dans un contexte temps réel, dans le cadre des soirées SMPTE Montréal.

Transcript

1. Le format AV1 dans le contexte de la diffusion en temps réel Luc Trudeau Cette présentation de Luc Trudeau est mis à disposition selon les termes de la licence Creative Commons Attribution 4.0 International.
2. La guerre des codecs
3. La guerre des codecs
4. La guerre des codecs
5. La guerre des codecs
6. La guerre des codecs
7. La guerre des codecs Mieux comprendre Point de vue critique Guider la prise de décisions Objectifs
8. Chercheur en compression vidéo Coauteur du format AV1 Auteur de brevets et d’articles scientifiques Chercheur pour Two Orioles Coconcepteur du décodeur dav1d Chasseur de prime en compression vidéo Luc Trudeau ( @trudluc, Luc Trudeau) trud.ca
9. Survol Alliance for Open Multimedia (AOM) AV1 trop lent pour le temps réel? Le grand secret de l’encodage vidéo temps réel Outils d’AV1 dans le contexte temps réel
11. Membres fondateurs
12. Membres fondateurs Membres promoteurs
13. Membres fondateurs Membres promoteurs Diffuseurs Internet
14. Diffuseurs Internet Déjà en production sur YouTube et Facebook Tests en cours chez Netflix mise en production Q4 2018 probablement pour HDR sur PC et consoles
15. Membres fondateurs Membres promoteurs Fabricants matériel
16. Fabricants matériel FPGA (2019) GPU, CPU (2020) Bientôt dans vos téléviseurs intelligents
17. Membres fondateurs Membres promoteurs Vidéo conférence
18. Vidéo conférence Travail en cours pour ajouter AV1 à WebRTC
19. Membres fondateurs Membres promoteurs Fabricants fureteurs
20. Fabricants fureteurs Déjà dans Chrome Version beta dans Microsoft Edge (via Windows Store) Sera activé par défaut dans Firefox en décembre
21. Membres fondateurs Membres promoteurs Diffusion
22. HEVC
23. HEVC
25. Prétraitement Encodage Décodage Post-traitement Source Destination QUIZ: Quelle est la portée d’un standard de compression vidéo?
26. Prétraitement Encodage Décodage Post-traitement Source Destination RÉPONSE: Quelle est la portée d’un standard vidéo ?
27. Prétraitement Encodage Décodage Post-traitement Source Destination RÉPONSE: Quelle est la portée d’un standard vidéo ? H.264/AVC, H.265/HEVC...
28. Prétraitement Encodage Décodage Post-traitement Source Destination H.264/AVC, H.265/HEVC...
29. Prédiction Inter Prédiction Intra Transformée Quantification Encodage Entropique Quantification (inverse) Transformée (inverse) Filtres de rehaussement 0101011... Décodeur
30. Alliance Video 1 (AV1) Amalgame de 3 formats vidéo : VP9/VP10 (Google), Daala (Mozilla) et Thor (Cisco)
31. Alliance Video 1 (AV1) Amalgame de 3 formats vidéo : VP9/VP10 (Google), Daala (Mozilla) et Thor (Cisco) libVPX (codec VP9 de Google) est utilisé comme point de départ
32. VP9 Format vidéo utilisé sur la plateforme YouTube Utilisé par Netflix pour les vidéos téléchargés sur la plateforme Android
33. AV1 Image File Format (AVIF) Sous ensemble d’AV1 destiné à la compression d’images Compatible avec les décodeurs matériels AV1 Gamme dynamique: standard et grande (SDR, HDR)
34. Plus de compression Selon le HEVC Video Codecs Comparison 2017 (Moscow State University)
35. Efficacité de compression AV1 obtient de meilleurs taux de compression en augmentant le nombre d’outils d’encodage et le nombre d’options
36. Efficacité de compression AV1 obtient de meilleurs taux de compression en augmentant le nombre d’outils d’encodage et le nombre d’options Chercher toutes les possibilités rend l’encodage très lent
37. trop lent pour le temps réel?
38. Plusieurs analyses indiquent qu’AV1 est lent Facebook
39. Trames par minutes Juillet 2016 à Octobre 2018
40. Trames par minutes Juillet 2016 à Octobre 2018 Analyse Facebook
41. L’encodeur de l’alliance est lent Encodeur destiné à la recherche En utilisant un sous-ensemble des outils l’encodeur va beaucoup plus vite
42. Le secret de la vitesse d’encodage Réduire le nombre d’outils que doit considérer l’encodeur accélère grandement la vitesse d’encodage
43. beaucoup plus rapides très petit sous-ensemble d’outils de codage Xilinx Les encodeurs construits sur des circuits logiques programmables (FPGA)
44. Les encodeurs construits sur des circuits logiques programmables (FPGA) Encodeur Logiciel (libaom) Encodeur Logiciel (version simplifié) Générateur Logiciel vers FPGA Encodeur FPGA
45. L’encodage sur processeur graphique (GPU) GPU = tâches massivement parallèles L’encodage vidéo n’est pas une tâche massivement parallèle
46. L’encodage sur processeur graphique (GPU) Le processeur graphique ne fait pas l’encodage Il héberge un encodeur matériel (parfois construit de circuits logiques programmables)
47. L’important c’est la vitesse de décodage
48. L’important c’est la vitesse de décodage Les outils de codage sont optionnels on détermine la vitesse d’un format vidéo par sa vitesse de décodage. La vitesse de décodage est le goulot d’étranglement
49. Vitesse de décodage des décodeurs de FFMPEG Décodage VP9 Similaire à H.264 Plus rapide que HEVC VP9 point de départ d’AV1
50. Est-ce que le décodage d’AV1 est lent? Dans le même ordre de grandeur que HEVC Certains outils sont plus rapides que leur équivalent VP9
51. Prédiction Inter Prédiction Intra Transformée Quantification Encodage Entropique Quantification (inverse) Transformée (inverse) Filtres de rehaussement 0101011... Décodeur
52. Encodeur arithmétique binaire (VP9) A 0/1 0/1 B 0/1 C D 0 1 0 1 0 1 Arbre de décision binaire Plus lent Lecture -> logique -> lecture… Moins efficace Plus simple
53. Encodeur arithmétique multi-symboles (AV1) Plus rapide (matériel) Lecture symbol Plus efficace Probabilités adaptatives (Par symbole, variable) A D B C Bits Probabilité 0 1 Probabilités: (2/3, 1/6, 1/12, 1/12)
54. Encodage temps réel, est-ce possible avec AV1? Oui, il suffit de réduire les outils de codage utilisés
55. Un encodage temps réel est possible avec AV1? Oui, il suffit de réduire les outils de codage utilisés Mais, si on réduit le nombre d’outils de codage, AV1 ne sera pas meilleur que HEVC
56. Un encodage temps réel est possible avec AV1? Oui, il suffit de réduire les outils de codage utilisés Mais, si on réduit le nombre d’outils de codage, AV1 ne sera pas meilleur que HEVC NON
57. Étude de cas : Coupe du monde 2018 UHD HDR Open broadcast Systems et Parabola Research ont fait une analyse du flux HEVC UHD HDR (10 bits) 35 mbit/s
58. Étude de cas : Coupe du monde 2018 UHD HDR (taille des blocs)
59. Étude de cas : Coupe du monde 2018 UHD HDR (taille des blocs) HEVC offre plusieurs tailles de blocs 64x64 32x32 16x16 8x8 HEVC (récursif) (récursif) (récursif)
60. Étude de cas : Coupe du monde 2018 UHD HDR (taille des blocs) Tailles de blocs utilisées par les encodeurs de la BBC 72.7% 27.3% 64x64 32x32 16x16 8x8 HEVC (récursif) (récursif) (récursif)
61. Étude de cas : Coupe du monde 2018 UHD HDR (taille des blocs) 64x64 32x32 16x16 8x8 HEVC (récursif) (récursif ) (récursif ) 72.7% 27.3%
62. Étude de cas : Coupe du monde 2018 UHD HDR (transformées) 4x4 32x32 16x16 8x8 HEVC Intra Inter
63. Étude de cas : Coupe du monde 2018 UHD HDR (transformées) 4x4 32x32 16x16 8x8 HEVC Intra Inter X X X X X
64. Étude de cas : Coupe du monde 2018 UHD HDR (Filtres de rehaussements) Filtres de rehaussements (SAO): Désactivé
65. Étude de cas : Coupe du monde 2018 UHD HDR Les encodeurs temps réel n’utilisent qu’une petite partie des outils disponibles dans HEVC
66. Temps réel Quel serait le sous ensemble d’outils pour AV1?
67. Décomposition en blocs
68. Décomposition en blocs 128x128 64x64 32x32 16x16 8x8 (récursif) (récursif) (récursif) (récursif) 64x64 32x32 16x16 8x8 HEVC (récursif) (récursif) (récursif)
69. Décomposition en blocs 128x128 64x64 32x32 16x16 8x8 (récursif) (récursif) (récursif) (récursif) (récursif) (récursif) (récursif) HEVC 64x64 16x16 8x8 32x32
70. Prédiction Inter Prédiction Intra Transformée Quantification Encodage Entropique Quantification (inverse) Transformée (inverse) Filtres de rehaussement 0101011... Décodeur
71. Taille des transformées iDCT 4 points iDST 4 points iDST 8 points
72. Taille des transformées 32x32 16x16 64x64 8x8 4x4
73. Taille des transformées 32x32 16x16 Limité aux 32x32 premiers coefficients 64x64 8x8 4x4
74. Taille des transformées 32x32 16x16 64x64 8x8 4x4 4x4 32x32 16x16 8x8 HEVC
75. Types des transformées DCT ADST FlipADST Identité (pas de transformée) Peuvent être combinées pour produire 16 transformées 2D
76. Types des transformées DCT ADST FlipADST Identité (pas de transformée) Peuvent être combinées pour produire 16 transformées 2D
77. Prédiction Inter Prédiction Intra Transformée Quantification Encodage Entropique Quantification (inverse) Transformée (inverse) Filtres de rehaussement 0101011... Décodeur
78. Prédiction Intra
79. Prédiction Intra
80. Prédiction Intra Futur Futur
81. Prédiction Intra Futur Futur Passé
82. Prédiction Intra Futur Futur Passé
83. Prédiction Intra Futur Futur Passé
84. Prédiction Intra Futur Futur Passé
85. Prédiction Intra Futur Futur Passé
86. Prédiction Chromatique basée sur la luminance α Cb -α Cb α cr -α cr
87. Prédiction Chromatique basée sur la luminance α Cb -α Cb α cr -α cr
88. Prédiction Intra 33 Directions DC Planar HEVC 8 Directions (delta 56) DC Paeth Smooth CfL
89. Prédiction Intra 33 Directions DC Planar HEVC 8 Directions (delta 56) DC Paeth Smooth CfL
90. Prédiction Inter Prédiction Intra Transformée Quantification Encodage Entropique Quantification (inverse) Transformée (inverse) Filtres de rehaussement 0101011... Décodeur
91. 7 trames de références
92. Prédiction simple
93. Prédiction simple
94. Prédiction composée
95. Prédiction composée 50% 50%
96. Prédiction composée par morceaux
97. Prédiction composée inter-intra
98. Prédiction composée inter-intra
99. Prédiction composée inter-intra
100. Prédiction Inter temps réel Plusieurs trames de références (moins que 7) Prédiction composée 50/50 (Pas utilisé dans l’étude Parabola) En morceaux (recherche trop lente) Inter-Intra (candidat intra déjà disponible)
101. Prédiction Inter temps réel Plusieurs trames de références (moins que 7) Prédiction simple Prédiction composée 50/50 (Pas utilisé dans l’étude Parabola) En morceaux (recherche trop lente) Inter-Intra (candidat intra déjà disponible)
102. Prédiction Inter Prédiction Intra Transformée Quantification Encodage Entropique Quantification (inverse) Transformée (inverse) Filtres de rehaussement 0101011... Décodeur
103. Filtres dans le chaîne d’encodage Effets de blocs
104. Filtres dans le chaîne d’encodage Filtre débloqueur Bloc #1 Bloc #2
105. Filtres dans le chaîne d’encodage Filtre débloqueur Bloc #1 Bloc #2
106. Filtres dans le chaîne d’encodage Le tintement (ringing)
107. Filtres dans le chaîne d’encodage Filtre de détintement (dering) CDEF
108. Filtres dans le chaîne d’encodage Filtre débloqueur Filtre de détintement (dering) CDEF Filtre de restoration
109. Filtres dans le chaîne d’encodage Filtre débloqueur Filtre de détintement (dering) CDEF Filtre de restoration
110. Encodage temps réel est-ce possible avec AV1?
111. Encodage temps réel, est-ce possible avec AV1? Oui, avec un sous-ensemble d’outils de codage
112. Encodage temps réel, est-ce possible avec AV1? Oui, avec un sous-ensemble d’outils de codage Mais, si on réduit le nombre d’outils de codage AV1 n’est pas meilleur que HEVC
113. Encodage temps réel, est-ce possible avec AV1? Oui, avec un sous-ensemble d’outils de codage Mais, si on réduit le nombre d’outils de codage AV1 n’est pas meilleur que HEVC Non, car les encodeurs temps réel n’utilisent qu’une petite partie des outils disponibles dans HEVC
114. Conclusion offre un meilleur sous-ensemble d’outils pour les encodeurs temps réel