Les technologies actuelles et futures de l'OTT

Présentée au SMPTE BootCamp 2018 à Montréal. Cette présentation commence avec l'état de l'art de l'OTT et, par la suite, présente des sujets émergeants: LHLS (live), les encodages micro-optimisés et les nouveautés d'AV1 destinées à l'OTT.

Transcript

1. Les technologies actuelles et futures de l'OTT Luc Trudeau @trudluc SMPTE BootCamp 2018 Cette œuvre est mise à disposition selon les termes de la Licence Creative Commons Attribution 4.0 International.
2. ... L’état de l’art de l’OTT Qu’est-ce qu’un segment Adaptation dynamique aux conditions Caches HTTP Protocoles de Streaming ... Le futur de l’OTT LHLS (live) Les encodages micro-optimisés (I.A.) Nouveautés d’AV1 destinées à l’OTT Liste de Segments Questions
3. Over The Top: N’adapte pas le web à la vidéo, adapte la vidéo au web
4. Topologie de l’OTT
5. Liste de Segments Segment 1 Début = 0s http://.... Segment 2 Début = 10s http://.... ... “Streaming” Adaptatif sur HTTP HTTP
6. Imitation d’uNE Diffusion via de courts téléchargements Liste de Segments Segment 1 Début = 0s http://.... Segment 2 Début = 10s http://.... ... HTTP HTTP
7. Imitation d’uNE Diffusion via de courts téléchargements Liste de Segments Segment 1 Début = 0s http://.... Segment 2 Début = 10s http://.... ... HTTP HTTP HTTP
8. Qu’est-ce qu’un segment ?
9. Trame i Qu’est-ce qu’un segment ?
10. Trame i Qu’est-ce qu’un segment ? Encodée comme un jpeg
11. Trame i Trame p Trame p Prédites à partir d’images précédentes Qu’est-ce qu’un segment ?
12. Trame i Trame p Trame p Trames b Trames b Prédictions bidirectionnelles Qu’est-ce qu’un segment ?
13. Durée: de 1 seconde à 3 minutes Qu’est-ce qu’un segment ?
14. Apple recommande 6 secondes Qu’est-ce qu’un segment ?
15. La majorité des bits vont à la trame Trame i Trame p Trame p Trames b Trames b Bits
16. Plusieurs encodages d’un même segment 416x234 145 kb/s 640x360 365 kb/s 768x432 730 kb/s 768x432 1100 kb/s 960x540 2000 kb/s
17. Adaptation dynamique aux conditions 416x234 145 kb/s 640x360 365 kb/s 768x432 730 kb/s 768x432 1100 kb/s 960x540 2000 kb/s
18. 416x234 145 kb/s 640x360 365 kb/s 768x432 730 kb/s 768x432 1100 kb/s 960x540 2000 kb/s Adaptation dynamique aux conditions
19. 416x234 145 kb/s 640x360 365 kb/s 768x432 730 kb/s 768x432 1100 kb/s 960x540 2000 kb/s Adaptation dynamique aux conditions
20. 416x234 145 kb/s 640x360 365 kb/s 768x432 730 kb/s 768x432 1100 kb/s 960x540 2000 kb/s Adaptation dynamique aux conditions
21. 416x234 145 kb/s 640x360 365 kb/s 768x432 730 kb/s 768x432 1100 kb/s 960x540 2000 kb/s Adaptation dynamique aux conditions
22. 416x234 145 kb/s 640x360 365 kb/s 768x432 730 kb/s 768x432 1100 kb/s 960x540 2000 kb/s Adaptation dynamique aux conditions
23. 416x234 145 kb/s 640x360 365 kb/s 768x432 730 kb/s 768x432 1100 kb/s 960x540 2000 kb/s Adaptation dynamique aux conditions
24. 416x234 145 kb/s 640x360 365 kb/s 768x432 730 kb/s 768x432 1100 kb/s 960x540 2000 kb/s Adaptation dynamique aux conditions
25. 416x234 145 kb/s 640x360 365 kb/s 768x432 730 kb/s 768x432 1100 kb/s 960x540 2000 kb/s Adaptation dynamique aux conditions
26. 416x234 145 kb/s 640x360 365 kb/s 768x432 730 kb/s 768x432 1100 kb/s 960x540 2000 kb/s Adaptation dynamique aux conditions
27. 416x234 145 kb/s 640x360 365 kb/s 768x432 730 kb/s 768x432 1100 kb/s 960x540 2000 kb/s Adaptation dynamique aux conditions
28. 416x234 145 kb/s 640x360 365 kb/s 768x432 730 kb/s 768x432 1100 kb/s 960x540 2000 kb/s Adaptation dynamique aux conditions
29. 416x234 145 kb/s 640x360 365 kb/s 768x432 730 kb/s 768x432 1100 kb/s 960x540 2000 kb/s Adaptation dynamique aux conditions
30. 416x234 145 kb/s 640x360 365 kb/s 768x432 730 kb/s 768x432 1100 kb/s 960x540 2000 kb/s Adaptation dynamique aux conditions
31. Requiert uniquement un serveur HTTP Serveur HTTP Liste de Segments Segment 1 Segment 2 ... Client Lecteur Média Décodeur De Listes Approximateur de vitesse Client HTTP Décodeurs Média Requête Réponse
32. Serveur Origine Cache Caches HTTP
33. Serveur Origine Cache Caches HTTP Requête
34. Serveur Origine Cache Caches HTTP Requête
35. Serveur Origine Cache Caches HTTP Requête Requête
36. Serveur Origine Cache Caches HTTP Requête Réponse Requête
37. Serveur Origine Cache Caches HTTP Requête Réponse Requête
38. Serveur Origine Cache Caches HTTP Réponse Requête Réponse Requête
39. Serveur Origine Cache Caches HTTP
40. Serveur Origine Cache Caches HTTP Requête
41. Serveur Origine Cache Caches HTTP Réponse Requête
42. Propagation dynamique des segments Serveur Origine Cache Cache Cache Cache Cache Cache Cache Cache Cache Cache
43. Protocoles de Streaming HLS MPEG-DASH Part Marché 74% 22% Liste de segments M3U8 XML Conteneurs CMAF / MP4 (fragmenté) MPEG-2 TS ... Selon le Global Media Format Report 2018 (encoding.com) https://1yy04i3k9fyt3vqjsf2mv610yvm-wpengine.netdna-ssl.com/files/2018-Global-Media-Formats-Report.pdf
44. L’encapsulation d’un segment (CMAF/ fMP4) moof mdat mfhd trun info Idx F1 Idx F2 ... ... Segment
45. L’encapsulation d’un segment (MPEG-2 TS) 0101000101101100101110110111011100001 … 0011101100011000110101001 0101000 … 0011 010011 … 00110 010011 … 00110 010011 … 00110 Bits du segment Encapsulation en paquets de 188 octets (MPEG-2 TS)
46. Résolutions Selon le Global Media Format Report 2018 (encoding.com) https://1yy04i3k9fyt3vqjsf2mv610yvm-wpengine.netdna-ssl.com/files/2018-Global-Media-Formats-Report.pdf
47. Formats Vidéos Selon le Global Media Format Report 2018 (encoding.com) https://1yy04i3k9fyt3vqjsf2mv610yvm-wpengine.netdna-ssl.com/files/2018-Global-Media-Formats-Report.pdf
48. Efficacité de compression Plus de compression Selon le HEVC Video Codecs Comparison 2017 (Moscow State University) http://www.compression.ru/video/codec_comparison/hevc_2017/
49. ... L’état de l’art de l’OTT Qu’est-ce qu’un segment Adaptation dynamique aux conditions Caches HTTP Protocoles de Streaming ... Le futur de l’OTT LHLS (live) Les encodages micro-optimisés (I.A.) Nouveautés d’AV1 destinées à l’OTT Liste de Segments Questions
50. Raccourcir les segments augmente les trames Bits Bits Segments de 3 secondes Segments de 1 seconde
51. Liste de Segments Segment 1 Début = 0s http://.... Segment 2 Début = 10s http://.... Ajouter des Segments du futur à la liste Segment 3 (futur) Début = 10s http://.... Segment 4 (futur) Début = 10s http://.... Présent
52. Serveur LHLS Requête Segment 1 Réponse Chunked Chunked Transfer Coding
53. Serveur LHLS Requête Segment 1 Réponse Chunked Chunked Transfer Coding
54. Serveur LHLS Requête Segment 1 Réponse Chunked 0101000... La trame i requiert 2 paquets MPEG-2 TS 010011 ... Chunked Transfer Coding
55. Serveur LHLS Requête Segment 1 La trame i requiert 2 paquets MPEG-2 TS 0101000... 010011 ... Réponse Chunked 0101000... 010011 ... Chunked Transfer Coding
56. Serveur LHLS Requête Segment 1 0101000... 010011 ... Réponse Chunked 0101000... 010011 ... Trame 1 Chunked Transfer Coding
57. Serveur LHLS Requête Segment 1 0101000... 010011 ... Réponse Chunked 0101000... 010011 ... Trame 1 Chunked Transfer Coding
58. Serveur LHLS Requête Segment 1 0101000... 010011 ... Réponse Chunked 0101000... 010011 ... Les trames b,b,p requierent 1 paquet MPEG-2 TS 010011 … Trame 1 Chunked Transfer Coding
59. Serveur LHLS Requête Segment 1 0101000... 010011 ... Réponse Chunked 0101000... 010011 ... 010011 … 010011 … Trame 1 Chunked Transfer Coding
60. Serveur LHLS Requête Segment 1 0101000... 010011 ... Réponse Chunked 0101000... 010011 ... 010011 … 010011 … Trame 2 Chunked Transfer Coding
61. Serveur LHLS Requête Segment 1 0101000... 010011 ... Réponse Chunked 0101000... 010011 ... 010011 … 010011 … Trame 3 Chunked Transfer Coding
62. Serveur LHLS Requête Segment 1 0101000... 010011 ... Réponse Chunked 0101000... 010011 ... Les trames b,b,p requierent 1 paquet MPEG-2 TS 010011 … 010011 … Trame 4 010011 … Chunked Transfer Coding
63. LHLS et les caches HTTP Serveur LHLS Cache 0101000... 010011 ... 010011 … 010011 … 0101000... 010011 ... 010011 … 010011 … Réponse Chunked 0101000... 010011 ... 010011 … 010011 … Réponse Chunked 0101000... 010011 ... 010011 … 010011 …
64. Cache 0101000... 010011 ... 010011 … 010011 … Segment 1 Serveur LHLS 0101000... 010011 ... 010011 … 010011 … Segment 1 LHLS et les caches HTTP
65. Cache Requête Segment 1 0101000... 010011 ... 010011 … 010011 … Segment 1 Serveur LHLS 0101000... 010011 ... 010011 … 010011 … Segment 1 LHLS et les caches HTTP
66. Cache Requête Segment 1 Réponse Segment 1 Serveur LHLS 0101000... 010011 ... 010011 … 010011 … Segment 1 0101000... 010011 ... 010011 … 010011 … Segment 1 LHLS et les caches HTTP
67. L’état de l’art de l’OTT Qu’est-ce qu’un segment Adaptation dynamique aux conditions Caches HTTP Protocoles de Streaming ... Le futur de l’OTT LHLS (live) Les encodages micro-optimisés (I.A.) Nouveautés d’AV1 destinées à l’OTT Liste de Segments Questions
68. Les segments sont trop courts pour utiliser des algorithmes de contrôle du débit
69. Alors, on encode a qualité constante
70. On doit atteindre les contraintes de débit 416x234 145 kb/s 640x360 365 kb/s 768x432 730 kb/s 768x432 1100 kb/s 960x540 2000 kb/s Source: AreWeCompressedYet? https://arewecompressedyet.com/
71. Pas de “one size fits all” en vidéo 416x234 145 kb/s 640x360 365 kb/s 768x432 730 kb/s 768x432 1100 kb/s 960x540 2000 kb/s Source: AreWeCompressedYet? https://arewecompressedyet.com/ Débits (bits) Qualité visuelle
72. Chaque titre est encodé avec des paramètres différents Source: AreWeCompressedYet? https://arewecompressedyet.com/ Qualité visuelle Débits (bits)
73. Encodage optimisé par scène / par prise de vue (shot) Les segments d’une séquence peuvent varier considérablement
74. Encodage optimisé par scène / par prise de vue (shot) Chaque segment est encodé avec des paramètres différents
75. Un changement de scène à l’intérieur d’un segment va créer une seconde trame
76. Segment 1 Encodage optimisé par scène / par prise de vue (shot) Segment 2
77. Segment 1 Segment 2 Segment 3 Segment 4 Segment 5 Scène 1 Scène 2 3 4 5 6 7 Scène 8 Scène 9 Encodage optimisé par scène / par prise de vue (shot)
78. Comment Choisir les paramètres 480p Débits (bits) Qualité visuelle
79. Débits (bits) Qualité visuelle Comment Choisir les paramètres 480p 720p
80. Débits (bits) Qualité visuelle 480p redimensionné à 720p va offrir une meilleure qualité visuelle pour moins de bits Comment Choisir les paramètres 480p 720p
81. 1080p 720p redimensionné à 480p va offrir la même qualité visuelle pour moins de bits Débits (bits) Qualité visuelle Comment Choisir les paramètres 480p 720p
82. 1080p 720p redimensionné à 1080p va offrir une meilleure qualité visuelle pour moins de bits Débits (bits) Qualité visuelle Comment Choisir les paramètres 480p 720p
83. 1080p Qualité visuelle Débits (bits) 480p 720p Enveloppe convexe
84. 1080p 720p Qualité visuelle Débits (bits) Enveloppe convexe 480p
85. 480p 720p 1080p Optimisateur Dynamique ... https://medium.com/netflix-techblog/dynamic-optimizer-a-perceptual-video-encoding-optimization-f ramework-e19f1e3a277f Qualité visuelle Débits (bits)
86. ... ... ... ... https://medium.com/netflix-techblog/dynamic-optimizer-a-perceptual-video-encoding-optimization-f ramework-e19f1e3a277f Optimisateur Dynamique
87. ... ... ... ... https://medium.com/netflix-techblog/dynamic-optimizer-a-perceptual-video-encoding-optimization-f ramework-e19f1e3a277f Optimisateur Dynamique
88. ... ... ... ... https://medium.com/netflix-techblog/dynamic-optimizer-a-perceptual-video-encoding-optimization-f ramework-e19f1e3a277f Optimisateur Dynamique
89. ... ... ... ... https://medium.com/netflix-techblog/dynamic-optimizer-a-perceptual-video-encoding-optimization-f ramework-e19f1e3a277f Optimisateur Dynamique
90. ... ... ... ... https://medium.com/netflix-techblog/dynamic-optimizer-a-perceptual-video-encoding-optimization-f ramework-e19f1e3a277f Maximiser la qualité pour un débit de x kb/s Optimisateur Dynamique
91. ... ... ... ... https://medium.com/netflix-techblog/dynamic-optimizer-a-perceptual-video-encoding-optimization-f ramework-e19f1e3a277f Minimiser le débit pour une qualité x Optimisateur Dynamique
92. L’état de l’art de l’OTT Qu’est-ce qu’un segment Adaptation dynamique aux conditions Caches HTTP Protocoles de Streaming ... Le futur de l’OTT LHLS (live) Les encodages micro-optimisés (I.A.) Nouveautés d’AV1 destinées à l’OTT Liste de Segments Questions
93. Super Resolution Décodeur Trame 1080p 01101100001... Trame compressée 480p Encodeur Décodeur 480p
94. Décodeur Trame 1080p 01101100001... Trame compressée 480p Rehausseur 720p Encodeur Décodeur 480p 1080p Super Resolution
95. Décodeur Trame 1080p 01101100001... Trame compressée 480p Rehausseur 720p Encodeur Décodeur Rehausseur 480p Paramètres de rehaussement 1080p Super Resolution
96. Décodeur Trame 1080p 01101100001... Trame compressée 480p Rehausseur 720p Encodeur Décodeur Rehausseur 480p Paramètres de rehaussement 1080p Super Resolution N’adapte pas le web à la vidéo, adapte la vidéo au web
97. L’état de l’art de l’OTT Qu’est-ce qu’un segment Adaptation dynamique aux conditions Caches HTTP Protocoles de Streaming ... Le futur de l’OTT LHLS (live) Les encodages micro-optimisés (I.A.) Nouveautés d’AV1 destinées à l’OTT Liste de Segments Questions