Алексей Акулович (ВКонтакте), Сквозь тернии к своей платформе live трансляций, CodeFest 2017

https://2017.codefest.ru/lecture/1151

В докладе расскажу про:
● что вообще за "платформа live трансляций";
● какие были требования к ней;
● какие доступные решения рассматривали (речь зайдет о Wowza, Flussonic/Erlyvideo, Nimble Streamer и даже nginx с плагинами), а какие и почему даже не стали;
● какие пробовали запускать в продакшен: плюсы, и как обходили минусы;
● что было выбрано, и как оно работает сейчас;
● какие есть планы по технической части.

Transcript

1. Сквозь тернии к своей платформе live трансляций Алексей Акулович Backend разработчик ВКонтакте 2017.03.31#11
2. Мультимедиа backend: Чем я вообще занимаюсь? Видео Пуши Фотографии Истории Аудио Голосовые сообщения Документы Live трансляции
3. План История и требования Какие решения пробовали, плюсы и минусы Архитектура сейчас
4. live трансляции Один стримит Много (очень много) смотрят Маленькие задержки
5. Предыстория Стороннее решение Встраиваемый плеер Единичные трансляции Большая задержка
6. Задержка сигнала Захват Кодирование Передача Декодирование Отображение Пост на тему https://habrahabr.ru/post/265675/
7. Протокол передачи Минимальные задержки RTMP RTSP Ощутимые задержки HLS DASH
8. Варианты использования Контроль Задержка Обработка Наши приложения ЕСТЬ МИНИМАЛЬНАЯ НЕ НУЖНА Сторонний софт НЕТ НЕ ИЗВЕСТНО НУЖНА
9. Протокол передачи Без обработки RTMP С обработкой / fallback HLS
10. План История и требования Какие решения пробовали, плюсы и минусы Архитектура сейчас
11. Медиа-серверы Red5 Erlyvideo/Flussonic Wowza nginx rtmp module *
12. Red5 Субъективно “как Wowza, только хуже” Не лучшие отзывы от тех, кто пробовал ранее Не стали тестить. Вот такие мы ненаучные :)
13. Erlyvideo/Flussonic Отечественная команда Не заинтересовались сотрудничеством Не стали рисковать
14. Wowza Очень популярная Использовалась в дружественном проекте Взяли на тесты
15. Задержка в HLS через Wowza
16. Wowza плюсы Много всего умеет
17. Wowza минусы “Форум-ориентированное” конфигурирование
18. Wowza минусы “Форум-ориентированное” конфигурирование Ехал XML через XML
19. Wowza минусы “Форум-ориентированное” конфигурирование Ехал XML через XML Для callback нужно писать модуль на Java
20. Wowza совсем минусы Уже на тестах свопила машину (16G RAM + 4G SWAP)
21. Wowza совсем минусы Уже на тестах свопила машину (16G RAM + 4G SWAP) Иногда битые записи при реконнектах стримеров
22. Nimble Streamer
23. Nimble Streamer Отечественная команда Заинтересовались сотрудничеством Нужные нам фичи уже были в их планах Была своя клиентская либа для iphone/android Сервер написан на C++
24. Nimble Streamer Бинарник самого сервера (бесплатно) so’шка транскодера (платно) Внешняя панель для управления и API (платно)
25. Nimble Streamer - панель управления
26. Nimble Streamer - панель управления
27. Nimble Streamer плюсы Интерфейс панели Потребление ресурсов cpu/mem API для настройки и получения состояния Панель+транскодер стоят ощутимо дешевле Wowza
28. Nimble Streamer минусы Первоначально очень сырой Задача Баг ТП Обно- вление
29. $ curl https://site.com/playlist.m3u8 #EXTM3U https://site.com/chunks.m3u8 $ curl https://site.com/chunks.m3u8 #EXTM3U chunk0.ts chunk1.ts <...> $ curl https://site.com/chunk0.ts <...> Nimble Streamer минусы - m3u8
30. $ curl https://site.com/playlist.m3u8 #EXTM3U http://site.com/chunks.m3u8 nginx conf: sub_filter 'http://site.com' 'https://site.com; sub_filter_once on; sub_filter_types 'application/vnd.apple.mpegurl'; Nimble Streamer минусы - m3u8
31. Nimble Streamer минусы - API Запросы к стороннему домену API
32. Nimble Streamer минусы - API Запросы к стороннему домену API Доступ по whitelist с отдельными IP (без подсетей)
33. Nimble Streamer минусы - API Запросы к стороннему домену API Доступ по whitelist с отдельными IP (без подсетей) Nimble синхронизируется с API время от времени
34. Nimble Streamer минусы - API Запросы к стороннему домену API Доступ по whitelist с отдельными IP (без подсетей) Nimble синхронизируется с API время от времени Docker + nginx tcp proxy + hosts
35. Nimble Streamer минусы - API Запросы к стороннему домену API Доступ по whitelist с отдельными IP (без подсетей) Nimble синхронизируется с API время от времени Docker + nginx tcp proxy + hosts Настраивается не всё
36. Nimble Streamer минусы - ABR
37. Nimble Streamer минусы - ABR
38. Nimble Streamer минусы - DVR Хранение записанных трансляций на диске У каждого стримера своя папка на все его стримы Удалить можно только целой папкой Но есть лимиты по времени и по месту
39. План История и требования Какие решения пробовали, плюсы и минусы Архитектура сейчас
40. Архитектура рабочий стример зритель RTMP RTMP HLS
41. Архитектура - входящий стрим входящий стример рабочий RTMP RTMP зритель RTMP HLS
42. Архитектура - входящий стрим Внутренности nginx rtmp стример рабочий RTMP RTMP https://github.com/arut/nginx-rtmp-module
43. Архитектура - входящий стрим rtmp { application myapp { live on; on_publish http://localhost:8080/remote_redirect ; notify_method get; } } http { location /remote_redirect { rewrite ^.*$ rtmp://1.2.3.4/app/$arg_name? permanent; } } https://github.com/arut/nginx-rtmp-module/wiki/Directives#on_play
44. Архитектура - входящий стрим Внутренности nginx rtmp nginx rtmp стример RTMP https://github.com/arut/nginx-rtmp-module
45. Архитектура - раздача Внутренности раздающий рабочий зритель RTMP HLS RTMP HLS
46. Архитектура - раздача Внутренности nginx зритель RTMP HLS
47. Архитектура - раздача Внутренности nginx зритель RTMP HLS
48. Архитектура - раздача рабочий рабочий раздающий раздающий раздающий раздающий Внутренности зритель зритель зритель зритель
49. Архитектура - раздача рабочий рабочий раздающий раздающий раздающий раздающий раздающий раздающий раздающий зритель Внутренности зритель зритель зритель
50. Архитектура - раздача рабочий рабочий раздающий раздающий раздающий раздающий раздающий раздающий раздающий зритель Внутренности зритель зритель зритель
51. Архитектура - раздача раздающий демон раздающий демон раздающий демон
52. Архитектура - раздача $ curl -v https://site.com/stream_name < HTTP/1.1 302 Moved Temporarily < Location: rtmp://site.com/stream_name $ curl -v https://site1.com/stream_name < HTTP/1.1 302 Moved Temporarily < Location: https://site2.com/stream_name
53. Архитектура - раздача рабочий рабочий раздающий раздающий раздающий раздающий раздающий раздающий раздающий раздающий раздающий раздающий раздающий зритель Внутренности
54. Архитектура входящий входящий рабочий рабочий раздающий раздающий раздающий раздающий раздающий раздающий раздающий раздающий раздающий раздающий раздающий стример зритель Внутренности
55. Что было Dota2 The International в августе 2016 — 24к Dota2 The Boston Major в декабре 2016 — 26к Футбольные матчи — 34к
56. Что есть iPhone — 3-4кк просмотров в день iPhone + Android — 5-7кк в день (пик 11кк) 200к новых стримов в день (пик 330к) Нагрузку вообще не замечаем :)
57. Что есть Хранятся записи всех лайвов Есть “бесконечные” стримы
58. Что хочется
59. Вопросы? vk.com/ac conf@ater.me Алексей Акулович Backend разработчик ВКонтакте