WebRTC больше 10 лет, что изменилось и
зачем об этом говорить?
Изоляция бустит технологию
RTC и WebRTC активно
развиваются
• WebRTC теперь IETF стандарт 🎉
• Появляются новые API
Хочется чтобы все понимали как
это работает
Slide 5
Slide 5 text
Пересылаем
видео, аудио, файлики,
скриншару
Challenge
В условиях
Лагающего интернета
Злых админов,
настроивших
fi
rewall
Между
Большим количеством
участников
С разными
приоритетами
🧟🧟🧟
Slide 6
Slide 6 text
No content
Slide 7
Slide 7 text
Транспорт: медленно и
надежно или быстро и
опасно?
• Следит за состоянием
• Гарантирует правильный
порядок доставки
• Ничего не теряет
• Ограничивает количество
пакетов
• Огромный header (до 60 байт)
Просто посылает пакеты по адресу :)
Slide 8
Slide 8 text
WebRTC
peer-to-peer over UDP
Slide 9
Slide 9 text
Простой случай: 2 участника
new RTCPeerConnection(…)
new RTCPeerConnection(…)
🦄
Slide 10
Slide 10 text
Простой случай: 2 участника
new RTCPeerConnection(…)
new RTCPeerConnection(…)
Slide 11
Slide 11 text
Простой случай: 2 участника
new RTCPeerConnection(…)
new RTCPeerConnection(…)
Slide 12
Slide 12 text
new RTCPeerConnection(…)
new RTCPeerConnection(…)
Slide 13
Slide 13 text
new RTCPeerConnection(…)
new RTCPeerConnection(…)
Slide 14
Slide 14 text
new RTCPeerConnection(…)
new RTCPeerConnection(…)
Slide 15
Slide 15 text
ICE Agent:
1. Собирает кандидатов.
2. Для каждой пары
кандидатов поверяет
возможность соединения.
trickle ICE: Постепенно
собирает кандидатов.
Сигналим о том кого нашли.
Slide 16
Slide 16 text
No content
Slide 17
Slide 17 text
Media: SRTP + SRTCP
Data: SCTP
Шифрование
Работает поверх UDP→быстрее
Можно терять пакеты, если
нужно
Не гарантирует порядок
Bundling
DTLS: TLS для UDP
Slide 18
Slide 18 text
Итого:
Нам нужно придумать signaling
Нам нужен STUN и TURN
DTLS, SCTP, SRTP, ICE gathering
сделает за нас browser
Slide 19
Slide 19 text
Optimal encoding: latency vs quality
Slide 20
Slide 20 text
20
Slide 21
Slide 21 text
Compression: intra & inter
Slide 22
Slide 22 text
Intraframe compression (AV1)
Slide 23
Slide 23 text
Какие кодеки поддерживает ваш браузер?
Slide 24
Slide 24 text
No content
Slide 25
Slide 25 text
Simulcast – несколько
потоков разного
качества
Slide 26
Slide 26 text
26
SVC: как Simulcast, только лучше
Slide 27
Slide 27 text
27
SVC
Slide 28
Slide 28 text
28
Экзотические кодеки и всякий ML
Lyra
Satin
Slide 29
Slide 29 text
Несколько участников
Slide 30
Slide 30 text
Fully connected
Slide 31
Slide 31 text
MCU – Multipoint Control Unit
Slide 32
Slide 32 text
SFU – Selective Forwarding Unit
Slide 33
Slide 33 text
То же самое + 1000 зрителей
Slide 34
Slide 34 text
На клиенте
Slide 35
Slide 35 text
Меняется layout
Slide 36
Slide 36 text
Добавляем скрытого участника
Slide 37
Slide 37 text
То же самое + 1000 зрителей …и франкенштейн!
Slide 38
Slide 38 text
Создаем
Slide 39
Slide 39 text
Готовые решения
Slide 40
Slide 40 text
А что там под капотом?
libwebrtc
libyuv
libopus
libvpx…
libwebrtc
libyuv
libopus
libvpx…
libyuv
libopus
libvpx…
webrtc-rs
Slide 41
Slide 41 text
Отладка
Slide 42
Slide 42 text
Отладка костылем
Slide 43
Slide 43 text
chrome://webrtc-internals
Slide 44
Slide 44 text
about:webrtc (Firefox)
Slide 45
Slide 45 text
Чего-то не хватает….
Slide 46
Slide 46 text
No content
Slide 47
Slide 47 text
WebCodecs
const decoder = new VideoDecoder({
output: (frame) => {/* do something */},
error: console.log
});
await videoDecoder.configure({codec: 'vp8'});
decoder.decode(chunk);
Если вам не нравится
браузерная реализация, вы
всегда можете использовать
свою ;)
Slide 51
Slide 51 text
Примеры:
Slide 52
Slide 52 text
Фронтенду на заметку
Не забывайте обрабатывать случай
отсутствия разрешений для
getUserMedia / getDisplayMedia
Камер и микрофонов может быть
несколько. Выбор камер требует
разрешения
Придется писать очень много
асинхронной логики.
Нужно использовать https даже
локально
await navigator.mediaDevices.enumerateDevices()
https://github.com/jfromaniello/selfsigned/pull/43