TPAC 2023 のトピック厳選紹介 tetter WebRTC Meetup Tokyo #25 SEP, 22, 2023

自己紹介 2 NAME: - tetter (Tetta Maeda) FEATURES: - WebRTC Meetup 運営 - AI / ML on Browser を試すのが好き @tttr_mt tetter27 2017 2018 2022 前職 (通信事業会社) Android 〃 EdgeAI NTTコミュニケーションズ株式会社 WebRTC CARRIER:

背景 3 - TPAC 2023 へオブザーバとして参加 - 期間: 2023年9月11〜15日 (5日間) - 場所: スペイン セビリア 󰎼

注意事項 4 - つい先週の内容なので掘り下げが十分ではない可能性があります - 速報レベルとして捉えてください - 内容盛りだくさんなので一部しか紹介できません - 詳細は別媒体でも逐次報告していきます

TPAC とは 5 - W3C が Web ブラウザの標準化を行うために年一回開催される総会 (*) ブラウザ API 等の 仕様を決める プロトコル等の 仕様を決める (*) HTML の仕様を決める WHATWG も参加している

ざっくりとしたスケジュール 6 - 9月11, 12, 14, 15日: 各 WG/IG/CG の Session - 9月13日: Breakout Session 例) 9月11日のセッションスケジュール

参加したセッション 7 - WG Session - Media WG - Web Real-Time Communications WG - WebTransport WG - Joint Session - Web Real-Time Communications WG & Screen Capture CG - Media WG & Web Real Time Communications WG - Breakout Session - WebRTC use cases and requirements under high-demanding real-time communication scenarios - WebCodecs Serialization Format

本日取り上げる範囲 8 - WG Session - Media WG - Web Real-Time Communications WG - WebTransport WG - Joint Session - Web Real-Time Communications WG & Screen Capture CG - Media WG & Web Real Time Communications WG - Breakout Session - WebRTC use cases and requirements under high-demanding real-time communication scenarios - WebCodecs Serialization Format

1. Media WG 9 - WebCodecs - MSE v2 - Media Capabilities - Encrypted Media Extensions - Media Session - Audio Session - Web Video Filter API - Media Session Coordinator

WebCodecs 10 - IETF 117 で提案されている LOC (Low Overhead Media Container) につ いて紹介があった - EncodedVideo(Audio)Chunk の internal data を MOQT で送信できるフォー マット (*) - WebCodecs を使えば IANA のレジストリを流用できるというのがモチベーションの 一つ - W3C は IETF 側で WebCodecs の拡張がいくつもできることを懸念し、方向 性を決めるための Issue を用意することを提案した (*) https://zenn.dev/y_i/articles/loc-over-moqt

2. WebRTC WG 11 - WebRTC Extended Use Cases - Funny Hats - Low Latency Streaming - Modifications for low latency fanout - WebRTC & Media Capture Issues - Ice Controller API - RTPTransport - SDP negotiation for Encoded Transform

WebRTC Extended Use Cases 12 - 今後 WebRTC で新たに対応していきたいユースケースを定義したもの - TPAC 2022 時点では “WebRTC-NV Use Cases” という名称だった (*) https://w3c.github.io/webrtc-nv-use-cases/

WebRTC Extended Use Cases - Low Latency Streaming - SDP で L16 を指定することで Raw Audio に任意の処理を行った上で送信すること ができるが、これを新たな要求として定義したいというもの (*) - 現在は Low Latency Streaming に分類されているが、新たなユースケースとして Plaggable Audio Codec を定義することに … 13 (*) https://www.meetecho.com/blog/playing-with-lyra/≈

3. WebTransport WG 14 - WebTransport x WebCodecs Demo - discussion of high priority issues - Clarify semantics of stats and their relationship to QUIC connection - Priority groups - MAX_STREAM limit - Add writeAtomic() API - Plans for next year

WebTransport x WebCodecs Demo - デモを試したところ G2G (glass-to-glass) の遅延が RTT よりも非常に大きく なってしまった - Decode の遅延が Encode の遅延より大きくなっており明らかにおかしい - どうやら AV1 限定で Decode Pipeline (API ではない) にバグがある 15 (*) https://webrtc.internaut.com/wc/wtSender13/

Plans for next year - 現状のタイムテーブルは以下のようになっている - 2023/11/30: API を安定させて CR (勧告候補) へ - 2024/1: 2つの独立した実装を用意して PR (勧告案) へ - 2024/2: PR の Call for Review - 2024/4: AC review の後 REC (W3C 勧告) へ 16 (*) https://docs.google.com/presentation/d/1PzshEzs8GPeoYvVboi-9D0n8ZtXBZHuM7uZe1blahSk/edit#slide=id.g276341c431b_0_65

4. WebRTC WG & SCCG Joint 17 - Dynamic-switching between any display-surface types - getViewportMedia (capture-current-tab) - Status updates on work of mutual interest - Element Capture - Captured Surface Control - Capture Mouse Events

- 画面共有時に遠隔参加者が画面を操作可能にするという提案 - セキュリティリスクを考慮する必要があるが、ズームインやスクロールなら 十分安全な可能性が高い - ブラウザ間のズームレベルの互換の定義が必要 Captured Surface Control 18 (*) https://github.com/screen-share/captured-surface-control/blob/main/README.md

5. Media WG & WebRTC WG Joint 19 - Frame QP-based rate control demo - Hardware encoding/decoding error handling - New Encoder API

- WebRTC と WebCodecs の関係が複雑なので改善したいという提案 - WebCodecs を WebRTC のエンコーダとして使用できるように - コーデックやスケーラビリティ、Rate control はアプリで制御できるように - かつ Interface は使いやすく提供できるように - 現在の機能とニーズの間のギャップ分析を行ってから再度会議することに New Encoder API 20 (*) https://docs.google.com/presentation/d/1FpCAlxvRuC0e52JrthMkx-ILklB5eHszbk8D3FIuSZ0/edit#slide=id.g27e639bc5ca_4_306

所感 21 - WebRTC WG の活動はかなり活発だと感じた - W3C ではユーザのユースケースを非常に重視しながら議論を進めているよう に感じた