Upgrade to Pro — share decks privately, control downloads, hide ads and more …

TPAC 2023 のトピック厳選紹介

tetter
September 22, 2023
290

TPAC 2023 のトピック厳選紹介

tetter

September 22, 2023
Tweet

Transcript

  1. 自己紹介 2 NAME: - tetter (Tetta Maeda) FEATURES: - WebRTC

    Meetup 運営 - AI / ML on Browser を試すのが好き @tttr_mt tetter27 2017 2018 2022 前職 (通信事業会社) Android 〃 EdgeAI NTTコミュニケーションズ株式会社 WebRTC CARRIER:
  2. TPAC とは 5 - W3C が Web ブラウザの標準化を行うために年一回開催される総会 (*) ブラウザ

    API 等の 仕様を決める プロトコル等の 仕様を決める (*) HTML の仕様を決める WHATWG も参加している
  3. ざっくりとしたスケジュール 6 - 9月11, 12, 14, 15日: 各 WG/IG/CG の

    Session - 9月13日: Breakout Session 例) 9月11日のセッションスケジュール
  4. 参加したセッション 7 - WG Session - Media WG - Web

    Real-Time Communications WG - WebTransport WG - Joint Session - Web Real-Time Communications WG & Screen Capture CG - Media WG & Web Real Time Communications WG - Breakout Session - WebRTC use cases and requirements under high-demanding real-time communication scenarios - WebCodecs Serialization Format
  5. 本日取り上げる範囲 8 - WG Session - Media WG - Web

    Real-Time Communications WG - WebTransport WG - Joint Session - Web Real-Time Communications WG & Screen Capture CG - Media WG & Web Real Time Communications WG - Breakout Session - WebRTC use cases and requirements under high-demanding real-time communication scenarios - WebCodecs Serialization Format
  6. 1. Media WG 9 - WebCodecs - MSE v2 -

    Media Capabilities - Encrypted Media Extensions - Media Session - Audio Session - Web Video Filter API - Media Session Coordinator
  7. WebCodecs 10 - IETF 117 で提案されている LOC (Low Overhead Media

    Container) につ いて紹介があった - EncodedVideo(Audio)Chunk の internal data を MOQT で送信できるフォー マット (*) - WebCodecs を使えば IANA のレジストリを流用できるというのがモチベーションの 一つ - W3C は IETF 側で WebCodecs の拡張がいくつもできることを懸念し、方向 性を決めるための Issue を用意することを提案した (*) https://zenn.dev/y_i/articles/loc-over-moqt
  8. 2. WebRTC WG 11 - WebRTC Extended Use Cases -

    Funny Hats - Low Latency Streaming - Modifications for low latency fanout - WebRTC & Media Capture Issues - Ice Controller API - RTPTransport - SDP negotiation for Encoded Transform
  9. WebRTC Extended Use Cases 12 - 今後 WebRTC で新たに対応していきたいユースケースを定義したもの -

    TPAC 2022 時点では “WebRTC-NV Use Cases” という名称だった (*) https://w3c.github.io/webrtc-nv-use-cases/
  10. WebRTC Extended Use Cases - Low Latency Streaming - SDP

    で L16 を指定することで Raw Audio に任意の処理を行った上で送信すること ができるが、これを新たな要求として定義したいというもの (*) - 現在は Low Latency Streaming に分類されているが、新たなユースケースとして Plaggable Audio Codec を定義することに … 13 (*) https://www.meetecho.com/blog/playing-with-lyra/≈
  11. 3. WebTransport WG 14 - WebTransport x WebCodecs Demo -

    discussion of high priority issues - Clarify semantics of stats and their relationship to QUIC connection - Priority groups - MAX_STREAM limit - Add writeAtomic() API - Plans for next year
  12. WebTransport x WebCodecs Demo - デモを試したところ G2G (glass-to-glass) の遅延が RTT

    よりも非常に大きく なってしまった - Decode の遅延が Encode の遅延より大きくなっており明らかにおかしい - どうやら AV1 限定で Decode Pipeline (API ではない) にバグがある 15 (*) https://webrtc.internaut.com/wc/wtSender13/
  13. Plans for next year - 現状のタイムテーブルは以下のようになっている - 2023/11/30: API を安定させて

    CR (勧告候補) へ - 2024/1: 2つの独立した実装を用意して PR (勧告案) へ - 2024/2: PR の Call for Review - 2024/4: AC review の後 REC (W3C 勧告) へ 16 (*) https://docs.google.com/presentation/d/1PzshEzs8GPeoYvVboi-9D0n8ZtXBZHuM7uZe1blahSk/edit#slide=id.g276341c431b_0_65
  14. 4. WebRTC WG & SCCG Joint 17 - Dynamic-switching between

    any display-surface types - getViewportMedia (capture-current-tab) - Status updates on work of mutual interest - Element Capture - Captured Surface Control - Capture Mouse Events
  15. 5. Media WG & WebRTC WG Joint 19 - Frame

    QP-based rate control demo - Hardware encoding/decoding error handling - New Encoder API
  16. - WebRTC と WebCodecs の関係が複雑なので改善したいという提案 - WebCodecs を WebRTC のエンコーダとして使用できるように

    - コーデックやスケーラビリティ、Rate control はアプリで制御できるように - かつ Interface は使いやすく提供できるように - 現在の機能とニーズの間のギャップ分析を行ってから再度会議することに New Encoder API 20 (*) https://docs.google.com/presentation/d/1FpCAlxvRuC0e52JrthMkx-ILklB5eHszbk8D3FIuSZ0/edit#slide=id.g27e639bc5ca_4_306