SkyWayが遭遇したWebRTC の可観測性に関する問題と開発者向け可視化サービス提供までの道のり

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© NTT Communications Corporation All Rights Reserved. 2 SkyWayにDevOpsエンジニアとして参画 WebRTC R&Dチームの⽴ち上げ WebRTC R&Dチームのリーダー次世代のWebRTCに関する技術調査 SkyWay推進室 WebRTC Researcher 内⽥裕貴(X: @yuki_wtz) 2019.04 2020.09 2022.11 2024.01

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

© NTT Communications Corporation All Rights Reserved. 26 WebRTCで発⽣する不具合はなぜ起こってしまうのか？ 1. インターネットはベストエフォート(専⽤線のように常に同じ品質ではない) 快適に通話をするためには⾼品質なNW環境が必要 • 遅延が⼩さい(250ms未満が望ましい) • パケットロスが発⽣しない(10%未満が望ましい) • 帯域幅が⼗分⼤きい(1Mbps以上が望ましい)

Slide 27

Slide 27 text

© NTT Communications Corporation All Rights Reserved. 27 WebRTCで発⽣する不具合はなぜ起こってしまうのか？ 1. インターネットはベストエフォート(専⽤線のように常に同じ品質ではない) 快適に通話をするためには⾼品質なNW環境が必要 • 遅延が⼩さい(250ms未満が望ましい) • パケットロスが発⽣しない(10%未満が望ましい) • 帯域幅が⼗分⼤きい(1Mbps以上が望ましい) 上記は以下の要素によって左右される • 相⼿との物理的な距離 • デバイス性能 • NW機器・ISPの混雑・障害 • Wi-Fi利⽤やCellular回線の利⽤

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

© NTT Communications Corporation All Rights Reserved. 30 WebRTCで発⽣する不具合はなぜ起こってしまうのか？ WebRTCは様々な遅延や⽋損対策を⾏っている • FEC(Forward Error Correction) • ロスしたパケットの復元 • GCC(Google Congestion Control) • 帯域幅推定と映像エンコード時のQP値やフレームレートの制御

Slide 31

Slide 31 text

© NTT Communications Corporation All Rights Reserved. 31 WebRTCで発⽣する不具合はなぜ起こってしまうのか？ WebRTCは様々な遅延や⽋損対策を⾏っている • FEC(Forward Error Correction) • ロスしたパケットの復元 • GCC(Google Congestion Control) • 帯域幅推定と映像エンコード時のQP値やフレームレートの制御 • DTX(Discontinuous Transmission) • 送信量削減(無⾳パケット除去)

Slide 32

Slide 32 text

© NTT Communications Corporation All Rights Reserved. 32 WebRTCで発⽣する不具合はなぜ起こってしまうのか？ WebRTCは様々な遅延や⽋損対策を⾏っている • FEC(Forward Error Correction) • ロスしたパケットの復元 • GCC(Google Congestion Control) • 帯域幅推定と映像エンコード時のQP値やフレームレートの制御 • DTX(Discontinuous Transmission) • 送信量削減(無⾳パケット除去) • HWA(HardWare Acceleration) • デバイス負荷軽減

Slide 33

Slide 33 text

© NTT Communications Corporation All Rights Reserved. 33 WebRTCで発⽣する不具合はなぜ起こってしまうのか？ WebRTCは様々な遅延や⽋損対策を⾏っているが、⼗分ではない • FEC(Forward Error Correction) • ロスしたパケットの復元 • GCC(Google Congestion Control) • 帯域幅推定と映像エンコード時のQP値やフレームレートの制御 • DTX(Discontinuous Transmission) • 送信量削減(無⾳パケット除去) • HWA(HardWare Acceleration) • デバイス負荷軽減

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

© NTT Communications Corporation All Rights Reserved. 39 WebRTCで発⽣する不具合はなぜ起こってしまうのか？ 2. WebRTCが技術として複雑すぎる 2-1: プロトコルスタックが複雑 • プロトコルの集まりがWebRTC • ブラウザ内部で⾊々な処理が⾏われている https://zenn.dev/tetter/articles/rtptransport-first

Slide 40

Slide 40 text

© NTT Communications Corporation All Rights Reserved. 40 WebRTCで発⽣する不具合はなぜ起こってしまうのか？ 2. WebRTCが技術として複雑すぎる 2-1: プロトコルスタックが複雑 • プロトコルの集まりがWebRTC • ブラウザ内部で⾊々な処理が⾏われている • シーケンシャルなフローに⾒えるが、実際は複雑に絡み合っている https://zenn.dev/tetter/articles/rtptransport-first

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

© NTT Communications Corporation All Rights Reserved. 43 WebRTCで発⽣する不具合はなぜ起こってしまうのか？ 2. WebRTCが技術として複雑すぎる 2-2: ハードウェア・OS・ブラウザの実装に依存する • メディア取得時: ハードウェア・OSの機能を通してカメラ・マイクにアクセス https://zenn.dev/tetter/articles/rtptransport-first

Slide 44

Slide 44 text

© NTT Communications Corporation All Rights Reserved. 44 WebRTCで発⽣する不具合はなぜ起こってしまうのか？ 2. WebRTCが技術として複雑すぎる 2-2: ハードウェア・OS・ブラウザの実装に依存する • メディア取得時: ハードウェア・OSの機能を通してカメラ・マイクにアクセス • メディアエンコード時:ハードウェア・OSの機能を通してHWAのON/OFF https://zenn.dev/tetter/articles/rtptransport-first

Slide 45

Slide 45 text

© NTT Communications Corporation All Rights Reserved. 45 WebRTCで発⽣する不具合はなぜ起こってしまうのか？ 2. WebRTCが技術として複雑すぎる 2-2: ハードウェア・OS・ブラウザの実装に依存する • メディア取得時: ハードウェア・OSの機能を通してカメラ・マイクにアクセス • メディアエンコード時:ハードウェア・OSの機能を通してHWAのON/OFF • メディアエンコード時:エンコード処理の設定をブラウザが動的に変更する https://zenn.dev/tetter/articles/rtptransport-first

Slide 46

Slide 46 text

Slide 47

Slide 47 text

© NTT Communications Corporation All Rights Reserved. 47 WebRTCで発⽣する不具合はなぜ起こってしまうのか？ 2. WebRTCが技術として複雑すぎる 2-3: これ以外にも、拡⼤したユースケースに対応するために様々な機能を持つ • P2Pではなくサバクラ型で数⼈〜数百⼈通話 • ビデオ会議以外にも、⾳楽のライブ配信やゲーム映像の送信など • ブラウザ以外のiOS/Android/Unityなどの対応

Slide 48

Slide 48 text

© NTT Communications Corporation All Rights Reserved. 48 WebRTCで発⽣する不具合はなぜ起こってしまうのか？ 2. WebRTCが技術として複雑すぎる 2-3: これ以外にも、拡⼤したユースケースに対応するために様々な機能を持つ • P2Pではなくサバクラ型で数⼈〜数百⼈通話 • ビデオ会議以外にも、⾳楽のライブ配信やゲーム映像の送信など • ブラウザ以外のiOS/Android/Unityなどの対応元々の仕様ではP2Pで1対1のビデオ会議を前提としていたが、今となっては膨⼤な機能が持つようになった

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Slide 51

Slide 51 text

Slide 52

Slide 52 text

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Slide 55

Slide 55 text

Slide 56

Slide 56 text

Slide 57

Slide 57 text

Slide 58

Slide 58 text

© NTT Communications Corporation All Rights Reserved. 58 WebRTC Platformに求められる責任を全うするのは難しいなぜか？ • アンコントローラブルな事象が多い • 動きのほとんどがブラウザ・OS・ハードウェアによって隠蔽されている • WebRTCのイベントや統計情報は多様で取捨選択が必要従来のメトリクスモニタリングなどでは原因究明が困難であるため、⼯夫が必要

Slide 59

Slide 59 text

Slide 60

Slide 60 text

Slide 61

Slide 61 text

Slide 62

Slide 62 text

Slide 63

Slide 63 text

© NTT Communications Corporation All Rights Reserved. 63 MonitoringからObservabilityへメトリクスモニタリングやログ監視では、『異常検知』は出来ても『原因究明』は難しい『原因究明』のために内部状態を正確に取得することは、隠蔽されているので不可能よって、WebRTCのイベント情報や統計情報から、WebRTC通信の動きを推測する必要があった

Slide 64

Slide 64 text

© NTT Communications Corporation All Rights Reserved. 64 MonitoringからObservabilityへメトリクスモニタリングやログ監視では、『異常検知』は出来ても『原因究明』は難しい『原因究明』のために内部状態を正確に取得することは、隠蔽されているので不可能よって、WebRTCのイベント情報や統計情報から、WebRTC通信の動きを推測する必要があった

Slide 65

Slide 65 text

© NTT Communications Corporation All Rights Reserved. 65 MonitoringからObservabilityへメトリクスモニタリングやログ監視では、『異常検知』は出来ても『原因究明』は難しい『原因究明』のために内部状態を正確に取得することは、隠蔽されているので不可能よって、WebRTCのイベント情報や統計情報から、WebRTC通信の動きを推測する必要があった MonitoringからObservabilityへ踏み込むということ

Slide 66

Slide 66 text

Slide 67

Slide 67 text

Slide 68

Slide 68 text

© NTT Communications Corporation All Rights Reserved. 68 MonitoringからObservabilityへ Observabilityとは ”外部出⼒の知識からシステムの内部状態をどれだけうまく推測することができるかの尺度” Charity Majors(2023) オブザーバビリティ・エンジニアリング “WebRTCのイベント情報や統計情報から、WebRTC通信の動きを推測する”

Slide 69

Slide 69 text

© NTT Communications Corporation All Rights Reserved. 69 MonitoringからObservabilityへ Observabilityとは ”外部出⼒の知識からシステムの内部状態をどれだけうまく推測することができるかの尺度” Charity Majors(2023) オブザーバビリティ・エンジニアリング “WebRTCのイベント情報や統計情報から、WebRTC通信の動きを推測する” そして開発したものが、WebRTC専⽤のObservabilityシステム SkyWay Analytics β

Slide 70

Slide 70 text

Slide 71

Slide 71 text

Slide 72

Slide 72 text

Slide 73

Slide 73 text

Slide 74

Slide 74 text

Slide 75

Slide 75 text

Slide 76

Slide 76 text

Slide 77

Slide 77 text

© NTT Communications Corporation All Rights Reserved. 77 SkyWay Analytics β お客様端末・サーバーから情報を吸い上げ、集積し、簡潔に要約するサーバやログ監視だけではなくEUMやAPM的な情報も含む EUM(End User Monitoring): 端末・OS情報など APM(Application Performance Monitoring): NW品質やメディア品質など

Slide 78

Slide 78 text

Slide 79

Slide 79 text

Slide 80

Slide 80 text

Slide 81

Slide 81 text

Slide 82

Slide 82 text

Slide 83

Slide 83 text

Slide 84

Slide 84 text

Slide 85

Slide 85 text

Slide 86

Slide 86 text

Slide 87

Slide 87 text

Slide 88

Slide 88 text

Slide 89

Slide 89 text

Slide 90

Slide 90 text

Slide 91

Slide 91 text

Slide 92

Slide 92 text

Slide 93

Slide 93 text

Slide 94

Slide 94 text

Slide 95

Slide 95 text

Slide 96

Slide 96 text

Slide 97

Slide 97 text

Slide 98

Slide 98 text

Slide 99

Slide 99 text

© NTT Communications Corporation All Rights Reserved. 99 まとめ • WebRTCは様々な不具合が発⽣する • その不具合にはPlatformとして対応が困難なものも多い • サーバメトリクスやログの監視だけではなくAPM, EUMまでやる必要性 • MonitoringからObservabilityへ • Platformとしての説明責任を果たすため、SkyWay Analytics βを提供開始した

Slide 100

Slide 100 text

© NTT Communications Corporation All Rights Reserved. 100 まとめ • WebRTCは様々な不具合が発⽣する • その不具合にはPlatformとして対応が困難なものも多い • サーバメトリクスやログの監視だけではなくAPM, EUMまでやる必要性 • MonitoringからObservabilityへ • Platformとしての説明責任を果たすため、SkyWay Analytics βを提供開始した • お客様にも使ってもらえるプロダクトに

Slide 101

Slide 101 text

© NTT Communications Corporation All Rights Reserved. 101 まとめ • WebRTCは様々な不具合が発⽣する • その不具合にはPlatformとして対応が困難なものも多い • サーバメトリクスやログの監視だけではなくAPM, EUMまでやる必要性 • MonitoringからObservabilityへ • Platformとしての説明責任を果たすため、SkyWay Analytics βを提供開始した • お客様にも使ってもらえるプロダクトに

Slide 102

Slide 102 text

© NTT Communications Corporation All Rights Reserved. 102 まとめ • WebRTCは様々な不具合が発⽣する • その不具合にはPlatformとして対応が困難なものも多い • サーバメトリクスやログの監視だけではなくAPM, EUMまでやる必要性 • MonitoringからObservabilityへ • Platformとしての説明責任を果たすため、SkyWay Analytics βを提供開始した • お客様にも使ってもらえるプロダクトに

Slide 103

Slide 103 text

© NTT Communications Corporation All Rights Reserved. 103 まとめ • WebRTCは様々な不具合が発⽣する • その不具合にはPlatformとして対応が困難なものも多い • サーバメトリクスやログの監視だけではなくAPM, EUMまでやる必要性 • MonitoringからObservabilityへ • Platformとしての説明責任を果たすため、SkyWay Analytics βを提供開始した • お客様にも使ってもらえるプロダクトに