Slide 1

Slide 1 text

SDP for WebRTC
 -From Basics to Maniacs-
 WebRTC Meetup Tokyo #7
 @iwashi86
 1

Slide 2

Slide 2 text

●Attribute
  ・Name -> Yoshimasa IWASE 
  ・Twitter -> @iwashi86
  ・Web -> iwashi.co
 
 ●Work @ NTT Communications
  ・SkyWay(WebRTC)の裏側の開発運用
  ・HTML5 Experts.jpというWebメディアの編集
 2

Slide 3

Slide 3 text

今日のお話
 SDP
 
 注:ORTCが来たら大体忘れていいことが多いです。
 ただし、本質的にメディア通信に必要な情報(ICEとか)は
 ORTCでも同じであるため、今後も役立つと思います。
 3

Slide 4

Slide 4 text

v=0 o=- 7919192553830045546 2 IN IP4 127.0.0.1 s=- t=0 0 a=group:BUNDLE video a=msid-semantic: WMS IJaEuKH4cYDg9YxONEt16knZtoFuZZ4ioQRq m=video 51986 RTP/SAVPF 100 116 117 96 c=IN IP4 192.168.123.1 a=rtcp:51986 IN IP4 192.168.123.1 a=candidate:964645231 1 udp 2122260223 192.168.123.1 51986 typ host generation 0 a=candidate:964645231 2 udp 2122260223 192.168.123.1 51986 typ host generation 0 a=candidate:678703848 1 udp 2122194687 192.168.100.1 49989 typ host generation 0 a=candidate:678703848 2 udp 2122194687 192.168.100.1 49989 typ host generation 0 a=candidate:2178013618 1 udp 2122129151 192.168.33.1 55585 typ host generation 0 a=candidate:2178013618 2 udp 2122129151 192.168.33.1 55585 typ host generation 0 a=candidate:4278134664 1 udp 2122063615 192.168.1.8 50973 typ host generation 0 a=candidate:4278134664 2 udp 2122063615 192.168.1.8 50973 typ host generation 0 a=candidate:2013048223 1 tcp 1518280447 192.168.123.1 0 typ host tcptype active generation 0 a=candidate:2013048223 2 tcp 1518280447 192.168.123.1 0 typ host tcptype active generation 0 a=candidate:1727516184 1 tcp 1518214911 192.168.100.1 0 typ host tcptype active generation 0 a=candidate:1727516184 2 tcp 1518214911 192.168.100.1 0 typ host tcptype active generation 0 a=candidate:3478267202 1 tcp 1518149375 192.168.33.1 0 typ host tcptype active generation 0 a=candidate:3478267202 2 tcp 1518149375 192.168.33.1 0 typ host tcptype active generation 0 a=candidate:2960972664 1 tcp 1518083839 192.168.1.8 0 typ host tcptype active generation 0 a=candidate:2960972664 2 tcp 1518083839 192.168.1.8 0 typ host tcptype active generation 0 a=ice-ufrag:oaw7CiwPrr8SugF+ a=ice-pwd:6Wvv5xxI8Es575wFb5Houqlg a=ice-options:google-ice a=fingerprint:sha-256 11:01:4A:47:81:4F:EA:E0:0B:02:FA:9E:D4:CF:CF:95:C4:50:D6:CE:16:DF:37:AE:B0:FD:F2:B2:C5:E7:DD:30 a=setup:actpass a=mid:video a=extmap:2 urn:ietf:params:rtp-hdrext:toffset a=extmap:3 http://www.webrtc.org/experiments/rtp-hdrext/abs-send-time a=sendrecv a=rtcp-mux a=rtpmap:100 VP8/90000 a=rtpmap:116 red/90000 a=rtpmap:117 ulpfec/90000 a=rtpmap:96 rtx/90000 a=fmtp:96 apt=100 4 VoIP上がりの人 -> 多少読める

Slide 5

Slide 5 text

5 Webデベロッパ -> こう見えてるはず

Slide 6

Slide 6 text

本LTのゴール
 
 ・SDPの読み方の基本を理解
 ・ちょっとマニアックな部分も理解
 ・嫌悪感を軽減
 6

Slide 7

Slide 7 text

そもそも
 何故
 SDPが必要?
 7

Slide 8

Slide 8 text

柔軟にメディア疎通するためには
 通信条件のネゴシエーションが必要
 8 昔々 最近 条件が一緒なので ネゴシエーション不要 Aが使える Aが使える VP8とH264 が使える VP8だけ 使える VP8とH264が使えるよ、と申し出る VP8だけ使えるよ、と答える ネゴシエーションで柔軟に通信条件を変更できる! 通信条件は簡単には変えられない…

Slide 9

Slide 9 text

このようなモデルを
 オファーアンサーモデル(RFC 3264)と呼ぶ
 9 VP8とH264が使えるよ、と申し出る VP8だけ使えるよ、と答える オファー(Offer) アンサー(Answer) Agent (Offerer) Agent (Answerer) メディア(音声・映像・データ)

Slide 10

Slide 10 text

SDPはオファーとアンサーの
 記述方法(表現形式)とやりとりの仕組み
 10 VP8とH264が使えるよ、と申し出る VP8だけ使えるよ、と答える オファー(Offer) アンサー(Answer) Agent (Offerer) Agent (Answerer) メディア(音声・映像・データ) <SDPの例> v=0 o=- 7919192553830045546 2 IN IP4 127.0.0.1 s=- t=0 0 a=group:BUNDLE video a=msid-semantic: WMS IJaEuKH4cYDg9YxONEt16knZtoFuZZ4ioQRq m=video 51986 RTP/SAVPF 100 116 117 96 c=IN IP4 192.168.123.1 a=rtcp:51986 IN IP4 192.168.123.1 a=candidate:964645231 1 udp 2122260223 (略)

Slide 11

Slide 11 text

オファーアンサーモデルには
 セッション(親) と メディア(子) の概念がある
 11 Agent (Offerer) Agent (Answerer) セッション (複数のメディアを含む総体) 音声メディア 映像メディア データメディア 補足:メディアとは、実際の音声ストリームデータ等を指す

Slide 12

Slide 12 text

そのためSDPにも
 ①セッション記述部 と ②メディア記述部 がある
 12 v=0 o=mozilla...THIS_IS_SDPARTA-37.0 256835513207089710 0 IN IP4 0.0.0.0 s=- t=0 0 a=sendrecv a=fingerprint:sha-256 2B:71:C0:1A:D5:5F:E9:AD:4E:C0:A8:B2:14:06:0E:DE:B8:83:FD:0F:02:8A:CD:22:E5:32:52:91:65:32:95:69 a=group:BUNDLE sdparta_0 sdparta_1 a=ice-options:trickle m=audio 59540 RTP/SAVPF 109 9 0 8 c=IN IP4 123.123.123.123 a=candidate:0 1 UDP 2130379007 192.168.1.8 59540 typ host a=candidate:2 1 UDP 2128609535 192.168.33.1 65026 typ host a=candidate:4 1 UDP 2128543999 192.168.100.1 50644 typ host a=candidate:6 1 UDP 2128478463 192.168.123.1 53189 typ host a=candidate:0 2 UDP 2130379006 192.168.1.8 50370 typ host a=candidate:2 2 UDP 2128609534 192.168.33.1 63402 typ host a=candidate:4 2 UDP 2128543998 192.168.100.1 59589 typ host a=candidate:6 2 UDP 2128478462 192.168.123.1 58005 typ host a=sendrecv a=end-of-candidates a=extmap:1 urn:ietf:params:rtp-hdrext:ssrc-audio-level a=ice-pwd:55104ba020a9bb780a06b8a8db085a6e a=ice-ufrag:24b20be8 a=mid:sdparta_0 a=rtcp-mux a=rtpmap:109 opus/48000/2 a=rtpmap:9 G722/8000/1 a=rtpmap:0 PCMU/8000 a=rtpmap:8 PCMA/8000 a=setup:actpass a=ssrc:2602856860 cname:{4518e50c-1e53-9640-88cb-56d3189fb9b8} m=video 53336 RTP/SAVPF 120 126 97 c=IN IP4 123.123.123.123 以下略 ①セッション記述部 ②メディア記述部 Firefox Beta(37.0)で 取得した生SDPです

Slide 13

Slide 13 text

そのためSDPにも
 ①セッション記述部 と ②メディア記述部 がある
 13 v=0 o=mozilla...THIS_IS_SDPARTA-37.0 256835513207089710 0 IN IP4 0.0.0.0 s=- t=0 0 a=sendrecv a=fingerprint:sha-256 2B:71:C0:1A:D5:5F:E9:AD:4E:C0:A8:B2:14:06:0E:DE:B8:83:FD:0F:02:8A:CD:22:E5:32:52:91:65:32:95:69 a=group:BUNDLE sdparta_0 sdparta_1 a=ice-options:trickle m=audio 59540 RTP/SAVPF 109 9 0 8 c=IN IP4 123.123.123.123 a=candidate:0 1 UDP 2130379007 192.168.1.8 59540 typ host a=candidate:2 1 UDP 2128609535 192.168.33.1 65026 typ host a=candidate:4 1 UDP 2128543999 192.168.100.1 50644 typ host a=candidate:6 1 UDP 2128478463 192.168.123.1 53189 typ host a=candidate:0 2 UDP 2130379006 192.168.1.8 50370 typ host a=candidate:2 2 UDP 2128609534 192.168.33.1 63402 typ host a=candidate:4 2 UDP 2128543998 192.168.100.1 59589 typ host a=candidate:6 2 UDP 2128478462 192.168.123.1 58005 typ host a=sendrecv a=end-of-candidates a=extmap:1 urn:ietf:params:rtp-hdrext:ssrc-audio-level a=ice-pwd:55104ba020a9bb780a06b8a8db085a6e a=ice-ufrag:24b20be8 a=mid:sdparta_0 a=rtcp-mux a=rtpmap:109 opus/48000/2 a=rtpmap:9 G722/8000/1 a=rtpmap:0 PCMU/8000 a=rtpmap:8 PCMA/8000 a=setup:actpass a=ssrc:2602856860 cname:{4518e50c-1e53-9640-88cb-56d3189fb9b8} m=video 53336 RTP/SAVPF 120 126 97 c=IN IP4 123.123.123.123 以下略 ①セッション記述部 ②メディア記述部 Firefox Beta(37.0)で 取得した生SDPです TIPS: セッション記述部とメディア記述部の見分け方は m= で始まる行を探すこと

Slide 14

Slide 14 text

以降
 SDP詳説
 14

Slide 15

Slide 15 text

まず①セッション記述部から
 15 v=0 o=mozilla...THIS_IS_SDPARTA-37.0 256835513207089710 0 IN IP4 0.0.0.0 s=- t=0 0 a=sendrecv a=fingerprint:sha-256 2B:71:C0:1A:D5:5F:E9:AD:4E:C0:A8:B2:14:06:0E:DE:B8:83:FD:0F:02:8A:CD:22:E5:32:52:91:65:32:95:69 a=group:BUNDLE sdparta_0 sdparta_1 a=ice-options:trickle m=audio 59540 RTP/SAVPF 109 9 0 8 c=IN IP4 123.123.123.123 a=candidate:0 1 UDP 2130379007 192.168.1.8 59540 typ host a=candidate:2 1 UDP 2128609535 192.168.33.1 65026 typ host a=candidate:4 1 UDP 2128543999 192.168.100.1 50644 typ host a=candidate:6 1 UDP 2128478463 192.168.123.1 53189 typ host a=candidate:0 2 UDP 2130379006 192.168.1.8 50370 typ host a=candidate:2 2 UDP 2128609534 192.168.33.1 63402 typ host a=candidate:4 2 UDP 2128543998 192.168.100.1 59589 typ host a=candidate:6 2 UDP 2128478462 192.168.123.1 58005 typ host a=sendrecv a=end-of-candidates a=extmap:1 urn:ietf:params:rtp-hdrext:ssrc-audio-level a=ice-pwd:55104ba020a9bb780a06b8a8db085a6e a=ice-ufrag:24b20be8 a=mid:sdparta_0 a=rtcp-mux a=rtpmap:109 opus/48000/2 a=rtpmap:9 G722/8000/1 a=rtpmap:0 PCMU/8000 a=rtpmap:8 PCMA/8000 a=setup:actpass a=ssrc:2602856860 cname:{4518e50c-1e53-9640-88cb-56d3189fb9b8} m=video 53336 RTP/SAVPF 120 126 97 c=IN IP4 123.123.123.123 以下略 ①セッション記述部 ②メディア記述部 ちなみに、 Firefox Beta(37.0)で取得した生SDPです

Slide 16

Slide 16 text

①セッション記述部 詳説
 16 v=0 o=mozilla...THIS_IS_SDPARTA-37.0 256835513207089710 0 IN IP4 0.0.0.0 s=- t=0 0 a=sendrecv a=fingerprint:sha-256 2B:71:C0:1A:D5:5F:E9:AD:4E:C0:A8:B2:14:06:0E:DE:B8:83:FD:0F:02:8A:CD:22:E5:32:52:91:65:32:95: 69 a=group:BUNDLE sdparta_0 sdparta_1 a=ice-options:trickle 上から1つずつチェックしていきます

Slide 17

Slide 17 text

v= はバージョン
 17 v=0 o=mozilla...THIS_IS_SDPARTA-37.0 256835513207089710 0 IN IP4 0.0.0.0 s=- t=0 0 a=sendrecv a=fingerprint:sha-256 2B:71:C0:1A:D5:5F:E9:AD:4E:C0:A8:B2:14:06:0E:DE:B8:83:FD:0F:02:8A:CD:22:E5:32:52:91:65:32:95: 69 a=group:BUNDLE sdparta_0 sdparta_1 a=ice-options:trickle Versionの略。 どのSDPバージョンを使うか指定する。 WebRTC的には割とどうでもいい。

Slide 18

Slide 18 text

o= には作成者を
 18 v=0 o=mozilla...THIS_IS_SDPARTA-37.0 256835513207089710 0 IN IP4 0.0.0.0 s=- t=0 0 a=sendrecv a=fingerprint:sha-256 2B:71:C0:1A:D5:5F:E9:AD:4E:C0:A8:B2:14:06:0E:DE:B8:83:FD:0F:02:8A:CD:22:E5:32:52:91:65:32:95: 69 a=group:BUNDLE sdparta_0 sdparta_1 a=ice-options:trickle Originの略。 だれがSDPを作成したのかということ。 WebRTC的には割とどうでもいい。

Slide 19

Slide 19 text

s= は忘れてください
 19 v=0 o=mozilla...THIS_IS_SDPARTA-37.0 256835513207089710 0 IN IP4 0.0.0.0 s=- t=0 0 a=sendrecv a=fingerprint:sha-256 2B:71:C0:1A:D5:5F:E9:AD:4E:C0:A8:B2:14:06:0E:DE:B8:83:FD:0F:02:8A:CD:22:E5:32:52:91:65:32:95: 69 a=group:BUNDLE sdparta_0 sdparta_1 a=ice-options:trickle Session nameの略。 どうでもいいので忘れてください。

Slide 20

Slide 20 text

t= も忘れてください
 20 v=0 o=mozilla...THIS_IS_SDPARTA-37.0 256835513207089710 0 IN IP4 0.0.0.0 s=- t=0 0 a=sendrecv a=fingerprint:sha-256 2B:71:C0:1A:D5:5F:E9:AD:4E:C0:A8:B2:14:06:0E:DE:B8:83:FD:0F:02:8A:CD:22:E5:32:52:91:65:32:95: 69 a=group:BUNDLE sdparta_0 sdparta_1 a=ice-options:trickle Time zonesの略で、開始・終了時刻を書く どうでもい(ry

Slide 21

Slide 21 text

これまで出てきた行は
 必須かつ順序固定
 21 v=0 o=mozilla...THIS_IS_SDPARTA-37.0 256835513207089710 0 IN IP4 0.0.0.0 s=- t=0 0 a=sendrecv a=fingerprint:sha-256 2B:71:C0:1A:D5:5F:E9:AD:4E:C0:A8:B2:14:06:0E:DE:B8:83:FD:0F:02:8A:CD:22:E5:32:52:91:65:32:95: 69 a=group:BUNDLE sdparta_0 sdparta_1 a=ice-options:trickle 必ず v,o,s,t の順で現れます。 この v,o,s,t はSDPでは必須ヘッダのため省略NGです。 // 割とどうでもいいけど、消すと SDPのParseにコケて(たぶん)動きません

Slide 22

Slide 22 text

ちなみに、MozillaはSDP作成時に
 ユーモア混入中
 22 v=0 o=mozilla...THIS_IS_SDPARTA-37.0 256835513207089710 0 IN IP4 0.0.0.0 s=- t=0 0 a=sendrecv a=fingerprint:sha-256 2B:71:C0:1A:D5:5F:E9:AD:4E:C0:A8:B2:14:06:0E:DE:B8:83:FD:0F:02:8A:CD:22:E5:32:52:91:65:32:95: 69 a=group:BUNDLE sdparta_0 sdparta_1 a=ice-options:trickle

Slide 23

Slide 23 text

23 完全にパロってる

Slide 24

Slide 24 text

a= 以降は拡張属性
 WebRTC的には超重要
 24 v=0 o=mozilla...THIS_IS_SDPARTA-37.0 256835513207089710 0 IN IP4 0.0.0.0 s=- t=0 0 a=sendrecv a=fingerprint:sha-256 2B:71:C0:1A:D5:5F:E9:AD:4E:C0:A8:B2:14:06:0E:DE:B8:83:FD:0F:02:8A:CD:22:E5:32:52:91:65:32:95: 69 a=group:BUNDLE sdparta_0 sdparta_1 a=ice-options:trickle

Slide 25

Slide 25 text

特にWebRTC的に重要なのが下2つ
 25 v=0 o=mozilla...THIS_IS_SDPARTA-37.0 256835513207089710 0 IN IP4 0.0.0.0 s=- t=0 0 a=sendrecv a=fingerprint:sha-256 2B:71:C0:1A:D5:5F:E9:AD:4E:C0:A8:B2:14:06:0E:DE:B8:83:FD:0F:02:8A:CD:22:E5:32:52:91:65:32:95: 69 a=group:BUNDLE sdparta_0 sdparta_1 a=ice-options:trickle 音声(audio)と映像(video)を多重化する sdparta_0は単なる識別子(後で出てくる) TrickleICE※を利用する ※http://iwashi.co/2014/05/13/trickleice/

Slide 26

Slide 26 text

次
 26

Slide 27

Slide 27 text

②メディア記述部
 27 v=0 o=mozilla...THIS_IS_SDPARTA-37.0 256835513207089710 0 IN IP4 0.0.0.0 s=- t=0 0 a=sendrecv a=fingerprint:sha-256 2B:71:C0:1A:D5:5F:E9:AD:4E:C0:A8:B2:14:06:0E:DE:B8:83:FD:0F:02:8A:CD:22:E5:32:52:91:65:32:95:69 a=group:BUNDLE sdparta_0 sdparta_1 a=ice-options:trickle m=audio 59540 RTP/SAVPF 109 9 0 8 c=IN IP4 123.123.123.123 a=candidate:0 1 UDP 2130379007 192.168.1.8 59540 typ host a=candidate:2 1 UDP 2128609535 192.168.33.1 65026 typ host a=candidate:4 1 UDP 2128543999 192.168.100.1 50644 typ host a=candidate:6 1 UDP 2128478463 192.168.123.1 53189 typ host a=candidate:0 2 UDP 2130379006 192.168.1.8 50370 typ host a=candidate:2 2 UDP 2128609534 192.168.33.1 63402 typ host a=candidate:4 2 UDP 2128543998 192.168.100.1 59589 typ host a=candidate:6 2 UDP 2128478462 192.168.123.1 58005 typ host a=sendrecv a=end-of-candidates a=extmap:1 urn:ietf:params:rtp-hdrext:ssrc-audio-level a=ice-pwd:55104ba020a9bb780a06b8a8db085a6e a=ice-ufrag:24b20be8 a=mid:sdparta_0 a=rtcp-mux a=rtpmap:109 opus/48000/2 a=rtpmap:9 G722/8000/1 a=rtpmap:0 PCMU/8000 a=rtpmap:8 PCMA/8000 a=setup:actpass a=ssrc:2602856860 cname:{4518e50c-1e53-9640-88cb-56d3189fb9b8} m=video 53336 RTP/SAVPF 120 126 97 c=IN IP4 123.123.123.123 以下略 ①セッション記述部 ②メディア記述部

Slide 28

Slide 28 text

メディア記述部には必要なメディアの数だけ
 m=で始まるブロックが存在
 28 m=audio 59540 RTP/SAVPF 109 9 0 8 c=IN IP4 123.123.123.123 a=candidate:0 1 UDP 2130379007 192.168.1.8 59540 typ host a=sendrecv a=end-of-candidates a=extmap:1 urn:ietf:params:rtp-hdrext:ssrc-audio-level a=ice-pwd:55104ba020a9bb780a06b8a8db085a6e a=ice-ufrag:24b20be8 a=mid:sdparta_0 a=rtcp-mux a=rtpmap:109 opus/48000/2 a=rtpmap:9 G722/8000/1 a=rtpmap:0 PCMU/8000 a=rtpmap:8 PCMA/8000 a=setup:actpass a=ssrc:2602856860 cname:{4518e50c-1e53-9640-88cb-56d3189fb9b8} m=video 53336 RTP/SAVPF 120 126 97 c=IN IP4 123.123.123.123 a=candidate:0 1 UDP 2130379007 192.168.1.8 53336 typ host a=sendrecv a=end-of-candidates a=fmtp:120 max-fs=12288;max-fr=60 a=fmtp:126 profile-level-id=42e01f;level-asymmetry-allowed=1;packetization-mode=1 a=fmtp:97 profile-level-id=42e01f;level-asymmetry-allowed=1 a=ice-pwd:55104ba020a9bb780a06b8a8db085a6e a=ice-ufrag:24b20be8 a=mid:sdparta_1 a=rtcp-mux a=rtpmap:120 VP8/90000 a=rtpmap:126 H264/90000 a=rtpmap:97 H264/90000 a=setup:actpass a=ssrc:2337298562 cname:{4518e50c-1e53-9640-88cb-56d3189fb9b8} メディア記述部[1] メディア記述部[2]

Slide 29

Slide 29 text

Audioを取り上げて
 WebRTC的に重要な項目を説明
 29 m=audio 59540 RTP/SAVPF 109 9 0 8 c=IN IP4 123.123.123.123 a=candidate:0 1 UDP 2130379007 192.168.1.8 59540 typ host a=sendrecv a=end-of-candidates a=extmap:1 urn:ietf:params:rtp-hdrext:ssrc-audio-level a=ice-pwd:55104ba020a9bb780a06b8a8db085a6e a=ice-ufrag:24b20be8 a=mid:sdparta_0 a=rtcp-mux a=rtpmap:109 opus/48000/2 a=rtpmap:9 G722/8000/1 a=rtpmap:0 PCMU/8000 a=rtpmap:8 PCMA/8000 a=setup:actpass a=ssrc:2602856860 cname:{4518e50c-1e53-9640-88cb-56d3189fb9b8} m=video 53336 RTP/SAVPF 120 126 97 c=IN IP4 123.123.123.123 a=candidate:0 1 UDP 2130379007 192.168.1.8 53336 typ host a=sendrecv a=end-of-candidates a=fmtp:120 max-fs=12288;max-fr=60 a=fmtp:126 profile-level-id=42e01f;level-asymmetry-allowed=1;packetization-mode=1 a=fmtp:97 profile-level-id=42e01f;level-asymmetry-allowed=1 a=ice-pwd:55104ba020a9bb780a06b8a8db085a6e a=ice-ufrag:24b20be8 a=mid:sdparta_1 a=rtcp-mux a=rtpmap:120 VP8/90000 a=rtpmap:126 H264/90000 a=rtpmap:97 H264/90000 a=setup:actpass a=ssrc:2337298562 cname:{4518e50c-1e53-9640-88cb-56d3189fb9b8} メディア記述部[1] メディア記述部[2]

Slide 30

Slide 30 text

以降、Audioを取り上げて
 WebRTC的に重要な項目を説明
 30 m=audio 59540 RTP/SAVPF 109 9 0 8 c=IN IP4 123.123.123.123 a=candidate:0 1 UDP 2130379007 192.168.1.8 59540 typ host a=sendrecv a=end-of-candidates a=extmap:1 urn:ietf:params:rtp-hdrext:ssrc-audio-level a=ice-pwd:55104ba020a9bb780a06b8a8db085a6e a=ice-ufrag:24b20be8 a=mid:sdparta_0 a=rtcp-mux a=rtpmap:109 opus/48000/2 a=rtpmap:9 G722/8000/1 a=rtpmap:0 PCMU/8000 a=rtpmap:8 PCMA/8000 a=setup:actpass a=ssrc:2602856860 cname:{4518e50c-1e53-9640-88cb-56d3189fb9b8}

Slide 31

Slide 31 text

m= にはメディア種別・Port・
 プロトコル・ペイロードタイプを書く
 31 m=audio 59540 RTP/SAVPF 109 9 0 8 c=IN IP4 123.123.123.123 a=candidate:0 1 UDP 2130379007 192.168.1.8 59540 typ host a=sendrecv a=end-of-candidates a=extmap:1 urn:ietf:params:rtp-hdrext:ssrc-audio-level a=ice-pwd:55104ba020a9bb780a06b8a8db085a6e a=ice-ufrag:24b20be8 a=mid:sdparta_0 a=rtcp-mux a=rtpmap:109 opus/48000/2 a=rtpmap:9 G722/8000/1 a=rtpmap:0 PCMU/8000 a=rtpmap:8 PCMA/8000 a=setup:actpass a=ssrc:2602856860 cname:{4518e50c-1e53-9640-88cb-56d3189fb9b8} 音声 ポート番号 プロトコル RTP/SAVPFは、SRTP/SRTCPと考えてい いです。RFC5124参照。 ペイロードタイプ (次頁で後述)

Slide 32

Slide 32 text

ペイロードタイプは
 2箇所に分かれて記載される
 32 m=audio 59540 RTP/SAVPF 109 9 0 8 c=IN IP4 123.123.123.123 a=candidate:0 1 UDP 2130379007 192.168.1.8 59540 typ host a=sendrecv a=end-of-candidates a=extmap:1 urn:ietf:params:rtp-hdrext:ssrc-audio-level a=ice-pwd:55104ba020a9bb780a06b8a8db085a6e a=ice-ufrag:24b20be8 a=mid:sdparta_0 a=rtcp-mux a=rtpmap:109 opus/48000/2 a=rtpmap:9 G722/8000/1 a=rtpmap:0 PCMU/8000 a=rtpmap:8 PCMA/8000 a=setup:actpass a=ssrc:2602856860 cname:{4518e50c-1e53-9640-88cb-56d3189fb9b8} 下のrtpmap属性とリンクしており 下側に詳細なコーデック情報が記載される

Slide 33

Slide 33 text

rtpmapには ペイロードタイプ・コーデック名・
 クロックレート・その他パラメータを記載
 33 m=audio 59540 RTP/SAVPF 109 9 0 8 c=IN IP4 123.123.123.123 a=candidate:0 1 UDP 2130379007 192.168.1.8 59540 typ host a=sendrecv a=end-of-candidates a=extmap:1 urn:ietf:params:rtp-hdrext:ssrc-audio-level a=ice-pwd:55104ba020a9bb780a06b8a8db085a6e a=ice-ufrag:24b20be8 a=mid:sdparta_0 a=rtcp-mux a=rtpmap:109 opus/48000/2 a=rtpmap:9 G722/8000/1 a=rtpmap:0 PCMU/8000 a=rtpmap:8 PCMA/8000 a=setup:actpass a=ssrc:2602856860 cname:{4518e50c-1e53-9640-88cb-56d3189fb9b8} Opusという名前のコーデックで 秒間48,000回サンプリングして 2チャネル使う ということ https://tools.ietf.org/html/draft-spittka-payload-rtp-opus-03

Slide 34

Slide 34 text

ちょっと戻って大事なこと:
 m=のペイロードタイプは優先度順
 34 m=audio 59540 RTP/SAVPF 109 9 0 8 c=IN IP4 123.123.123.123 a=candidate:0 1 UDP 2130379007 192.168.1.8 59540 typ host a=sendrecv a=end-of-candidates a=extmap:1 urn:ietf:params:rtp-hdrext:ssrc-audio-level a=ice-pwd:55104ba020a9bb780a06b8a8db085a6e a=ice-ufrag:24b20be8 a=mid:sdparta_0 a=rtcp-mux a=rtpmap:109 opus/48000/2 a=rtpmap:9 G722/8000/1 a=rtpmap:0 PCMU/8000 a=rtpmap:8 PCMA/8000 a=setup:actpass a=ssrc:2602856860 cname:{4518e50c-1e53-9640-88cb-56d3189fb9b8} これがコーデック選択の優先度で、 109を再優先で使いたいということ (つまりopusをデフォルトで使いたくて、 その他はフォールバックみたいなもの)

Slide 35

Slide 35 text

c= にはIPアドレスを
 35 m=audio 59540 RTP/SAVPF 109 9 0 8 c=IN IP4 123.123.123.123 a=candidate:0 1 UDP 2130379007 192.168.1.8 59540 typ host a=sendrecv a=end-of-candidates a=extmap:1 urn:ietf:params:rtp-hdrext:ssrc-audio-level a=ice-pwd:55104ba020a9bb780a06b8a8db085a6e a=ice-ufrag:24b20be8 a=mid:sdparta_0 a=rtcp-mux a=rtpmap:109 opus/48000/2 a=rtpmap:9 G722/8000/1 a=rtpmap:0 PCMU/8000 a=rtpmap:8 PCMA/8000 a=setup:actpass a=ssrc:2602856860 cname:{4518e50c-1e53-9640-88cb-56d3189fb9b8} INternetのIPv4アドレスで、 123.123.123.123 という値を使う

Slide 36

Slide 36 text

以降は a= なので
 全て拡張属性だが、WebRTC的に超重要
 36 m=audio 59540 RTP/SAVPF 109 9 0 8 c=IN IP4 123.123.123.123 a=candidate:0 1 UDP 2130379007 192.168.1.8 59540 typ host a=sendrecv a=end-of-candidates a=extmap:1 urn:ietf:params:rtp-hdrext:ssrc-audio-level a=ice-pwd:55104ba020a9bb780a06b8a8db085a6e a=ice-ufrag:24b20be8 a=mid:sdparta_0 a=rtcp-mux a=rtpmap:109 opus/48000/2 a=rtpmap:9 G722/8000/1 a=rtpmap:0 PCMU/8000 a=rtpmap:8 PCMA/8000 a=setup:actpass a=ssrc:2602856860 cname:{4518e50c-1e53-9640-88cb-56d3189fb9b8} 拡張属性

Slide 37

Slide 37 text

a=candidate はICE候補
 37 m=audio 59540 RTP/SAVPF 109 9 0 8 c=IN IP4 123.123.123.123 a=candidate:0 1 UDP 2130379007 192.168.1.8 59540 typ host a=sendrecv a=end-of-candidates a=extmap:1 urn:ietf:params:rtp-hdrext:ssrc-audio-level a=ice-pwd:55104ba020a9bb780a06b8a8db085a6e a=ice-ufrag:24b20be8 a=mid:sdparta_0 a=rtcp-mux a=rtpmap:109 opus/48000/2 a=rtpmap:9 G722/8000/1 a=rtpmap:0 PCMU/8000 a=rtpmap:8 PCMA/8000 a=setup:actpass a=ssrc:2602856860 cname:{4518e50c-1e53-9640-88cb-56d3189fb9b8} 2130378007という優先度で、192.168.1.8の UDPポート59540は通信できる可能性がある ローカルのICE候補ですよ ということ (詳細はRFC5245参照)

Slide 38

Slide 38 text

a=sendrecvは双方向通信という意味
 38 m=audio 59540 RTP/SAVPF 109 9 0 8 c=IN IP4 123.123.123.123 a=candidate:0 1 UDP 2130379007 192.168.1.8 59540 typ host a=sendrecv a=end-of-candidates a=extmap:1 urn:ietf:params:rtp-hdrext:ssrc-audio-level a=ice-pwd:55104ba020a9bb780a06b8a8db085a6e a=ice-ufrag:24b20be8 a=mid:sdparta_0 a=rtcp-mux a=rtpmap:109 opus/48000/2 a=rtpmap:9 G722/8000/1 a=rtpmap:0 PCMU/8000 a=rtpmap:8 PCMA/8000 a=setup:actpass a=ssrc:2602856860 cname:{4518e50c-1e53-9640-88cb-56d3189fb9b8} 音声を送信・受信両方やりますよという意味

Slide 39

Slide 39 text

a=end-of-candidates はtrickleICEの完了
 39 m=audio 59540 RTP/SAVPF 109 9 0 8 c=IN IP4 123.123.123.123 a=candidate:0 1 UDP 2130379007 192.168.1.8 59540 typ host a=sendrecv a=end-of-candidates a=extmap:1 urn:ietf:params:rtp-hdrext:ssrc-audio-level a=ice-pwd:55104ba020a9bb780a06b8a8db085a6e a=ice-ufrag:24b20be8 a=mid:sdparta_0 a=rtcp-mux a=rtpmap:109 opus/48000/2 a=rtpmap:9 G722/8000/1 a=rtpmap:0 PCMU/8000 a=rtpmap:8 PCMA/8000 a=setup:actpass a=ssrc:2602856860 cname:{4518e50c-1e53-9640-88cb-56d3189fb9b8} ICE候補収集(harvest)が終わったという意味 draft-ietf-mmusic-trickle-ice-02

Slide 40

Slide 40 text

a=extmap は RTP Headerを拡張する
 40 m=audio 59540 RTP/SAVPF 109 9 0 8 c=IN IP4 123.123.123.123 a=candidate:0 1 UDP 2130379007 192.168.1.8 59540 typ host a=sendrecv a=end-of-candidates a=extmap:1 urn:ietf:params:rtp-hdrext:ssrc-audio-level a=ice-pwd:55104ba020a9bb780a06b8a8db085a6e a=ice-ufrag:24b20be8 a=mid:sdparta_0 a=rtcp-mux a=rtpmap:109 opus/48000/2 a=rtpmap:9 G722/8000/1 a=rtpmap:0 PCMU/8000 a=rtpmap:8 PCMA/8000 a=setup:actpass a=ssrc:2602856860 cname:{4518e50c-1e53-9640-88cb-56d3189fb9b8} urn:ietf:params:rtp-hdrext:ssrc-audio-level でRTP Headerを拡張する

Slide 41

Slide 41 text

a=ice-pwd と a=ice-ufrag は
 ICEのユーザ名・パスワード
 41 m=audio 59540 RTP/SAVPF 109 9 0 8 c=IN IP4 123.123.123.123 a=candidate:0 1 UDP 2130379007 192.168.1.8 59540 typ host a=sendrecv a=end-of-candidates a=extmap:1 urn:ietf:params:rtp-hdrext:ssrc-audio-level a=ice-pwd:55104ba020a9bb780a06b8a8db085a6e a=ice-ufrag:24b20be8 a=mid:sdparta_0 a=rtcp-mux a=rtpmap:109 opus/48000/2 a=rtpmap:9 G722/8000/1 a=rtpmap:0 PCMU/8000 a=rtpmap:8 PCMA/8000 a=setup:actpass a=ssrc:2602856860 cname:{4518e50c-1e53-9640-88cb-56d3189fb9b8} ICEのユーザ名とパスワード

Slide 42

Slide 42 text

a=midは多重化の識別子
 42 m=audio 59540 RTP/SAVPF 109 9 0 8 c=IN IP4 123.123.123.123 a=candidate:0 1 UDP 2130379007 192.168.1.8 59540 typ host a=sendrecv a=end-of-candidates a=extmap:1 urn:ietf:params:rtp-hdrext:ssrc-audio-level a=ice-pwd:55104ba020a9bb780a06b8a8db085a6e a=ice-ufrag:24b20be8 a=mid:sdparta_0 a=rtcp-mux a=rtpmap:109 opus/48000/2 a=rtpmap:9 G722/8000/1 a=rtpmap:0 PCMU/8000 a=rtpmap:8 PCMA/8000 a=setup:actpass a=ssrc:2602856860 cname:{4518e50c-1e53-9640-88cb-56d3189fb9b8} (セッション記述部から1行再掲) a=group:BUNDLE sdparta_0 sdparta_1

Slide 43

Slide 43 text

a=rtcp-mux はRTPとRTCPを多重化する
 43 m=audio 59540 RTP/SAVPF 109 9 0 8 c=IN IP4 123.123.123.123 a=candidate:0 1 UDP 2130379007 192.168.1.8 59540 typ host a=sendrecv a=end-of-candidates a=extmap:1 urn:ietf:params:rtp-hdrext:ssrc-audio-level a=ice-pwd:55104ba020a9bb780a06b8a8db085a6e a=ice-ufrag:24b20be8 a=mid:sdparta_0 a=rtcp-mux a=rtpmap:109 opus/48000/2 a=rtpmap:9 G722/8000/1 a=rtpmap:0 PCMU/8000 a=rtpmap:8 PCMA/8000 a=setup:actpass a=ssrc:2602856860 cname:{4518e50c-1e53-9640-88cb-56d3189fb9b8} RTPとRTCPを多重化、詳細はRFC5761。 (本来は別々のPortだが、UDPホールパンチ等 のコストを減らせる)

Slide 44

Slide 44 text

a=setup:actpass でDTLSを使う
 44 m=audio 59540 RTP/SAVPF 109 9 0 8 c=IN IP4 123.123.123.123 a=candidate:0 1 UDP 2130379007 192.168.1.8 59540 typ host a=sendrecv a=end-of-candidates a=extmap:1 urn:ietf:params:rtp-hdrext:ssrc-audio-level a=ice-pwd:55104ba020a9bb780a06b8a8db085a6e a=ice-ufrag:24b20be8 a=mid:sdparta_0 a=rtcp-mux a=rtpmap:109 opus/48000/2 a=rtpmap:9 G722/8000/1 a=rtpmap:0 PCMU/8000 a=rtpmap:8 PCMA/8000 a=setup:actpass a=ssrc:2602856860 cname:{4518e50c-1e53-9640-88cb-56d3189fb9b8} DTLSを使いはじめようという意味 RFC5763参照

Slide 45

Slide 45 text

a=ssrcはRTPで利用する
 参加者の識別子のこと
 45 m=audio 59540 RTP/SAVPF 109 9 0 8 c=IN IP4 123.123.123.123 a=candidate:0 1 UDP 2130379007 192.168.1.8 59540 typ host a=sendrecv a=end-of-candidates a=extmap:1 urn:ietf:params:rtp-hdrext:ssrc-audio-level a=ice-pwd:55104ba020a9bb780a06b8a8db085a6e a=ice-ufrag:24b20be8 a=mid:sdparta_0 a=rtcp-mux a=rtpmap:109 opus/48000/2 a=rtpmap:9 G722/8000/1 a=rtpmap:0 PCMU/8000 a=rtpmap:8 PCMA/8000 a=setup:actpass a=ssrc:2602856860 cname:{4518e50c-1e53-9640-88cb-56d3189fb9b8} SSRCはランダムに割り振られ変わる CNAMEはランダムに変わってもわかる ように紐付けする名前

Slide 46

Slide 46 text

Videoは略(RFC読もう)
 46 m=audio 59540 RTP/SAVPF 109 9 0 8 c=IN IP4 123.123.123.123 a=candidate:0 1 UDP 2130379007 192.168.1.8 59540 typ host a=sendrecv a=end-of-candidates a=extmap:1 urn:ietf:params:rtp-hdrext:ssrc-audio-level a=ice-pwd:55104ba020a9bb780a06b8a8db085a6e a=ice-ufrag:24b20be8 a=mid:sdparta_0 a=rtcp-mux a=rtpmap:109 opus/48000/2 a=rtpmap:9 G722/8000/1 a=rtpmap:0 PCMU/8000 a=rtpmap:8 PCMA/8000 a=setup:actpass a=ssrc:2602856860 cname:{4518e50c-1e53-9640-88cb-56d3189fb9b8} m=video 53336 RTP/SAVPF 120 126 97 c=IN IP4 123.123.123.123 a=candidate:0 1 UDP 2130379007 192.168.1.8 53336 typ host a=sendrecv a=end-of-candidates a=fmtp:120 max-fs=12288;max-fr=60 a=fmtp:126 profile-level-id=42e01f;level-asymmetry-allowed=1;packetization-mode=1 a=fmtp:97 profile-level-id=42e01f;level-asymmetry-allowed=1 a=ice-pwd:55104ba020a9bb780a06b8a8db085a6e a=ice-ufrag:24b20be8 a=mid:sdparta_1 a=rtcp-mux a=rtpmap:120 VP8/90000 a=rtpmap:126 H264/90000 a=rtpmap:97 H264/90000 a=setup:actpass a=ssrc:2337298562 cname:{4518e50c-1e53-9640-88cb-56d3189fb9b8} メディア記述部[1] メディア記述部[2] 説明略!

Slide 47

Slide 47 text

ということで
 47

Slide 48

Slide 48 text

48 こう見えていたのが


Slide 49

Slide 49 text

v=0 o=- 7919192553830045546 2 IN IP4 127.0.0.1 s=- t=0 0 a=group:BUNDLE video a=msid-semantic: WMS IJaEuKH4cYDg9YxONEt16knZtoFuZZ4ioQRq m=video 51986 RTP/SAVPF 100 116 117 96 c=IN IP4 192.168.123.1 a=rtcp:51986 IN IP4 192.168.123.1 a=candidate:964645231 1 udp 2122260223 192.168.123.1 51986 typ host generation 0 a=candidate:964645231 2 udp 2122260223 192.168.123.1 51986 typ host generation 0 a=candidate:678703848 1 udp 2122194687 192.168.100.1 49989 typ host generation 0 a=candidate:678703848 2 udp 2122194687 192.168.100.1 49989 typ host generation 0 a=candidate:2178013618 1 udp 2122129151 192.168.33.1 55585 typ host generation 0 a=candidate:2178013618 2 udp 2122129151 192.168.33.1 55585 typ host generation 0 a=candidate:4278134664 1 udp 2122063615 192.168.1.8 50973 typ host generation 0 a=candidate:4278134664 2 udp 2122063615 192.168.1.8 50973 typ host generation 0 a=candidate:2013048223 1 tcp 1518280447 192.168.123.1 0 typ host tcptype active generation 0 a=candidate:2013048223 2 tcp 1518280447 192.168.123.1 0 typ host tcptype active generation 0 a=candidate:1727516184 1 tcp 1518214911 192.168.100.1 0 typ host tcptype active generation 0 a=candidate:1727516184 2 tcp 1518214911 192.168.100.1 0 typ host tcptype active generation 0 a=candidate:3478267202 1 tcp 1518149375 192.168.33.1 0 typ host tcptype active generation 0 a=candidate:3478267202 2 tcp 1518149375 192.168.33.1 0 typ host tcptype active generation 0 a=candidate:2960972664 1 tcp 1518083839 192.168.1.8 0 typ host tcptype active generation 0 a=candidate:2960972664 2 tcp 1518083839 192.168.1.8 0 typ host tcptype active generation 0 a=ice-ufrag:oaw7CiwPrr8SugF+ a=ice-pwd:6Wvv5xxI8Es575wFb5Houqlg a=ice-options:google-ice a=fingerprint:sha-256 11:01:4A:47:81:4F:EA:E0:0B:02:FA:9E:D4:CF:CF:95:C4:50:D6:CE:16:DF:37:AE:B0:FD:F2:B2:C5:E7:DD:30 a=setup:actpass a=mid:video a=extmap:2 urn:ietf:params:rtp-hdrext:toffset a=extmap:3 http://www.webrtc.org/experiments/rtp-hdrext/abs-send-time a=sendrecv a=rtcp-mux a=rtpmap:100 VP8/90000 a=rtpmap:116 red/90000 a=rtpmap:117 ulpfec/90000 a=rtpmap:96 rtx/90000 a=fmtp:96 apt=100 49 こうなったはず!

Slide 50

Slide 50 text

おしまい!
 50 NTTコミュニケーションズの 新卒採用(WebRTCに限らず)に 興味がある方がいれば @iwashi86 までご連絡ください! ちょっと宣伝