SwiftでゼロからRTMPライブラリを実装してみた

Real Time Messaging Protocol (RTMP) とは、Adobe が開発している、Adobe Flash プレーヤーとサーバーの間で、音声・動画・データをやりとりするストリーミングのプロトコル。
YouTube LiveやTwitchなどのライブストリーミングサービスで広く使用されています。

AppleのプラットフォームではRTMPプロトコルがネイティブにサポートされていないため、librtmpライブラリの使用が一般的ですが、私はSwiftでの実装に挑戦しました。
このトークでは、Swiftを用いてRTMPライブラリをゼロから設計し、実装した経験を共有します。
特に難しかった挑戦、それにどう対処したか、そしてプロジェクト全体を通じての学びを詳しく紹介します。

Transcript

1. SwiftでゼロからRTMP ライブラリを実装してみ た
2. 自己紹介 郭 輝平(Huiping Guo) PocochaでiOSエンジニア やってます。最近ライブ配信 技術にはまってます。 2
3. 今日話すこと ◎ RTMPとはなにか？ ◎ Swift特性使って実装 ◎ HandshakeとMessage → Chunkの実装例 ◎ 感想 3 注: RTMP1.0基準になります
4. 4 https://github.com/huiping192/HPRTMP
5. 配信技術紹介 5 引用先: https://www.wowza.com/blog/converting-rtmp-to-hls
6. Real-Time Messaging Protocol RTMPとは、Adobe が開発している、Adobe Flash プ レーヤーとサーバーの間で、音声・動画・データをやり とりするストリーミングのプロトコル。 6 引用先: https://ja.wikipedia.org/wiki/Real_Time_Messaging_Protocol
7. Real-Time Messaging Protocol ◎ TCPベース ◎ port デフォルトは1935 ◎ 動画、音声、データ両方向送信 ◎ ライブ送信、再生、レコードできる 7
8. Real-Time Messaging Protocol ◎ Stream ◦ 動画や音声の連続的なデータの流れ ◎ Message ◦ クライアントとサーバ側やりたりの基本単位 ◎ Chunk ◦ ネットワーク送信の基本単位 8
9. RTMP Publish Simply Workflow ◎ Handshake ◎ Handshake以後はMessageで やり取り 9
10. Swiftでどう実装するか ◎ Binary Data処理 ◎ 非同期処理と状態管理 ◎ ネットワーク通信 10
11. Binary Data処理 ◎ ビット演算 ◎ エンディアン ◎ Action Message Format 11
12. ビット演算 ◎ 1byte中にできるかぎりのデータを格納する ◎ 使ってるところ ◦ Chunk basic header ◦ Set Chunk Size Message ◦ Video h.264 sps pps処理 ◦ Audio aac header data処理 ◦ ほか 12
13. エンディアン ◎ 複数のバイトなどを計算機のメモリ上に並べる順序の 種類 ◎ Little EndianとBig Endian二種類 ◎ RTMPはBig Endian形式= Network byte order 13 詳細: https://ja.wikipedia.org/wiki/エンディアン
14. Chunk basic header ◎ fmtは2bit ◎ 残りcs idの値で きめる 14
15. Chunk basic header 15
16. Action Message Format ◎ データ交換フォーマット ◎ RTMP唯一対応するフォーマット ◎ AMF0とAMF3 16
17. Action Message Format 17
18. 非同期処理とThread safe Grand Central Dispatch 古いOSに交換性がある 非同期タスクのプライオリティ 制御ができる iOS、MacOSのみサポート Swift Concurrency Swift5.5 非同期処理が直感的にかける iOS、MacOS、linuxサポート 18 未来を見据えてSwift Concurrency使うことにしました
19. ネットワーク通信 NSStream ObjcとSwift両方使える　 Objc時代のAPI設計で Swiftyではない iOS、MacOSのみ対応 Network iOS12から出たフレーム ワーク TCP、UDP、Websocekt などの処理がラップさ れて実装が楽 iOS、MacOSのみ対応 SwiftNIO iOS、MacOS、Linuxサ ポート パフォーマンスが一番 いい APIが複雑 19 実装しやすさからNetworkフレームワーク使うことにしました
20. NWConnection 設定 20
22. Handshake ◎ Client -> Server: C0+C1 ◎ Server -> Client: S0+S1+S2 ◎ Client -> Server: C2 通信回数減らすためこの流れで処理されてる事が多い 22
24. Wireshark使ってRTMP Handshake確認 24
25. Message ◎ Command Message ◦ Connect ◦ Publish ◦ Play ◎ Data Message ◎ Shared Object Message ◎ Audio MessageとVideo Message ◎ Protocol Control Message ◎ ほか 25
26. Message 26
27. Chunk ◎ Messageから分割 ◎ Set Chunk Size Messageで最大payload size調整 ◎ Chunk サイズを圧縮するため４つのheader typeがある 27
28. Chunk 28
29. Chunk Header Type 0,1 29 引用先: https://github.com/gongluck/AnalysisAVP/blob/master/流媒体协议.md
30. Chunk Header Type 2,3 30 引用先: https://github.com/gongluck/AnalysisAVP/blob/master/流媒体协议.md
32. Message からChunk 32
33. WireshakeでMessage確認 33
34. RTMP実装したあとの感想 34 ◎ TCPのメリットとデメリット ◎ 送信するデータ量できる限り減らす ◎ Wireshark結構便利
35. 参考 ◎ Rtmp_specification_1.0.pdf ◦ rtmp仕様書 ◎ Amf0-file-format-spec.pdf ◦ amf0仕様書 ◎ Amf3-file-format-spec.pdf ◦ amf3仕様書 ◎ Video_file_format_spec_v10.pdf ◦ flvファイルの仕様書 ◦ 35 注: Adobe公式サイトからダウンロードできなくなったので、ファイル名だけにします。
36. ご清聴ありがとうござい ました! 36