Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
iOS/AndroidのRTMPプレーヤーを改善した話+α
Search
Shumpei Urabe
June 28, 2018
Technology
4
3.3k
iOS/AndroidのRTMPプレーヤーを改善した話+α
Streaming Conference #3
https://streaming-lab.connpass.com/event/90574/
Shumpei Urabe
June 28, 2018
Tweet
Share
More Decks by Shumpei Urabe
See All by Shumpei Urabe
AIを活用した放送技術スタートアップの制作現場改革について
yaminoma
0
15k
動画配信技術について
yaminoma
1
1.6k
Multimedia Security Topics
yaminoma
0
2.4k
コロナ禍でのライブストリーミングの変化とテレビ放送の規格について
yaminoma
0
1k
今日から分かる Android Audioの全て
yaminoma
0
460
Apple Low-Latency HLSを使った 超低遅延配信について
yaminoma
4
5k
今日から分かる AVAudioEngineの全て
yaminoma
4
6.1k
Cross Platform Video Player
yaminoma
0
490
PHPとRustを組み合わせて音声ファイルをエンコードする話
yaminoma
0
3.5k
Other Decks in Technology
See All in Technology
SCONE - 動画配信の帯域を最適化する新プロトコル
kazuho
1
390
マルチエージェントのチームビルディング_2025-10-25
shinoyamada
0
190
Behind Postgres 18: The People, the Code, & the Invisible Work | Claire Giordano | PGConfEU 2025
clairegiordano
0
140
プロダクト開発と社内データ活用での、BI×AIの現在地 / Data_Findy
sansan_randd
0
220
QA業務を変える(!?)AIを併用した不具合分析の実践
ma2ri
0
150
組織全員で向き合うAI Readyなデータ利活用
gappy50
1
850
知覚とデザイン
rinchoku
1
600
AWS DMS で SQL Server を移行してみた/aws-dms-sql-server-migration
emiki
0
250
頭部ふわふわ浄酔器
uyupun
0
110
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
14
82k
AIでデータ活用を加速させる取り組み / Leveraging AI to accelerate data utilization
okiyuki99
1
710
Observability — Extending Into Incident Response
nari_ex
1
500
Featured
See All Featured
KATA
mclloyd
PRO
32
15k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
230
22k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
359
30k
Site-Speed That Sticks
csswizardry
13
930
Building Adaptive Systems
keathley
44
2.8k
jQuery: Nuts, Bolts and Bling
dougneiner
65
7.9k
Balancing Empowerment & Direction
lara
5
700
Intergalactic Javascript Robots from Outer Space
tanoku
272
27k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.6k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
16
1.7k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
12
1.2k
Transcript
iOS/Androidの RTMPプレーヤーを 改善した話+α Streaming Conference #3 2018.06.28 Shumpei URABE Mirrativ,
Inc. © 2018 Mirrativ, Inc. STRICTLY CONFIDENTIAL
自己紹介 ◆ 占部 竣平 ◆ 大学4年生 ◆ 福岡在住 ◆ ミラティブでは主に研究開発を行っている
99
99 起動 タイトル設定 配信開始 *音声はマイクによる集音 *スマホ単体での配信は iOS11 または Android5.0 以上対応
わずか数タップ! スマホだけでゲーム実況ができる! ゲーム側へのSDKの導入等は一切不要です 3 Mirrativとは?
99 ゲームを中心に置いた「コミュニケーション空間」 出典: https://goo.gl/ZORdR0, https://goo.gl/BJxk1m + 4 コンセプト=友達の家でドラクエやってる感じ
Mirrativの構成 ◆ Mirrativでは、配信サーバにWowza Streaming Engine を使っている ◆ 配信者はPCまたはMirrativアプリ(iOS/Android)から RTMPを使って配信を行う ◆
視聴者も基本的にはRTMPを使う ◆ 一部はトランスコードを行い、HTTP Live Streamingで 配信も行っている(iOSのモバイル視聴時など) 99
コラボ機能 ◆ Mirrativでは、配信者と視聴者で音声通話ができるコラボ 機能が実装されているが、ここにはWebRTCを使っている ◆ iOS/Androidともにlibwebrtcを使っているが、一部変更 を加えている ◆ Acoustic Echo
Canceller(AEC)を使うと音声の 出力をガッツリ止めてしまうため無効化 ◆ 音量が下がってしまうのを防ぐために入力側は Remote I/O、出力側はVoice Processing I/Oを 使っている 99
Mirrativアプリの紹介 ◆ Mirrativのアプリでは、アプリ単体から配信を行っている ◆ 配信する場合、iOSはReplayKit(HaishinKit)、Android の場合はMediaProjectionを使っている ◆ https://github.com/shogo4405/HaishinKit.swift ◆ iOSアプリはStreaming
Conference #2でshogoさん が発表したオープンソースなライブラリを社内でも使っ てます! 99
視聴プレーヤーの話 ◆ Mirrativで使っている視聴プレーヤーは以下の通り ◆ iOS ◆ RTMPは内製のライブラリ ◆ HLSはAVFoundation ◆
Android ◆ RTMP, HLSともに内製のライブラリ 99
最近の悩み ◆ トラフィックを減らしたい(重要) ◆ 遅延を減らしたい 99
トラフィックを減らす ◆ Mirrativは多くのユーザーにご利用頂いているため、トラ フィックのコストがとてもかかっている ◆ そのため、なんとか削減したいと考えた ◆ まず最初にエンコード設定を見直したが、現在の設定でも マシンリソースなどを考えると結構限界に近い 99
トラフィックを減らす ◆ 次に考えたのがMirrativのユーザーを調べていると、バッ クグラウンド視聴者が結構多い ◆ 現在はバックグラウンド時に映像と音声の両方を流してい るが、映像部分は必要ない ◆ そのため、映像を流さずに音声だけを流せばいい 99
receiveVideo ◆ RTMPのNetStream CommandsにはreceiveVideoというコマ ンドがある ◆ 映像を再生する場合はtrue, 再生しない場合はfalseを送ること で、サーバ側から映像のパケットを止めることができる ◆
receiveVideoはNetStream Play()を呼び出す前、または呼び 出した後に使うことができる ◆ Wowza側でMP3でトランスコードしてバックグラウンド時に切 り換える手法も考えたが圧倒的に楽なのはこっちだった 99 Field Name Type Command Name String Transaction ID Number Command Object Null Bool Flag Boolean
ハマったところ ◆ NetStream Play()の直前にreceiveVideo()を送るとダ メ ◆ たまにreceiveVideo()送ったときに接続が途切れること があるので再接続処理が必要になる ◆ 映像と音声の同期をしないといけないので大変だった
99
HLSの遅延対策 ◆ MirrativのHLSクライアントは一番最新のセグメントファ イルを読み込むようにしている ◆ しかし、iOSの場合はAVFondationを使っているため、一 番古いセグメントから読み込む(通常の挙動) ◆ そこで、EXT-X-START:TIME-OFFSETというタグを使 って再生位置を意図的に調整するWowzaのPluginを作っ
た ◆ セグメントが3秒のとき、EXT-X-START:TIME- OFFSET=-3.00にすると一番最新から再生できる 99
まとめ ◆ トラフィック減ったよ ◆ 遅延も若干少なくなったよ ◆ これらの改善は来月くらいには本番にリリースされるよ ◆ ミラティブでは一緒にサービスを支えてくれるエンジニア を募集してます!
99