「ABEMA」では、24時間365日継続的な配信を行うリニア配信、タイムシフトやビデオ機能を提供するオンデマンド配信があります。2016年に開局した「ABEMA」は今年で5年を迎えますが、開局当初に設計された配信システムには多くの課題が出てきました。その課題を解決するべく、ここ数年で配信システムの再設計を行ういくつかのプロジェクトを発足しました。本セッションでは"新しい未来のテレビ"を目指すABEMAが、どのような課題を抱えていて、どのようなアプローチを取ったのか、紹介したいと思います。
View Slide
⼭中 勇成 a.k.a みゆっき2017年度 新卒⼊社株式会社AbemaTV 開発局 コンテンツ配信Div.未踏スーパークリエータ@toriimiyukki @miyukki
最近の買い物
࣍ Contents ࣍ Contents ࣍ Contents ࣍ Contents ࣍ Contents‣ 5周年を迎えるABEMAが抱えるもの‣ ボトムアップからのプロジェクト発⾜‣ ぼくのかんがえたさいきょうの配信システム‣ まとめと今後A g e n d a
5周年を迎えるABEMAが抱えるもの
https://contents-abema.com/ th/
ABEMAで配信しているコンテンツテレビビデオ納品素材スタジオ配信システム CDN納品素材 配信システム CDN視聴デバイス視聴デバイス
ユーザー👫売り上げ💰5周年を迎えるABEMAが抱えるもの
負債
技術的負債意図的な負債• 少ない⼈数、短い期間での開発によるコードの品質の悪化• 配信技術に関する知識不⾜変化による負債• ⾔語, ライブラリ, ミドルウェアバージョンアップへの追従• 新しい技術やサービスの登場IUUQTOPUFDPNDZCFS[@DUPOOGED💡ͪ͜Βࢀߟ
5年間の負債は技術だけじゃない🙅
組織的負債の例👦👦👦👦👧👧現場技術👦👦👦配信開発👦👦👦👦👦👦👧👧👧API👦👦👦👦👦👧広告👦👦👦👦👦👦SRE映像ソース エンコーダー サーバー CDNこの部分の⾯倒を⾒る⼈がいない
• 配信現場と配信システムの中間レイヤー責任者不在• 課題や障害が起きたときに本質的解決がされない• 現場の負荷を考えないオペレーション設計• 負荷によりオペミスの誘発、対応に限界ができる• ABEMAが求めるターゲットクオリティの変化• 画質や安定性がクオリティを満たさない設計になっている組織的負債運⽤的負債本質的負債
ボトムアップからのプロジェクト発⾜
バカンスを楽しむCTO今のABEMAって、こういうところに課題あると思うのですが…落書きされた僕
YOU!!やっちゃいなよ覚醒したCTO
ブレない軸 =ミッション を決めるミッション インターネットのマスメディアとして必要な要素
配信運⽤ / 配信技術 / エンジニアを集めて、ワークを実施有識者を集めてヒアリング
• 組織改善• 本質改善• 運⽤改善改善案を3つのテーマに分けて提案ミッションを達成するための改善案をまとめる
社⻑に当てる今のABEMAって、こういうところに課題があり、こういう改善案を⽤意したのですが…
㊗🎉プロジェクト発⾜
スタジオ機材更新 配信システム更新ニュース低遅延化ABEMA技術者横軸MTG多数のプロジェクトが発⾜
ぼくのかんがえたさいきょうの配信システム
Photograph by Kordite!"#$%&'%(
次世代のインジェストアーキテクチャを構築するプロジェクトSUPERBIRDとは現場からサーバまでのアップロードのこと※社内でのコードネーム映像ソース エンコーダー サーバー CDNインジェスト
SUPERBIRDの⽬的課題解決 将来への投資• K対応• 低遅延化• システムの集中管理など• 配信トラブルの抑制• 画質向上• 設備依存• CMタイミング精度の向上など上記を実現するための次世代のインジェストアーキテクチャを設計するABEMAにおける と が⽬的
より良いインジェストアーキテクチャとは品質が⾼い• 映像、⾳が良い= 製作者の意図を”そのまま”反映できる• 遅延が短い安定している• 途切れない• 途切れても冗⻑構成に切り替えが可能• 第三者要因に影響されない運⽤しやすい• オペレーションが単純• システムが集中管理されている• トラブルに即座に対応可能柔軟である• スタジオの増減に柔軟に対応可能• ⼊出⼒フォーマットの変化に短期間で移⾏可能• ABEMA以外のCAのサービスでも流⽤可能
• 中央集約（ハブ化）• エンコーダーリプレイス• 監視設備強化• 新配信管理画⾯SUPERBIRDのアプローチ
΅͘ͷ͔Μ͕͍͖͑ͨ͞ΐ͏ͷ৴γεςϜ中央集約（ハブ化）
インターネットでのインジェストは第三者の影響を受けやすい専⽤線でのインジェストをしたいが、各スタジオとクラウドを専⽤線で結ぶのは⾮現実的中央集約（ハブ化）スタジオAスタジオBスタジオCデータセンタークラウドAクラウドG➡ 各スタジオとデータセンターを専⽤線で、データセンターとクラウドをプライベートピアで結ぶ
伝送技術の選定スタジオサブプロトコルデータセンター⾮圧縮現場 クラウド伝送装置 伝送装置 伝送装置 サーバー伝送技術HDHD-SDIi .KG-SDI QuadMPEG-H.TICOH.コーデックRTPRTMPZixiSRTRISTSMPTE -SMPTE× コーデック× × プロトコルSDIIPコーデックH. / H.プロトコルRTP-FEC /RTMP / Zixi /SRT / RIST⾮圧縮MPEG-H.TICOH.RTPRTMPZixiSRTRISTSMPTE -SMPTE
• IPネットワークをベースとした伝送を選択CyberAgentにはデータセンターのエンジニアもいるため、IPだと⾃社でメンテナンスが可能IPベースの伝送スタジオサブデータセンター常設スタジオ クラウドエンコーダー中継サーバーサーバーマルチキャストネットワークスタジオサブ外配信現場エンコーダープロトコル変換監視モニター➡ なぜインジェストエンコーダーをスタジオに設置したか• 外配信現場などのスタジオ変化に対応するため• ⼆重エンコードによる画質劣化を防ぎたいためRTPH.ZixiRTPH.
• IGMP v SSM(Source Specific Multicast)によるマルチキャストルーティング各拠点や各機器で欲しいスタジオサブの映像を⾃由に取得可能マルチキャストネットワークエンコーダー中継サーバー@データセンター監視モニター@監視ルーム現場モニター＠スタジオ
΅͘ͷ͔Μ͕͍͖͑ͨ͞ΐ͏ͷ৴γεςϜエンコーダーリプレイス
求める要件（⼀部）• 品質の⾼いエンコード（ 主にデインターレース）• 24/7の稼働率• テロップの挿⼊が可能• CM挿⼊サポートエンコーダーリプレイス検証中の様⼦仕様だけで分からない部分も多い実機を借りて検証
• 挿⼊タイミングの精度向上➡ SCTE- でのキュー情報の重畳• CMが⼊ったことをなるべく早く現場にレスポンスする➡ キューで映像を静⽌画に切り替えてフィードバック（実際のCMはSSAIで挿⼊）CM挿⼊に求める要件CM挿⼊すると静⽌画を挿⼊スタジオ映像
エンコーダー選定表
΅͘ͷ͔Μ͕͍͖͑ͨ͞ΐ͏ͷ৴γεςϜ監視設備強化
ABEMAでは⽣配信を常に監視• 今まではスタジオが⼊ったビルの⼀室➡ 電源冗⻑化された施設へ• レガシーな監視からの脱却➡ Grafana / Zabbixの導⼊➡ IP MVの導⼊監視設備強化新マスタールーム
• エンコーダー/中継機器/IP MVなどの機器から情報を取得➡ Grafana/Zabbixで可視化により、⽬視監視から⾃動監視へGrafana / Zabbix 導⼊Grafana Zabbix
• 従来のSDI MVでは、ルーティングの設定が必要 & 物理ケーブルが必要また、ストリーム受信にPCを使⽤していたため、相当数のPCが必要であった➡ ネットワークからストリームを受信してMV画⾯を⽣成する製品の導⼊ 映像内部の問題も検知可能へIP MV(Multi-Viewer)の導⼊IP MV画⾯
΅͘ͷ͔Μ͕͍͖͑ͨ͞ΐ͏ͷ৴γεςϜ新配信管理画⾯
現場の意⾒をヒアリングした上で、現場が使いやすい管理画⾯を新たに開発新配信管理画⾯新たな配信管理画⾯
• インジェスト先のアドレスをエンコーダーに⼊⼒するのが⼤変➡ 管理画⾯上からエンコーダーを選択する形に変更 オペレーション負荷を低減• テロップを簡易に⼊れたい➡ 管理画⾯上からテロップの選択や位置調整を⾏い エンコーダーを制御するように新規開発新配信管理画⾯
• ブラウザ画⾯だとCM挿⼊ボタンの誤クリックや確実性に⽋ける懸念があった➡ HIDとして認識する物理CMボタンを設計‧特注 WebHID技術を使⽤してブラウザと通信が可能CMボタンプロトタイプ版 初号機 量産機
CloudNativeなアーキテクチャこの話はまたどこかで…
まとめと今後
• ABEMAに次世代のインジェストアーキテクチャを検討して導⼊した実際に使⽤開始になるのはもう少し先• ⼊社してワガママを⾔い続けていたらいつの間にかプロジェクトになった⼤きなプロジェクトを動かすのは⼤変だが、新卒3年⽬から社⻑に提案して実際に動けたのは良い経験だった• 現場の意⾒をヒアリングすることは⼤切使いやすい構成にしておくことで現場の負荷を下げ、オペミス低減や業務効率化が図れるまとめ
• インジェストレイヤーをエンジニアリングできる体制を整えられたより⾼画質な配信、低遅延な配信、⾼可⽤な配信など新しいチャレンジがやりやすくなった今後
miyukki
udzura
pauloxnet
foursue
iwashi86
oracle4engineer
kurotaky
sagara
superbrothers
cembasaranoglu
sbtechnight
pauljervisheath
rmw
mclloyd
wjessup
zakiwarfel
caitiem20
thoeni
jonyablonski
skipperchong
philhawksworth
keithpitt
akmur