"新しい未来のテレビ"を目指すABEMA配信システムの再設計 / Re-architecture of ABEMA live ingest system

by Yusei Yamanaka

Embed

Start on current slide

Slide 1

Slide 1 text

No content

Slide 2

Slide 2 text

⼭中勇成 a.k.a みゆっき 2017年度新卒⼊社株式会社AbemaTV 開発局コンテンツ配信Div. 未踏スーパークリエータ @toriimiyukki @miyukki

Slide 3

Slide 3 text

Slide 4

Slide 4 text

໨࣍ Contents ໨࣍ Contents ໨࣍ Contents ໨࣍ Contents ໨࣍ Contents ‣ 5周年を迎えるABEMAが抱えるもの ‣ ボトムアップからのプロジェクト発⾜ ‣ ぼくのかんがえたさいきょうの配信システム ‣ まとめと今後 A g e n d a

Slide 5

Slide 5 text

5周年を迎えるABEMAが抱えるもの

Slide 6

Slide 6 text

https://contents-abema.com/ th/

Slide 7

Slide 7 text

ABEMAで配信しているコンテンツテレビビデオ納品素材スタジオ配信システム CDN 納品素材配信システム CDN 視聴デバイス視聴デバイス

Slide 8

Slide 8 text

ユーザー👫 売り上げ💰 5周年を迎えるABEMAが抱えるもの

Slide 9

Slide 9 text

負債

Slide 10

Slide 10 text

技術的負債意図的な負債 • 少ない⼈数、短い期間での開発によるコードの品質の悪化 • 配信技術に関する知識不⾜変化による負債 • ⾔語, ライブラリ, ミドルウェアバージョンアップへの追従 • 新しい技術やサービスの登場 IUUQTOPUFDPNDZCFS[@DUPOOGED 💡ͪ͜Β΋ࢀߟ

Slide 11

Slide 11 text

5年間の負債は技術だけじゃない 🙅

Slide 12

Slide 12 text

組織的負債の例 👦👦👦 👦👧👧 現場技術 👦👦👦 配信開発 👦👦👦 👦👦👦 👧👧👧 API 👦👦👦 👦👦👧 広告 👦👦👦 👦👦👦 SRE 映像ソースエンコーダーサーバー CDN この部分の⾯倒を⾒る⼈がいない

Slide 13

Slide 13 text

• 配信現場と配信システムの中間レイヤー責任者不在 • 課題や障害が起きたときに本質的解決がされない • 現場の負荷を考えないオペレーション設計 • 負荷によりオペミスの誘発、対応に限界ができる • ABEMAが求めるターゲットクオリティの変化 • 画質や安定性がクオリティを満たさない設計になっている組織的負債運⽤的負債本質的負債

Slide 14

Slide 14 text

No content

Slide 15

Slide 15 text

ボトムアップからのプロジェクト発⾜

Slide 16

Slide 16 text

バカンスを楽しむCTO 今のABEMAって、こういうところに課題あると思うのですが… 落書きされた僕

Slide 17

Slide 17 text

YOU!! やっちゃいなよ覚醒したCTO

Slide 18

Slide 18 text

ブレない軸 =ミッションを決めるミッションインターネットのマスメディアとして必要な要素

Slide 19

Slide 19 text

配信運⽤ / 配信技術 / エンジニアを集めて、ワークを実施有識者を集めてヒアリング

Slide 20

Slide 20 text

No content

Slide 21

Slide 21 text

• 組織改善 • 本質改善 • 運⽤改善改善案を3つのテーマに分けて提案ミッションを達成するための改善案をまとめる

Slide 22

Slide 22 text

社⻑に当てる今のABEMAって、こういうところに課題があり、こういう改善案を⽤意したのですが…

Slide 23

Slide 23 text

㊗🎉 プロジェクト発⾜

Slide 24

Slide 24 text

スタジオ機材更新配信システム更新ニュース低遅延化 ABEMA技術者横軸MTG 多数のプロジェクトが発⾜

Slide 25

Slide 25 text

ぼくのかんがえたさいきょうの配信システム

Slide 26

Slide 26 text

Photograph by Kordite !"#$%&'%(

Slide 27

Slide 27 text

次世代のインジェストアーキテクチャを構築するプロジェクト SUPERBIRDとは現場からサーバまでのアップロードのこと ※社内でのコードネーム映像ソースエンコーダーサーバー CDN インジェスト

Slide 28

Slide 28 text

SUPERBIRDの⽬的課題解決将来への投資 • K対応 • 低遅延化 • システムの集中管理など • 配信トラブルの抑制 • 画質向上 • 設備依存 • CMタイミング精度の向上など上記を実現するための次世代のインジェストアーキテクチャを設計する ABEMAにおけるとが⽬的

Slide 29

Slide 29 text

より良いインジェストアーキテクチャとは品質が⾼い • 映像、⾳が良い = 製作者の意図を”そのまま”反映できる • 遅延が短い安定している • 途切れない • 途切れても冗⻑構成に切り替えが可能 • 第三者要因に影響されない運⽤しやすい • オペレーションが単純 • システムが集中管理されている • トラブルに即座に対応可能柔軟である • スタジオの増減に柔軟に対応可能 • ⼊出⼒フォーマットの変化に短期間で移⾏可能 • ABEMA以外のCAのサービスでも流⽤可能

Slide 30

Slide 30 text

• 中央集約（ハブ化） • エンコーダーリプレイス • 監視設備強化 • 新配信管理画⾯ SUPERBIRDのアプローチ

Slide 31

Slide 31 text

΅͘ͷ͔Μ͕͍͖͑ͨ͞ΐ͏ͷ഑৴γεςϜ 中央集約（ハブ化）

Slide 32

Slide 32 text

インターネットでのインジェストは第三者の影響を受けやすい専⽤線でのインジェストをしたいが、各スタジオとクラウドを専⽤線で結ぶのは⾮現実的中央集約（ハブ化）スタジオA スタジオB スタジオC データセンタークラウドA クラウドG ➡ 各スタジオとデータセンターを専⽤線で、データセンターとクラウドをプライベートピアで結ぶ

Slide 33

Slide 33 text

伝送技術の選定スタジオサブプロトコルデータセンター⾮圧縮現場クラウド伝送装置伝送装置伝送装置サーバー伝送技術 HD HD-SDI i . K G-SDI Quad MPEG- H. TICO H. コーデック RTP RTMP Zixi SRT RIST SMPTE - SMPTE × コーデック × × プロトコル SDI IP コーデック H. / H. プロトコル RTP-FEC / RTMP / Zixi / SRT / RIST ⾮圧縮 MPEG- H. TICO H. RTP RTMP Zixi SRT RIST SMPTE - SMPTE

Slide 34

Slide 34 text

• IPネットワークをベースとした伝送を選択 CyberAgentにはデータセンターのエンジニアもいるため、IPだと⾃社でメンテナンスが可能 IPベースの伝送スタジオサブデータセンター常設スタジオクラウドエンコーダー中継サーバーサーバーマルチキャストネットワークスタジオサブ外配信現場エンコーダープロトコル変換監視モニター ➡ なぜインジェストエンコーダーをスタジオに設置したか • 外配信現場などのスタジオ変化に対応するため • ⼆重エンコードによる画質劣化を防ぎたいため RTP H. Zixi RTP H.

Slide 35

Slide 35 text

• IGMP v SSM(Source Speciﬁc Multicast)によるマルチキャストルーティング各拠点や各機器で欲しいスタジオサブの映像を⾃由に取得可能マルチキャストネットワークエンコーダー中継サーバー @データセンター監視モニター @監視ルーム現場モニター＠スタジオ

Slide 36

Slide 36 text

΅͘ͷ͔Μ͕͍͖͑ͨ͞ΐ͏ͷ഑৴γεςϜ エンコーダーリプレイス

Slide 37

Slide 37 text

求める要件（⼀部） • 品質の⾼いエンコード（主にデインターレース） • 24/7の稼働率 • テロップの挿⼊が可能 • CM挿⼊サポートエンコーダーリプレイス検証中の様⼦仕様だけで分からない部分も多い実機を借りて検証

Slide 38

Slide 38 text

• 挿⼊タイミングの精度向上 ➡ SCTE- でのキュー情報の重畳 • CMが⼊ったことをなるべく早く現場にレスポンスする ➡ キューで映像を静⽌画に切り替えてフィードバック（実際のCMはSSAIで挿⼊） CM挿⼊に求める要件 CM挿⼊すると静⽌画を挿⼊スタジオ映像

Slide 39

Slide 39 text

エンコーダー選定表

Slide 40

Slide 40 text

΅͘ͷ͔Μ͕͍͖͑ͨ͞ΐ͏ͷ഑৴γεςϜ 監視設備強化

Slide 41

Slide 41 text

ABEMAでは⽣配信を常に監視 • 今まではスタジオが⼊ったビルの⼀室 ➡ 電源冗⻑化された施設へ • レガシーな監視からの脱却 ➡ Grafana / Zabbixの導⼊ ➡ IP MVの導⼊監視設備強化新マスタールーム

Slide 42

Slide 42 text

• エンコーダー/中継機器/IP MVなどの機器から情報を取得 ➡ Grafana/Zabbixで可視化により、⽬視監視から⾃動監視へ Grafana / Zabbix 導⼊ Grafana Zabbix

Slide 43

Slide 43 text

• 従来のSDI MVでは、ルーティングの設定が必要 & 物理ケーブルが必要また、ストリーム受信にPCを使⽤していたため、相当数のPCが必要であった ➡ ネットワークからストリームを受信してMV画⾯を⽣成する製品の導⼊映像内部の問題も検知可能へ IP MV(Multi-Viewer) の導⼊ IP MV画⾯

Slide 44

Slide 44 text

΅͘ͷ͔Μ͕͍͖͑ͨ͞ΐ͏ͷ഑৴γεςϜ 新配信管理画⾯

Slide 45

Slide 45 text

現場の意⾒をヒアリングした上で、現場が使いやすい管理画⾯を新たに開発新配信管理画⾯新たな配信管理画⾯

Slide 46

Slide 46 text

• インジェスト先のアドレスをエンコーダーに⼊⼒するのが⼤変 ➡ 管理画⾯上からエンコーダーを選択する形に変更オペレーション負荷を低減 • テロップを簡易に⼊れたい ➡ 管理画⾯上からテロップの選択や位置調整を⾏いエンコーダーを制御するように新規開発新配信管理画⾯

Slide 47

Slide 47 text

• ブラウザ画⾯だとCM挿⼊ボタンの誤クリックや確実性に⽋ける懸念があった ➡ HIDとして認識する物理CMボタンを設計‧特注 WebHID技術を使⽤してブラウザと通信が可能 CMボタンプロトタイプ版初号機量産機

Slide 48

Slide 48 text

CloudNativeなアーキテクチャこの話はまたどこかで…

Slide 49

Slide 49 text

まとめと今後

Slide 50

Slide 50 text

• ABEMAに次世代のインジェストアーキテクチャを検討して導⼊した実際に使⽤開始になるのはもう少し先 • ⼊社してワガママを⾔い続けていたらいつの間にかプロジェクトになった⼤きなプロジェクトを動かすのは⼤変だが、新卒3年⽬から社⻑に提案して実際に動けたのは良い経験だった • 現場の意⾒をヒアリングすることは⼤切使いやすい構成にしておくことで現場の負荷を下げ、オペミス低減や業務効率化が図れるまとめ

Slide 51

Slide 51 text

• インジェストレイヤーをエンジニアリングできる体制を整えられたより⾼画質な配信、低遅延な配信、⾼可⽤な配信など新しいチャレンジがやりやすくなった今後

Slide 52

Slide 52 text

No content