Tweet
Tweet

Slide 1

Slide 1 text

No content

Slide 2

Slide 2 text

⼭中 勇成 a.k.a みゆっき 2017年度 新卒⼊社 株式会社AbemaTV 開発局 コンテンツ配信Div. 未踏スーパークリエータ @toriimiyukki @miyukki

Slide 3

Slide 3 text

最近の買い物

Slide 4

Slide 4 text

໨࣍ Contents ໨࣍ Contents ໨࣍ Contents ໨࣍ Contents ໨࣍ Contents ‣ 5周年を迎えるABEMAが抱えるもの ‣ ボトムアップからのプロジェクト発⾜ ‣ ぼくのかんがえたさいきょうの配信システム ‣ まとめと今後 A g e n d a

Slide 5

Slide 5 text

5周年を迎えるABEMAが抱えるもの

Slide 6

Slide 6 text

https://contents-abema.com/ th/

Slide 7

Slide 7 text

ABEMAで配信しているコンテンツ テ レ ビ ビ デ オ 納品素材 スタジオ 配信システム CDN 納品素材 配信システム CDN 視聴デバイス 視聴デバイス

Slide 8

Slide 8 text

ユーザー👫 売り上げ💰 5周年を迎えるABEMAが抱えるもの

Slide 9

Slide 9 text

負債

Slide 10

Slide 10 text

技術的負債 意図的な負債 • 少ない⼈数、短い期間での開発によるコードの品質の悪化 • 配信技術に関する知識不⾜ 変化による負債 • ⾔語, ライブラリ, ミドルウェアバージョンアップへの追従 • 新しい技術やサービスの登場 IUUQTOPUFDPNDZCFS[@DUPOOGED 💡ͪ͜Β΋ࢀߟ

Slide 11

Slide 11 text

5年間の負債は技術だけじゃない 🙅

Slide 12

Slide 12 text

組織的負債の例 👦👦👦 👦👧👧 現場技術 👦👦👦 配信開発 👦👦👦 👦👦👦 👧👧👧 API 👦👦👦 👦👦👧 広告 👦👦👦 👦👦👦 SRE 映像ソース エンコーダー サーバー CDN この部分の⾯倒を⾒る⼈がいない

Slide 13

Slide 13 text

• 配信現場と配信システムの中間レイヤー責任者不在 • 課題や障害が起きたときに本質的解決がされない • 現場の負荷を考えないオペレーション設計 • 負荷によりオペミスの誘発、対応に限界ができる • ABEMAが求めるターゲットクオリティの変化 • 画質や安定性がクオリティを満たさない設計になっている 組織的負債 運⽤的負債 本質的負債

Slide 14

Slide 14 text

No content

Slide 15

Slide 15 text

ボトムアップからのプロジェクト発⾜

Slide 16

Slide 16 text

バカンスを楽しむCTO 今のABEMAって、こういうところに 課題あると思うのですが… 落書きされた僕

Slide 17

Slide 17 text

YOU!! やっちゃいなよ 覚醒したCTO

Slide 18

Slide 18 text

ブレない軸 =ミッション を決める ミッション インターネットのマスメディアとして必要な要素

Slide 19

Slide 19 text

配信運⽤ / 配信技術 / エンジニアを集めて、ワークを実施 有識者を集めてヒアリング

Slide 20

Slide 20 text

No content

Slide 21

Slide 21 text

• 組織改善 • 本質改善 • 運⽤改善 改善案を3つのテーマに 分けて提案 ミッションを達成するための改善案をまとめる

Slide 22

Slide 22 text

社⻑に当てる 今のABEMAって、 こういうところに課題があり、 こういう改善案を⽤意したのですが…

Slide 23

Slide 23 text

㊗🎉 プロジェクト発⾜

Slide 24

Slide 24 text

スタジオ機材更新 配信システム更新 ニュース低遅延化 ABEMA技術者 横軸MTG 多数のプロジェクトが発⾜

Slide 25

Slide 25 text

ぼくのかんがえたさいきょうの配信システム

Slide 26

Slide 26 text

Photograph by Kordite !"#$%&'%(

Slide 27

Slide 27 text

次世代のインジェストアーキテクチャを構築するプロジェクト SUPERBIRDとは 現場からサーバまでのアップロードのこと ※社内でのコードネーム 映像ソース エンコーダー サーバー CDN インジェスト

Slide 28

Slide 28 text

SUPERBIRDの⽬的 課題解決 将来への投資 • K対応 • 低遅延化 • システムの集中管理 など • 配信トラブルの抑制 • 画質向上 • 設備依存 • CMタイミング精度の向上 など 上記を実現するための 次世代のインジェストアーキテクチャを設計する ABEMAにおける と が⽬的

Slide 29

Slide 29 text

より良いインジェストアーキテクチャとは 品質が⾼い • 映像、⾳が良い = 製作者の意図を”そのまま”反映できる • 遅延が短い 安定している • 途切れない • 途切れても冗⻑構成に切り替えが可能 • 第三者要因に影響されない 運⽤しやすい • オペレーションが単純 • システムが集中管理されている • トラブルに即座に対応可能 柔軟である • スタジオの増減に柔軟に対応可能 • ⼊出⼒フォーマットの変化に短期間で移⾏可能 • ABEMA以外のCAのサービスでも流⽤可能

Slide 30

Slide 30 text

• 中央集約（ハブ化） • エンコーダーリプレイス • 監視設備強化 • 新配信管理画⾯ SUPERBIRDのアプローチ

Slide 31

Slide 31 text

΅͘ͷ͔Μ͕͍͖͑ͨ͞ΐ͏ͷ഑৴γεςϜ 中央集約（ハブ化）

Slide 32

Slide 32 text

インターネットでのインジェストは第三者の影響を受けやすい 専⽤線でのインジェストをしたいが、各スタジオとクラウドを専⽤線で結ぶのは⾮現実的 中央集約（ハブ化） スタジオA スタジオB スタジオC データセンター クラウドA クラウドG ➡ 各スタジオとデータセンターを専⽤線で、データセンターとクラウドをプライベートピアで結ぶ

Slide 33

Slide 33 text

伝送技術の選定 スタジオサブ プロトコル データセンター ⾮圧縮 現場 クラウド 伝送装置 伝送装置 伝送装置 サーバー 伝送技術 HD HD-SDI i . K G-SDI Quad MPEG- H. TICO H. コーデック RTP RTMP Zixi SRT RIST SMPTE - SMPTE × コーデック × × プロトコル SDI IP コーデック H. / H. プロトコル RTP-FEC / RTMP / Zixi / SRT / RIST ⾮圧縮 MPEG- H. TICO H. RTP RTMP Zixi SRT RIST SMPTE - SMPTE

Slide 34

Slide 34 text

• IPネットワークをベースとした伝送を選択 CyberAgentにはデータセンターのエンジニアもいるため、IPだと⾃社でメンテナンスが可能 IPベースの伝送 スタジオサブ データセンター 常設スタジオ クラウド エンコーダー 中継 サーバー サーバー マルチキャストネットワーク スタジオサブ 外配信現場 エンコーダー プロトコル 変換 監視 モニター ➡ なぜインジェストエンコーダーをスタジオに設置したか • 外配信現場などのスタジオ変化に対応するため • ⼆重エンコードによる画質劣化を防ぎたいため RTP H. Zixi RTP H.

Slide 35

Slide 35 text

• IGMP v SSM(Source Specific Multicast)によるマルチキャストルーティング 各拠点や各機器で欲しいスタジオサブの映像を⾃由に取得可能 マルチキャストネットワーク エンコーダー 中継サーバー @データセンター 監視モニター @監視ルーム 現場モニター ＠スタジオ

Slide 36

Slide 36 text

΅͘ͷ͔Μ͕͍͖͑ͨ͞ΐ͏ͷ഑৴γεςϜ エンコーダーリプレイス

Slide 37

Slide 37 text

求める要件（⼀部） • 品質の⾼いエンコード（ 主にデインターレース） • 24/7の稼働率 • テロップの挿⼊が可能 • CM挿⼊サポート エンコーダーリプレイス 検証中の様⼦ 仕様だけで分からない部分も多い 実機を借りて検証

Slide 38

Slide 38 text

• 挿⼊タイミングの精度向上 ➡ SCTE- でのキュー情報の重畳 • CMが⼊ったことをなるべく早く現場にレスポンスする ➡ キューで映像を静⽌画に切り替えてフィードバック（実際のCMはSSAIで挿⼊） CM挿⼊に求める要件 CM挿⼊すると 静⽌画を挿⼊ スタジオ映像

Slide 39

Slide 39 text

エンコーダー選定表

Slide 40

Slide 40 text

΅͘ͷ͔Μ͕͍͖͑ͨ͞ΐ͏ͷ഑৴γεςϜ 監視設備強化

Slide 41

Slide 41 text

ABEMAでは⽣配信を常に監視 • 今まではスタジオが⼊ったビルの⼀室 ➡ 電源冗⻑化された施設へ • レガシーな監視からの脱却 ➡ Grafana / Zabbixの導⼊ ➡ IP MVの導⼊ 監視設備強化 新マスタールーム

Slide 42

Slide 42 text

• エンコーダー/中継機器/IP MVなどの機器から情報を取得 ➡ Grafana/Zabbixで可視化により、⽬視監視から⾃動監視へ Grafana / Zabbix 導⼊ Grafana Zabbix

Slide 43

Slide 43 text

• 従来のSDI MVでは、ルーティングの設定が必要 & 物理ケーブルが必要 また、ストリーム受信にPCを使⽤していたため、相当数のPCが必要であった ➡ ネットワークからストリームを受信してMV画⾯を⽣成する製品の導⼊   映像内部の問題も検知可能へ IP MV(Multi-Viewer) の導⼊ IP MV画⾯

Slide 44

Slide 44 text

΅͘ͷ͔Μ͕͍͖͑ͨ͞ΐ͏ͷ഑৴γεςϜ 新配信管理画⾯

Slide 45

Slide 45 text

現場の意⾒をヒアリングした上で、 現場が使いやすい管理画⾯を新たに開発 新配信管理画⾯ 新たな配信管理画⾯

Slide 46

Slide 46 text

• インジェスト先のアドレスをエンコーダーに ⼊⼒するのが⼤変 ➡ 管理画⾯上からエンコーダーを選択する形に変更   オペレーション負荷を低減 • テロップを簡易に⼊れたい ➡ 管理画⾯上からテロップの選択や位置調整を⾏い   エンコーダーを制御するように新規開発 新配信管理画⾯

Slide 47

Slide 47 text

• ブラウザ画⾯だとCM挿⼊ボタンの誤クリックや確実性に⽋ける懸念があった ➡ HIDとして認識する物理CMボタンを設計‧特注   WebHID技術を使⽤してブラウザと通信が可能 CMボタン プロトタイプ版 初号機 量産機

Slide 48

Slide 48 text

CloudNativeなアーキテクチャ この話はまたどこかで…

Slide 49

Slide 49 text

まとめと今後

Slide 50

Slide 50 text

• ABEMAに次世代のインジェストアーキテクチャを検討して導⼊した 実際に使⽤開始になるのはもう少し先 • ⼊社してワガママを⾔い続けていたらいつの間にかプロジェクトになった ⼤きなプロジェクトを動かすのは⼤変だが、 新卒3年⽬から社⻑に提案して実際に動けたのは良い経験だった • 現場の意⾒をヒアリングすることは⼤切 使いやすい構成にしておくことで現場の負荷を下げ、オペミス低減や業務効率化が図れる まとめ

Slide 51

Slide 51 text

• インジェストレイヤーをエンジニアリングできる体制を整えられた より⾼画質な配信、低遅延な配信、⾼可⽤な配信など新しいチャレンジがやりやすくなった 今後

Slide 52

Slide 52 text

No content