動画サービスを支える配信基盤のコアテクノロジー

by Masahito Yano

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

© DMM.com 9 9 コンテンツホルダー DB 商品情報ユーザー情報低位のAPIレイヤー DB / REST API 上位のWeb Framework View / REST API PFが用意する共通基盤静的キャッシュ基盤ユーザー VR テレビゲームスマホ PC ライブ配信運用部門エンコードシステム「JIRO」一部のダウンロード配信動的配信基盤動的キャッシュ「VODST」マルチDRMサーバー「mlic」配信情報管理API/DB「st-api」ストレージ CDN オフロードサービス API CMS 商品情報管理システム

Slide 10

Slide 10 text

© DMM.com 10 10 コンテンツホルダー DB 商品情報ユーザー情報低位のAPIレイヤー DB / REST API 上位のWeb Framework View / REST API PFが用意する共通基盤静的キャッシュ基盤ユーザー VR テレビゲームスマホ PC ライブ配信運用部門エンコードシステム「JIRO」一部のダウンロード配信動的配信基盤動的キャッシュ「VODST」マルチDRMサーバー「mlic」配信情報管理API/DB「st-api」ストレージ CDN オフロードサービス API CMS 商品情報管理システム動画を「再生」するには結構苦労がある

Slide 11

Slide 11 text

© DMM.com 11 11 コンテンツホルダー DB 商品情報ユーザー情報低位のAPIレイヤー DB / REST API 上位のWeb Framework View / REST API PFが用意する共通基盤静的キャッシュ基盤ユーザー VR テレビゲームスマホ PC ライブ配信運用部門エンコードシステム「JIRO」一部のダウンロード配信動的配信基盤動的キャッシュ「VODST」マルチDRMサーバー「mlic」配信情報管理API/DB「st-api」ストレージ CDN オフロードサービス API CMS 商品情報管理システム商品情報が必要

Slide 12

Slide 12 text

© DMM.com 12 12 コンテンツホルダー DB 商品情報ユーザー情報低位のAPIレイヤー DB / REST API 上位のWeb Framework View / REST API PFが用意する共通基盤静的キャッシュ基盤ユーザー VR テレビゲームスマホ PC ライブ配信運用部門エンコードシステム「JIRO」一部のダウンロード配信動的配信基盤動的キャッシュ「VODST」マルチDRMサーバー「mlic」配信情報管理API/DB「st-api」ストレージ CDN オフロードサービス API CMS 商品情報管理システムエンコードが必要

Slide 13

Slide 13 text

© DMM.com 13 13 コンテンツホルダー DB 商品情報ユーザー情報低位のAPIレイヤー DB / REST API 上位のWeb Framework View / REST API PFが用意する共通基盤静的キャッシュ基盤ユーザー VR テレビゲームスマホ PC ライブ配信運用部門エンコードシステム「JIRO」一部のダウンロード配信動的配信基盤動的キャッシュ「VODST」マルチDRMサーバー「mlic」配信情報管理API/DB「st-api」ストレージ CDN オフロードサービス API CMS 商品情報管理システムコンテンツの保護も当然必要

Slide 14

Slide 14 text

© DMM.com 14 14 コンテンツホルダー DB 商品情報ユーザー情報低位のAPIレイヤー DB / REST API 上位のWeb Framework View / REST API PFが用意する共通基盤静的キャッシュ基盤ユーザー VR テレビゲームスマホ PC ライブ配信運用部門エンコードシステム「JIRO」一部のダウンロード配信動的配信基盤動的キャッシュ「VODST」マルチDRMサーバー「mlic」配信情報管理API/DB「st-api」ストレージ CDN オフロードサービス API CMS 商品情報管理システムこの辺りのソフトウェアレイヤーを弊チームで開発

Slide 15

Slide 15 text

© DMM.com 15 15 コンテンツホルダー DB 商品情報ユーザー情報低位のAPIレイヤー DB / REST API 上位のWeb Framework View / REST API PFが用意する共通基盤静的キャッシュ基盤ユーザー VR テレビゲームスマホ PC ライブ配信運用部門エンコードシステム「JIRO」一部のダウンロード配信動的配信基盤動的キャッシュ「VODST」マルチDRMサーバー「mlic」配信情報管理API/DB「st-api」ストレージ CDN オフロードサービス API CMS 商品情報管理システムこの辺りのソフトウェアレイヤーを弊チームで開発動画の配信『支えてます』

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

© DMM.com 35 規模感負荷もいっぱい! 103.1Gbps 121.65Gbps 151.3Gbps 197.35Gbps 259.18Gbps 280Gbps 340Gbps 386Gbps 0 50 100 150 200 250 300 350 400 450 2013 2014 2015 2016 2017 2018 2019 2020 対外トラフィック 2013 2014 2015 2016 2017 2018 2019 2020

Slide 36

Slide 36 text

© DMM.com 36 規模感負荷もいっぱい! 103.1Gbps 121.65Gbps 151.3Gbps 197.35Gbps 259.18Gbps 280Gbps 340Gbps 386Gbps 0 50 100 150 200 250 300 350 400 450 2013 2014 2015 2016 2017 2018 2019 2020 対外トラフィック 2013 2014 2015 2016 2017 2018 2019 2020 直近に更新しました 386Gbps (@1/9未明)

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Slide 50

Slide 50 text

© DMM.com VR テレビゲームスマホ PC 50 Wowza OpenResty 負荷分散後の配信URL Storage Proxy Cache OpenResty Origin Device Redirector st-api VODST Manager CDN 配信URL OpenRestyのShared Memoryにアクセス情報がたまる ContentA: 100reqs/sec ContentB: 1000reqs/sec ContentC: 0reqs/sec Node1 ContentA: 200reqs/sec ContentB: 1500reqs/sec ContentC: 1reqs/sec Node2 … Node3

Slide 51

Slide 51 text

© DMM.com 51 Wowza OpenResty 負荷分散後の配信URL Storage Proxy Cache OpenResty Origin Device Redirector st-api VODST Manager CDN 配信URL 配信サーバーがManagerノードへデータを転送 Node1 ContentA: 200reqs/sec ContentB: 1500reqs/sec ContentC: 1reqs/sec Node2 … Node3 ContentA: 500reqs/sec ContentB: 10000reqs/sec ContentC: 2reqs/sec VR テレビゲームスマホ PC ContentA: 100reqs/sec ContentB: 1000reqs/sec ContentC: 0reqs/sec ⚡Consul Event ⚡

Slide 52

Slide 52 text

Slide 53

Slide 53 text

© DMM.com 53 Wowza OpenResty 負荷分散後の配信URL Storage Proxy Cache OpenResty Origin Device Redirector st-api VODST Manager CDN 配信URL 負荷分散情報を各ノードが自発的に回収! ContentA: 500reqs/sec ContentB: 10000reqs/sec ContentC: 2reqs/sec ContentA: 普通 ContentB: ヤバい ContentC: 無風 VR テレビゲームスマホ PC ⚡Consul Event ⚡

Slide 54

Slide 54 text

Slide 55

Slide 55 text

© DMM.com 55 Wowza OpenResty 負荷分散後の配信URL Storage Proxy Cache OpenResty Origin Device Redirector st-api VODST Manager CDN 配信URL 適宜リダイレクト持っているデータを元に適宜リダイレクト ContentA: 普通 ContentB: ヤバい ContentC: 無風 VR テレビゲームスマホ PC

Slide 56

Slide 56 text

Slide 57

Slide 57 text

Slide 58

Slide 58 text

Slide 59

Slide 59 text

Slide 60

Slide 60 text

Slide 61

Slide 61 text

Slide 62

Slide 62 text

Slide 63

Slide 63 text

Slide 64

Slide 64 text

Slide 65

Slide 65 text

Slide 66

Slide 66 text

Slide 67

Slide 67 text

Slide 68

Slide 68 text

Slide 69

Slide 69 text

Slide 70

Slide 70 text

© DMM.com 70 混沌とするデコーダ仕様 iPhone H.264: 4K 60fps Android H.264: Over4K 60fps (Snapdragon 8xx ) Oculus Go H.264: Over4K 60fps PC VR H.264: 4K 60fps / VP9: 8K 60fps PSVR H.264: 3.5K 60fps デバイスに最適なファイルをそれぞれ用意します!

Slide 71

Slide 71 text

© DMM.com 71 混沌とするデコーダ仕様 iPhone H.264: 4K 60fps Android H.264: Over4K 60fps (Snapdragon 8xx ) Oculus Go H.264: Over4K 60fps PC VR H.264: 4K 60fps / VP9: 8K 60fps PSVR H.264: 3.5K 60fps デバイスに最適なファイルをそれぞれ用意します! いっぱいエンコード（ｒｙ

Slide 72

Slide 72 text

© DMM.com 72 混沌とするデコーダ仕様 iPhone H.264: 4K 60fps Android H.264: Over4K 60fps (Snapdragon 8xx ) Oculus Go H.264: Over4K 60fps PC VR H.264: 4K 60fps / VP9: 8K 60fps PSVR H.264: 3.5K 60fps デバイスに最適なファイルをそれぞれ用意します! VRに至っては普通にエンコードすると 0.0x～0.x fps程度

Slide 73

Slide 73 text

© DMM.com 73 混沌とするデコーダ仕様 iPhone H.264: 4K 60fps Android H.264: Over4K 60fps (Snapdragon 8xx ) Oculus Go H.264: Over4K 60fps PC VR H.264: 4K 60fps / VP9: 8K 60fps PSVR H.264: 3.5K 60fps デバイスに最適なファイルをそれぞれ用意します! エンコード時間 2週間/コンテンツとかあり得る