デジタルコンテンツの安定配信とコスト削減の両立を実現したシステム刷新

Slide 1

Slide 1 text

株式会社DMM.comラボ渡辺宣彦デジタルコンテンツの安定配信とコスト削減の両立を実現したシステム刷新 1 アプリケーション・パフォーマンス 2017

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Copyright © since 2017 DMM All Rights Reserved. 4 DMM.comにおける動画配信 DMM.comの動画や電子書籍といったデジタルコンテンツの配信は古くは2002年から始まっておりロングテール型サービス提供のためコンテンツ数は年々増え続けています今回は動画配信のサービス開始から現在に至るまでに行ってきたシステムの変遷や改善点についてご説明させていただきたいと思います

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Copyright © since 2017 DMM All Rights Reserved. 18 コンテンツをサーバで冗長化するには要するサーバの台数も2倍になってしまうためファイルアップロードに要する時間も2倍に運用面でも現実的ではなかった HWの制約によって空きポートがなくチーミング不可能（※増設するPCIの空きもない）ユーザー影響のあるハードウェア起因の障害が増加 ①単一障害点となってしまったこと

Slide 19

Slide 19 text

Copyright © since 2017 DMM All Rights Reserved. 19 RAIDコントローラのファームウェアでバグを引き「予期しないシャットダウン」やカーネルパニックが100台以上で周期的に発生使用するHDDのファームウェアでもバグを引いてしまい、一斉に障害検知されたりリビルドが正常に完了しないことも改善しないファームウェアのバグと3年近く格闘 ②HWがほぼ統一されたことによる弊害

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Copyright © since 2017 DMM All Rights Reserved. 29 Windows Server 2003をリプレイスする必要がある →2014年時点で200台まで増えていた Windows Media Player経由のストリーミングが不可に →WMVに変わるストリーミング素材としてMP4を用意 2PBのデータ移動ならびにMP4作成 29 ほぼ、配信基盤全体のリプレイスに匹敵膨大な影響範囲

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Copyright © since 2017 DMM All Rights Reserved. 32 ダウンロードサーバをすべてGlusterFSへ移行 IISからApacheへ GlusterFSの導入 Apache+GlusterFS Replica Volume Apache+GlusterFS Replica Volume すべて10Gbpsネットワーク GlusterFS Replica 2

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Copyright © since 2017 DMM All Rights Reserved. 34 キャンペーン用負荷対策サーバもGlusterFSで GlusterFSの導入名前用途備考 PicsMaster 画像マスター Redhat Gluster Storage TV用Gluster ファイルサーバ MP4用Gluster ファイルサーバ動画CP用負荷対策Gluster DLサーバスマホDL用Gluster DLサーバ増設する工数もさらに削減！

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Copyright © since 2017 DMM All Rights Reserved. 36 SATA HDDをメインで使用していることもあり 1ノードにつき3Gbps程度で限界に到達 2012年から構築を行ってきたGlusterFSはすでに150ボリュームほどに構築数が増えたため構築時期とバージョンの差により管理上の問題が起きはじめていた GlusterFSの課題このあたり解決できるストレージを模索していた

Slide 37

Slide 37 text

Copyright © since 2017 DMM All Rights Reserved. 37 PB規模のストレージでも運用上、特に問題となるような事象が起きなかった台数ごとにおけるデータ利用効率が従来より上がった GlusterFS (1.3PB) vs Scality RING (2PB) ライセンスが容量単位の精度になっていたこと Scality RINGの導入理由 2016年7月より本番投入を開始

Slide 38

Slide 38 text

Copyright © since 2017 DMM All Rights Reserved. 38 38 ScalityRINGの導入後現在2PBのボリューム 48ノードで運用中負荷対策専用のストレージを用意せずキャンペーンを乗り切ることが可能に ScalityRINGをマウントした Fuse Connectorを Streaming Serverとして使用既存のストレージ群と接続しコンテンツ管理を行うため CIFS Connectorを用意

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Copyright © since 2017 DMM All Rights Reserved. 50 トラフィックの推移 103.1 121.65 151.3 197.35 215.14 0 50 100 150 200 250 2013年 2014年 2015年 2016年 2017年配信インフラ基盤の変遷 2013/ GlusterFS導入 2014/ 10G化推進 2015/ オリジンリプレイス 2016/ Scality RING導入単位 Gbps

Slide 51

Slide 51 text

Copyright © since 2017 DMM All Rights Reserved. 51 不具合解消の推移 18 6 1 0 4 3 1 1 0 2 4 6 8 10 12 14 16 18 20 2013年 2014年 2015年 2016年アクセス過多による不具合サーバ故障に起因する不具合かねてより問題となっていた単一障害点の解消やボトルネックとなりえるハードウェアのリプレイスで改善の傾向が顕著に表れている ※あくまでサーバ単体のトラブルとした数字