DMM.comラボにおける Scality Ring 活⽤事例 DMM.comラボ 配信基盤グループ 佐藤雄⼀郎 2017年10⽉18⽇

© DMM.com Labo Topics 2 1. 会社・事業の紹介 2. DMMにおける動画配信について 3. 動画配信基盤の変遷（〜2015） 4. Scality導⼊ 5. フィードバック 6. 改善と拡張 7. まとめ・将来に向けて

1. 会社・事業の紹介 3 © DMM.com Labo

株式会社nana music 会社概要・グループ 4 株式会社DMM.comラボ システム開発・運営 ネットワークインフラの提供 Webマーケティング株式会社 株式会社DMM.com 事業の企画・営業 株式会社DMM.com証券 FX・CFDの運営 株式会社DMM.futureworks DMM VR THEATERの運営および プロデュース・企画、 ⾳楽・映像コンテンツの制作 株式会社DMM.com Base DISCメディアのプレス、アッセンブリ業務 物流サービス事業 DVD、CD、BDなどのソフトレンタル事業 株式会社DMM.com OVERRIDE DMM GAMES制作・運営 2D / 3Dデザイン制作 ゲームネットワークインフラの運⽤ DMM.com Groupは 動画や電⼦書籍などのダ ウンロード販売ほか、 ゲームや通販、オンライ ンレンタルなどを提供す るサイト「DMM.com」 の構築から運営までを⼿ がけているグループです。 株式会社nana music ⾳楽コミュニティサービスnanaの企画、 開発及び運営 株式会社DMM.Staff グローバルIT⼈材のコンサルティング事業 ⼀般社団法⼈DMMアカデミー 『⾃ら気付き、考え、⾏動を 起こすことがで きる⼈間を育成すること』 を⽬指す私塾 ピックアップ株式会社 スマートフォン向けサービスの 企画・開発・運営 © DMM.com Labo

会社概要・数値やサービス 5 売上⾼推移 会員数推移 © DMM.com Labo

２. DMMにおける動画配信について 6 © DMM.com Labo

動画配信コンテンツのおもな特⻑ 7 タイトル数３０万タイトル超 ロングテール型 豊富な対応デバイス PC、スマートフォン、去年よりVR作品も展開 年間約１PBのペースで増えるコンテンツ 6TB SATAx12本構成のサーバをRAID6で運⽤ © DMM.com Labo

動画配信の規模や特徴 8 配信規模 キャンペーンのピークでは200Gbpsを計測 基本的にはオンプレミスでの配信が中⼼ 200Gbps © DMM.com Labo

全体として 9 © DMM.com Labo サーバー 900台 ストレージ 10,000TB ピークトラフィック 200Gbps

３. 動画配信基盤の変遷（〜2015） 10 © DMM.com Labo

サービス開始から2015年まで 11 2002年 DAS + Windows Server 2007年 クラスタストレージ 2010年 Windows Server 200台 2013年 Linux + GlusterFS © DMM.com Labo

初期〜中期 Windowsの課題 12 2002年 DAS + Windows Server 2007年 クラスタストレージ 2010年 Windows Server 200台 © DMM.com Labo Windowsメインのシステム 冗⻑性、拡張性、保守性に難があった時代

中期〜後期 Linux 13 2013年 Linux + GlusterFS © DMM.com Labo Windows時代の課題の解決 GlusterFSを通じて、SDSのメリットを享受 SDSとの出会い ü 冗⻑性の担保 ü 拡張性の向上 ü 保守性の向上

GlusterFSの課題 SATA HDDをメインで使⽤していることもあり ノードにつき3Gbps程度で限界に到達 2013年から構築を⾏ってきたGlusterFSは すでに150ボリュームほどに構築数が増えたため 管理側も使う側も⼯数がどんどんかかっていった 構築時期の違いによるバージョン差なども痛⼿に 14 これらの問題を解決できるストレージを模索していた © DMM.com Labo

Scalityの提案 15 1RING構成で数10PBまでのボリューム構築が可能 要件にあった設計が可能 ライセンスが容量単位 ディスク利⽤効率の向上 性能⾯、管理⾯の問題を同時に解消できる可能性 2016年7⽉より本番投⼊を開始 © DMM.com Labo

４. Scality導⼊（2016） 16 © DMM.com Labo

Scalityシステム概要 17 48台のIAサーバ arc 8 + 4 ファイルシステム 初期1PBで導⼊し 総容量2PBへ拡張 2016年7⽉に運⽤開始 © DMM.com Labo ScalityRINGをマウントした Fuse Connectorを Streaming Serverとして使⽤ 既存のストレージ群と接続し コンテンツ管理を⾏うため CIFS Connectorを⽤意

こんな効果がでました ① 18 ・ 新規ストレージの構築が不要に ・ 既存ストレージの集約 ・ 管理⼯数の削減 © DMM.com Labo ボリューム管理の問題が解消！

こんな効果がでました ② 19 ・ スループットの向上 ・ キャンペーン時のCDN利⽤が不要に ・ キャンペーン時の特設システムの構築や準備が不要に © DMM.com Labo 性能⾯の問題が解消！

こんな効果がでました ② トラフィック 20 RINGノードからのトラフィックも60Gbpsを 超えており、安定稼動中 66.02Gbps © DMM.com Labo

こんな効果がでました ③ 21 ・ 容量効率の向上 GlusterFS（1.3PB） vs Scality RING（2PB） ・ データに対しての耐障害性の向上 1/2台（raid6 + replica） vs 4/48台（arc8 + 4） © DMM.com Labo 効率的なデータの保持が可能に！

効果 まとめ 22 ボリューム管理の解消 パフォーマンスの改善 データ保持の効率化 © DMM.com Labo 導⼊前の問題点がほぼ解消 Scalityならではのメリットも享受

５. フィードバック 23 © DMM.com Labo

動画配信で使ってみて… 24 ⼀年間運⽤してきてわかったことを いくつかあげてみます © DMM.com Labo

性能⾯ 25 データ量の増加やアクセス数の増加により、利⽤容量 半ばでRINGのピーク時のI/Owaitが18%を超えるように RINGへのリクエスト数が多い我々の使い⽅では 容量を使い切る前に性能限界がきそう 18% © DMM.com Labo

ハードウェア⾯・保守⾯ 26 ・ RAIDコントローラーの不具合によってRINGの スループットに影響が出た ・ 保守時はサービスアウト、作業、サービスインを１台ずつ ・ ディスク故障時のオペレーションが煩雑 Scalityならではの保守オペレーションが増えることに © DMM.com Labo ハードウェアの影響を露⾻に受ける

Scalityのソフトウェアとしての対応と調整 27 l Connector sfusedのメモリ l RINGノード間のTimeout値 l ConnectorとRING間のTimeout値 ・ 導⼊当初の各種パラメータはScality社推奨値を適⽤したが 性能問題や障害発⽣時に都度チューニングをすることに ・ Scalityそのもののバージョンアップも不定期で発⽣ © DMM.com Labo

フィードバックは⾊々とありましたが… 28 メリットは⼗分あったため 課題を解決しつつRingを拡張することに © DMM.com Labo

6. 改善と拡張（2017） 29 © DMM.com Labo

せっかく追加するので⾊々と改善したい 30 性能アップ ハード問題の排除（RAIDコントローラー等） パラメーターチューニング Scalityバージョンアップ OSバージョンアップ © DMM.com Labo 拡張する？新しく作る？

現状をみてみると 31 既存のScality環境はコンテンツが継続して追加され、 また⽇々⾼負荷な利⽤がされており、 オーバーヘッドを伴う作業をなるべくしたくない状況 RINGの性能を改善する場合、効果をダイレクトに⾒たい 既存の拡張はせず、新規RINGを作ることに © DMM.com Labo

追加の⽅針 32 新規RINGの性能向上 新規RINGのハード問題の排除 新規RINGのパラメーターチューニング 2PBの追加 © DMM.com Labo 2環境による保守性の向上 新規RINGの結果を既存にフィードバック

改善ポイント① 性能アップ 33 アプリやScalityのチューニングでは⼤きな改善は難しい ハードウェアの構成変更で対応することに © DMM.com Labo 総容量は変えずにディスク本数を増やして I/O性能を2倍に！！

改善ポイント② パラメーターチューニング 34 Scality社と現⾏の利⽤状況を分析し 効果のあるパラメータの精査を⾏う 初回導⼊では特に共有がなかったパラメーター についても、今回の導⼊では共有していく © DMM.com Labo 効果があったら既存環境にも適⽤したい

改善ポイント③ ハードの検討 35 HW選定タイミングでScality社とHWベンダーを 交えて障害ポイントを減らしつつ 要件にマッチした性能の出る構成を検討 © DMM.com Labo 要件がずれないように ハードウェア的なリスクが回避できるように

導⼊時期と結果は… 36 2017年末のサービスインを⽬指します 性能改善の結果はまた来年のSDSDAYSで！ © DMM.com Labo

7. まとめ・将来に向けて 37 © DMM.com Labo

まとめ SDSとScality 38 PBクラスのデータに対し 導⼊のみでメリットを提供してくれた （容量効率・耐障害性・拡張性） IAサーバならなんでも良いわけではない コストを考えつつも、⾃分たちの要件にあった 適切なハードウェアを選ぶことが⼤事 （HDD、SSD、CPU、メモリ、ネットワーク） © DMM.com Labo ユーザーの環境ごとにそれぞれ効果はある 要件にあった構成をえらび、効果を最⼤限に

将来に向けて 39 2環境のRingの継続的な容量拡張 メンバーのナレッジ向上 DMMは継続して増加していくPB級のデータを持つ⽴場 今後も積極的なSDSの利⽤とフィードバックを⾏い SDSの拡⼤に貢献していきたい © DMM.com Labo

ご静聴ありがとうございました。