Upgrade to Pro — share decks privately, control downloads, hide ads and more …

DMM.comラボにおける Scality Ring 活⽤事例

B6d9eb9a3825f15c84b5e7588c56a405?s=47 DMM.com
October 20, 2017

DMM.comラボにおける Scality Ring 活⽤事例

Scality SDS Day 2017 Tokyoにて発表した資料となります
1. 会社・事業の紹介
2. DMMにおける動画配信について
3. 動画配信基盤の変遷(〜2015)
4. Scality導⼊
5. フィードバック
6. 改善と拡張
7. まとめ・将来に向けて

B6d9eb9a3825f15c84b5e7588c56a405?s=128

DMM.com

October 20, 2017
Tweet

Transcript

  1. DMM.comラボにおける Scality Ring 活⽤事例 DMM.comラボ 配信基盤グループ 佐藤雄⼀郎 2017年10⽉18⽇

  2. © DMM.com Labo Topics 2 1. 会社・事業の紹介 2. DMMにおける動画配信について 3.

    動画配信基盤の変遷(〜2015) 4. Scality導⼊ 5. フィードバック 6. 改善と拡張 7. まとめ・将来に向けて
  3. 1. 会社・事業の紹介 3 © DMM.com Labo

  4. 株式会社nana music 会社概要・グループ 4 株式会社DMM.comラボ システム開発・運営 ネットワークインフラの提供 Webマーケティング株式会社 株式会社DMM.com 事業の企画・営業

    株式会社DMM.com証券 FX・CFDの運営 株式会社DMM.futureworks DMM VR THEATERの運営および プロデュース・企画、 ⾳楽・映像コンテンツの制作 株式会社DMM.com Base DISCメディアのプレス、アッセンブリ業務 物流サービス事業 DVD、CD、BDなどのソフトレンタル事業 株式会社DMM.com OVERRIDE DMM GAMES制作・運営 2D / 3Dデザイン制作 ゲームネットワークインフラの運⽤ DMM.com Groupは 動画や電⼦書籍などのダ ウンロード販売ほか、 ゲームや通販、オンライ ンレンタルなどを提供す るサイト「DMM.com」 の構築から運営までを⼿ がけているグループです。 株式会社nana music ⾳楽コミュニティサービスnanaの企画、 開発及び運営 株式会社DMM.Staff グローバルIT⼈材のコンサルティング事業 ⼀般社団法⼈DMMアカデミー 『⾃ら気付き、考え、⾏動を 起こすことがで きる⼈間を育成すること』 を⽬指す私塾 ピックアップ株式会社 スマートフォン向けサービスの 企画・開発・運営 © DMM.com Labo
  5. 会社概要・数値やサービス 5 売上⾼推移 会員数推移 © DMM.com Labo

  6. 2. DMMにおける動画配信について 6 © DMM.com Labo

  7. 動画配信コンテンツのおもな特⻑ 7 タイトル数30万タイトル超 ロングテール型 豊富な対応デバイス PC、スマートフォン、去年よりVR作品も展開 年間約1PBのペースで増えるコンテンツ 6TB SATAx12本構成のサーバをRAID6で運⽤ ©

    DMM.com Labo
  8. 動画配信の規模や特徴 8 配信規模 キャンペーンのピークでは200Gbpsを計測 基本的にはオンプレミスでの配信が中⼼ 200Gbps © DMM.com Labo

  9. 全体として 9 © DMM.com Labo サーバー 900台 ストレージ 10,000TB ピークトラフィック

    200Gbps
  10. 3. 動画配信基盤の変遷(〜2015) 10 © DMM.com Labo

  11. サービス開始から2015年まで 11 2002年 DAS + Windows Server 2007年 クラスタストレージ 2010年

    Windows Server 200台 2013年 Linux + GlusterFS © DMM.com Labo
  12. 初期〜中期 Windowsの課題 12 2002年 DAS + Windows Server 2007年 クラスタストレージ

    2010年 Windows Server 200台 © DMM.com Labo Windowsメインのシステム 冗⻑性、拡張性、保守性に難があった時代
  13. 中期〜後期 Linux 13 2013年 Linux + GlusterFS © DMM.com Labo

    Windows時代の課題の解決 GlusterFSを通じて、SDSのメリットを享受 SDSとの出会い ü 冗⻑性の担保 ü 拡張性の向上 ü 保守性の向上
  14. GlusterFSの課題 SATA HDDをメインで使⽤していることもあり ノードにつき3Gbps程度で限界に到達 2013年から構築を⾏ってきたGlusterFSは すでに150ボリュームほどに構築数が増えたため 管理側も使う側も⼯数がどんどんかかっていった 構築時期の違いによるバージョン差なども痛⼿に 14 これらの問題を解決できるストレージを模索していた

    © DMM.com Labo
  15. Scalityの提案 15 1RING構成で数10PBまでのボリューム構築が可能 要件にあった設計が可能 ライセンスが容量単位 ディスク利⽤効率の向上 性能⾯、管理⾯の問題を同時に解消できる可能性 2016年7⽉より本番投⼊を開始 © DMM.com

    Labo
  16. 4. Scality導⼊(2016) 16 © DMM.com Labo

  17. Scalityシステム概要 17 48台のIAサーバ arc 8 + 4 ファイルシステム 初期1PBで導⼊し 総容量2PBへ拡張

    2016年7⽉に運⽤開始 © DMM.com Labo ScalityRINGをマウントした Fuse Connectorを Streaming Serverとして使⽤ 既存のストレージ群と接続し コンテンツ管理を⾏うため CIFS Connectorを⽤意
  18. こんな効果がでました ① 18 ・ 新規ストレージの構築が不要に ・ 既存ストレージの集約 ・ 管理⼯数の削減 ©

    DMM.com Labo ボリューム管理の問題が解消!
  19. こんな効果がでました ② 19 ・ スループットの向上 ・ キャンペーン時のCDN利⽤が不要に ・ キャンペーン時の特設システムの構築や準備が不要に ©

    DMM.com Labo 性能⾯の問題が解消!
  20. こんな効果がでました ② トラフィック 20 RINGノードからのトラフィックも60Gbpsを 超えており、安定稼動中 66.02Gbps © DMM.com Labo

  21. こんな効果がでました ③ 21 ・ 容量効率の向上 GlusterFS(1.3PB) vs Scality RING(2PB) ・

    データに対しての耐障害性の向上 1/2台(raid6 + replica) vs 4/48台(arc8 + 4) © DMM.com Labo 効率的なデータの保持が可能に!
  22. 効果 まとめ 22 ボリューム管理の解消 パフォーマンスの改善 データ保持の効率化 © DMM.com Labo 導⼊前の問題点がほぼ解消

    Scalityならではのメリットも享受
  23. 5. フィードバック 23 © DMM.com Labo

  24. 動画配信で使ってみて… 24 ⼀年間運⽤してきてわかったことを いくつかあげてみます © DMM.com Labo

  25. 性能⾯ 25 データ量の増加やアクセス数の増加により、利⽤容量 半ばでRINGのピーク時のI/Owaitが18%を超えるように RINGへのリクエスト数が多い我々の使い⽅では 容量を使い切る前に性能限界がきそう 18% © DMM.com Labo

  26. ハードウェア⾯・保守⾯ 26 ・ RAIDコントローラーの不具合によってRINGの スループットに影響が出た ・ 保守時はサービスアウト、作業、サービスインを1台ずつ ・ ディスク故障時のオペレーションが煩雑 Scalityならではの保守オペレーションが増えることに

    © DMM.com Labo ハードウェアの影響を露⾻に受ける
  27. Scalityのソフトウェアとしての対応と調整 27 l Connector sfusedのメモリ l RINGノード間のTimeout値 l ConnectorとRING間のTimeout値 ・

    導⼊当初の各種パラメータはScality社推奨値を適⽤したが 性能問題や障害発⽣時に都度チューニングをすることに ・ Scalityそのもののバージョンアップも不定期で発⽣ © DMM.com Labo
  28. フィードバックは⾊々とありましたが… 28 メリットは⼗分あったため 課題を解決しつつRingを拡張することに © DMM.com Labo

  29. 6. 改善と拡張(2017) 29 © DMM.com Labo

  30. せっかく追加するので⾊々と改善したい 30 性能アップ ハード問題の排除(RAIDコントローラー等) パラメーターチューニング Scalityバージョンアップ OSバージョンアップ © DMM.com Labo

    拡張する?新しく作る?
  31. 現状をみてみると 31 既存のScality環境はコンテンツが継続して追加され、 また⽇々⾼負荷な利⽤がされており、 オーバーヘッドを伴う作業をなるべくしたくない状況 RINGの性能を改善する場合、効果をダイレクトに⾒たい 既存の拡張はせず、新規RINGを作ることに © DMM.com Labo

  32. 追加の⽅針 32 新規RINGの性能向上 新規RINGのハード問題の排除 新規RINGのパラメーターチューニング 2PBの追加 © DMM.com Labo 2環境による保守性の向上

    新規RINGの結果を既存にフィードバック
  33. 改善ポイント① 性能アップ 33 アプリやScalityのチューニングでは⼤きな改善は難しい ハードウェアの構成変更で対応することに © DMM.com Labo 総容量は変えずにディスク本数を増やして I/O性能を2倍に!!

  34. 改善ポイント② パラメーターチューニング 34 Scality社と現⾏の利⽤状況を分析し 効果のあるパラメータの精査を⾏う 初回導⼊では特に共有がなかったパラメーター についても、今回の導⼊では共有していく © DMM.com Labo

    効果があったら既存環境にも適⽤したい
  35. 改善ポイント③ ハードの検討 35 HW選定タイミングでScality社とHWベンダーを 交えて障害ポイントを減らしつつ 要件にマッチした性能の出る構成を検討 © DMM.com Labo 要件がずれないように

    ハードウェア的なリスクが回避できるように
  36. 導⼊時期と結果は… 36 2017年末のサービスインを⽬指します 性能改善の結果はまた来年のSDSDAYSで! © DMM.com Labo

  37. 7. まとめ・将来に向けて 37 © DMM.com Labo

  38. まとめ SDSとScality 38 PBクラスのデータに対し 導⼊のみでメリットを提供してくれた (容量効率・耐障害性・拡張性) IAサーバならなんでも良いわけではない コストを考えつつも、⾃分たちの要件にあった 適切なハードウェアを選ぶことが⼤事 (HDD、SSD、CPU、メモリ、ネットワーク)

    © DMM.com Labo ユーザーの環境ごとにそれぞれ効果はある 要件にあった構成をえらび、効果を最⼤限に
  39. 将来に向けて 39 2環境のRingの継続的な容量拡張 メンバーのナレッジ向上 DMMは継続して増加していくPB級のデータを持つ⽴場 今後も積極的なSDSの利⽤とフィードバックを⾏い SDSの拡⼤に貢献していきたい © DMM.com Labo

  40. ご静聴ありがとうございました。