$30 off During Our Annual Pro Sale. View Details »

DMM.comラボにおける Scality Ring 活⽤事例

DMM.com
October 20, 2017

DMM.comラボにおける Scality Ring 活⽤事例

Scality SDS Day 2017 Tokyoにて発表した資料となります
1. 会社・事業の紹介
2. DMMにおける動画配信について
3. 動画配信基盤の変遷(〜2015)
4. Scality導⼊
5. フィードバック
6. 改善と拡張
7. まとめ・将来に向けて

DMM.com

October 20, 2017
Tweet

More Decks by DMM.com

Other Decks in Technology

Transcript

  1. DMM.comラボにおける
    Scality Ring 活⽤事例
    DMM.comラボ 配信基盤グループ 佐藤雄⼀郎
    2017年10⽉18⽇

    View Slide

  2. © DMM.com Labo
    Topics
    2
    1. 会社・事業の紹介
    2. DMMにおける動画配信について
    3. 動画配信基盤の変遷(〜2015)
    4. Scality導⼊
    5. フィードバック
    6. 改善と拡張
    7. まとめ・将来に向けて

    View Slide

  3. 1. 会社・事業の紹介
    3
    © DMM.com Labo

    View Slide

  4. 株式会社nana music
    会社概要・グループ
    4
    株式会社DMM.comラボ
    システム開発・運営
    ネットワークインフラの提供
    Webマーケティング株式会社
    株式会社DMM.com
    事業の企画・営業
    株式会社DMM.com証券
    FX・CFDの運営
    株式会社DMM.futureworks
    DMM VR THEATERの運営および
    プロデュース・企画、
    ⾳楽・映像コンテンツの制作
    株式会社DMM.com Base
    DISCメディアのプレス、アッセンブリ業務
    物流サービス事業
    DVD、CD、BDなどのソフトレンタル事業
    株式会社DMM.com OVERRIDE
    DMM GAMES制作・運営
    2D / 3Dデザイン制作
    ゲームネットワークインフラの運⽤
    DMM.com Groupは
    動画や電⼦書籍などのダ
    ウンロード販売ほか、
    ゲームや通販、オンライ
    ンレンタルなどを提供す
    るサイト「DMM.com」
    の構築から運営までを⼿
    がけているグループです。
    株式会社nana music
    ⾳楽コミュニティサービスnanaの企画、
    開発及び運営
    株式会社DMM.Staff
    グローバルIT⼈材のコンサルティング事業
    ⼀般社団法⼈DMMアカデミー
    『⾃ら気付き、考え、⾏動を 起こすことがで
    きる⼈間を育成すること』 を⽬指す私塾
    ピックアップ株式会社
    スマートフォン向けサービスの
    企画・開発・運営
    © DMM.com Labo

    View Slide

  5. 会社概要・数値やサービス
    5
    売上⾼推移
    会員数推移
    © DMM.com Labo

    View Slide

  6. 2. DMMにおける動画配信について
    6
    © DMM.com Labo

    View Slide

  7. 動画配信コンテンツのおもな特⻑
    7
    タイトル数30万タイトル超
    ロングテール型
    豊富な対応デバイス
    PC、スマートフォン、去年よりVR作品も展開
    年間約1PBのペースで増えるコンテンツ
    6TB SATAx12本構成のサーバをRAID6で運⽤
    © DMM.com Labo

    View Slide

  8. 動画配信の規模や特徴
    8
    配信規模
    キャンペーンのピークでは200Gbpsを計測
    基本的にはオンプレミスでの配信が中⼼
    200Gbps
    © DMM.com Labo

    View Slide

  9. 全体として
    9
    © DMM.com Labo
    サーバー
    900台
    ストレージ
    10,000TB
    ピークトラフィック
    200Gbps

    View Slide

  10. 3. 動画配信基盤の変遷(〜2015)
    10
    © DMM.com Labo

    View Slide

  11. サービス開始から2015年まで
    11
    2002年 DAS + Windows Server
    2007年 クラスタストレージ
    2010年 Windows Server 200台
    2013年 Linux + GlusterFS
    © DMM.com Labo

    View Slide

  12. 初期〜中期 Windowsの課題
    12
    2002年 DAS + Windows Server
    2007年 クラスタストレージ
    2010年 Windows Server 200台
    © DMM.com Labo
    Windowsメインのシステム
    冗⻑性、拡張性、保守性に難があった時代

    View Slide

  13. 中期〜後期 Linux
    13
    2013年 Linux + GlusterFS
    © DMM.com Labo
    Windows時代の課題の解決
    GlusterFSを通じて、SDSのメリットを享受
    SDSとの出会い
    ü 冗⻑性の担保
    ü 拡張性の向上
    ü 保守性の向上

    View Slide

  14. GlusterFSの課題
    SATA HDDをメインで使⽤していることもあり
    ノードにつき3Gbps程度で限界に到達
    2013年から構築を⾏ってきたGlusterFSは
    すでに150ボリュームほどに構築数が増えたため
    管理側も使う側も⼯数がどんどんかかっていった
    構築時期の違いによるバージョン差なども痛⼿に
    14
    これらの問題を解決できるストレージを模索していた
    © DMM.com Labo

    View Slide

  15. Scalityの提案
    15
    1RING構成で数10PBまでのボリューム構築が可能
    要件にあった設計が可能
    ライセンスが容量単位
    ディスク利⽤効率の向上
    性能⾯、管理⾯の問題を同時に解消できる可能性
    2016年7⽉より本番投⼊を開始
    © DMM.com Labo

    View Slide

  16. 4. Scality導⼊(2016)
    16
    © DMM.com Labo

    View Slide

  17. Scalityシステム概要
    17
    48台のIAサーバ
    arc 8 + 4
    ファイルシステム
    初期1PBで導⼊し
    総容量2PBへ拡張
    2016年7⽉に運⽤開始
    © DMM.com Labo
    ScalityRINGをマウントした
    Fuse Connectorを
    Streaming Serverとして使⽤
    既存のストレージ群と接続し
    コンテンツ管理を⾏うため
    CIFS Connectorを⽤意

    View Slide

  18. こんな効果がでました ①
    18
    ・ 新規ストレージの構築が不要に
    ・ 既存ストレージの集約
    ・ 管理⼯数の削減
    © DMM.com Labo
    ボリューム管理の問題が解消!

    View Slide

  19. こんな効果がでました ②
    19
    ・ スループットの向上
    ・ キャンペーン時のCDN利⽤が不要に
    ・ キャンペーン時の特設システムの構築や準備が不要に
    © DMM.com Labo
    性能⾯の問題が解消!

    View Slide

  20. こんな効果がでました ② トラフィック
    20
    RINGノードからのトラフィックも60Gbpsを
    超えており、安定稼動中
    66.02Gbps
    © DMM.com Labo

    View Slide

  21. こんな効果がでました ③
    21
    ・ 容量効率の向上
    GlusterFS(1.3PB) vs Scality RING(2PB)
    ・ データに対しての耐障害性の向上
    1/2台(raid6 + replica) vs 4/48台(arc8 + 4)
    © DMM.com Labo
    効率的なデータの保持が可能に!

    View Slide

  22. 効果 まとめ
    22
    ボリューム管理の解消
    パフォーマンスの改善
    データ保持の効率化
    © DMM.com Labo
    導⼊前の問題点がほぼ解消
    Scalityならではのメリットも享受

    View Slide

  23. 5. フィードバック
    23
    © DMM.com Labo

    View Slide

  24. 動画配信で使ってみて…
    24
    ⼀年間運⽤してきてわかったことを
    いくつかあげてみます
    © DMM.com Labo

    View Slide

  25. 性能⾯
    25
    データ量の増加やアクセス数の増加により、利⽤容量
    半ばでRINGのピーク時のI/Owaitが18%を超えるように
    RINGへのリクエスト数が多い我々の使い⽅では
    容量を使い切る前に性能限界がきそう
    18%
    © DMM.com Labo

    View Slide

  26. ハードウェア⾯・保守⾯
    26
    ・ RAIDコントローラーの不具合によってRINGの
    スループットに影響が出た
    ・ 保守時はサービスアウト、作業、サービスインを1台ずつ
    ・ ディスク故障時のオペレーションが煩雑
    Scalityならではの保守オペレーションが増えることに
    © DMM.com Labo
    ハードウェアの影響を露⾻に受ける

    View Slide

  27. Scalityのソフトウェアとしての対応と調整
    27
    l Connector sfusedのメモリ
    l RINGノード間のTimeout値
    l ConnectorとRING間のTimeout値
    ・ 導⼊当初の各種パラメータはScality社推奨値を適⽤したが
    性能問題や障害発⽣時に都度チューニングをすることに
    ・ Scalityそのもののバージョンアップも不定期で発⽣
    © DMM.com Labo

    View Slide

  28. フィードバックは⾊々とありましたが…
    28
    メリットは⼗分あったため
    課題を解決しつつRingを拡張することに
    © DMM.com Labo

    View Slide

  29. 6. 改善と拡張(2017)
    29
    © DMM.com Labo

    View Slide

  30. せっかく追加するので⾊々と改善したい
    30
    性能アップ
    ハード問題の排除(RAIDコントローラー等)
    パラメーターチューニング
    Scalityバージョンアップ
    OSバージョンアップ
    © DMM.com Labo
    拡張する?新しく作る?

    View Slide

  31. 現状をみてみると
    31
    既存のScality環境はコンテンツが継続して追加され、
    また⽇々⾼負荷な利⽤がされており、
    オーバーヘッドを伴う作業をなるべくしたくない状況
    RINGの性能を改善する場合、効果をダイレクトに⾒たい
    既存の拡張はせず、新規RINGを作ることに
    © DMM.com Labo

    View Slide

  32. 追加の⽅針
    32
    新規RINGの性能向上
    新規RINGのハード問題の排除
    新規RINGのパラメーターチューニング
    2PBの追加
    © DMM.com Labo
    2環境による保守性の向上
    新規RINGの結果を既存にフィードバック

    View Slide

  33. 改善ポイント① 性能アップ
    33
    アプリやScalityのチューニングでは⼤きな改善は難しい
    ハードウェアの構成変更で対応することに
    © DMM.com Labo
    総容量は変えずにディスク本数を増やして
    I/O性能を2倍に!!

    View Slide

  34. 改善ポイント② パラメーターチューニング
    34
    Scality社と現⾏の利⽤状況を分析し
    効果のあるパラメータの精査を⾏う
    初回導⼊では特に共有がなかったパラメーター
    についても、今回の導⼊では共有していく
    © DMM.com Labo
    効果があったら既存環境にも適⽤したい

    View Slide

  35. 改善ポイント③ ハードの検討
    35
    HW選定タイミングでScality社とHWベンダーを
    交えて障害ポイントを減らしつつ
    要件にマッチした性能の出る構成を検討
    © DMM.com Labo
    要件がずれないように
    ハードウェア的なリスクが回避できるように

    View Slide

  36. 導⼊時期と結果は…
    36
    2017年末のサービスインを⽬指します
    性能改善の結果はまた来年のSDSDAYSで!
    © DMM.com Labo

    View Slide

  37. 7. まとめ・将来に向けて
    37
    © DMM.com Labo

    View Slide

  38. まとめ SDSとScality
    38
    PBクラスのデータに対し
    導⼊のみでメリットを提供してくれた
    (容量効率・耐障害性・拡張性)
    IAサーバならなんでも良いわけではない
    コストを考えつつも、⾃分たちの要件にあった
    適切なハードウェアを選ぶことが⼤事
    (HDD、SSD、CPU、メモリ、ネットワーク)
    © DMM.com Labo
    ユーザーの環境ごとにそれぞれ効果はある
    要件にあった構成をえらび、効果を最⼤限に

    View Slide

  39. 将来に向けて
    39
    2環境のRingの継続的な容量拡張
    メンバーのナレッジ向上
    DMMは継続して増加していくPB級のデータを持つ⽴場
    今後も積極的なSDSの利⽤とフィードバックを⾏い
    SDSの拡⼤に貢献していきたい
    © DMM.com Labo

    View Slide

  40. ご静聴ありがとうございました。

    View Slide