Scality SDS Day 2017 Tokyoにて発表した資料となります 1. 会社・事業の紹介 2. DMMにおける動画配信について 3. 動画配信基盤の変遷（〜2015） 4. Scality導⼊ 5. フィードバック 6. 改善と拡張 7. まとめ・将来に向けて
DMM.comラボにおけるScality Ring 活⽤事例DMM.comラボ 配信基盤グループ 佐藤雄⼀郎2017年10⽉18⽇
View Slide
© DMM.com LaboTopics21. 会社・事業の紹介2. DMMにおける動画配信について3. 動画配信基盤の変遷（〜2015）4. Scality導⼊5. フィードバック6. 改善と拡張7. まとめ・将来に向けて
1. 会社・事業の紹介3© DMM.com Labo
株式会社nana music会社概要・グループ4株式会社DMM.comラボシステム開発・運営ネットワークインフラの提供Webマーケティング株式会社株式会社DMM.com事業の企画・営業株式会社DMM.com証券FX・CFDの運営株式会社DMM.futureworksDMM VR THEATERの運営およびプロデュース・企画、⾳楽・映像コンテンツの制作株式会社DMM.com BaseDISCメディアのプレス、アッセンブリ業務物流サービス事業DVD、CD、BDなどのソフトレンタル事業株式会社DMM.com OVERRIDEDMM GAMES制作・運営2D / 3Dデザイン制作ゲームネットワークインフラの運⽤DMM.com Groupは動画や電⼦書籍などのダウンロード販売ほか、ゲームや通販、オンラインレンタルなどを提供するサイト「DMM.com」の構築から運営までを⼿がけているグループです。株式会社nana music⾳楽コミュニティサービスnanaの企画、開発及び運営株式会社DMM.StaffグローバルIT⼈材のコンサルティング事業⼀般社団法⼈DMMアカデミー『⾃ら気付き、考え、⾏動を 起こすことができる⼈間を育成すること』 を⽬指す私塾ピックアップ株式会社スマートフォン向けサービスの企画・開発・運営© DMM.com Labo
会社概要・数値やサービス5売上⾼推移会員数推移© DMM.com Labo
２. DMMにおける動画配信について6© DMM.com Labo
動画配信コンテンツのおもな特⻑7タイトル数３０万タイトル超ロングテール型豊富な対応デバイスPC、スマートフォン、去年よりVR作品も展開年間約１PBのペースで増えるコンテンツ6TB SATAx12本構成のサーバをRAID6で運⽤© DMM.com Labo
動画配信の規模や特徴8配信規模キャンペーンのピークでは200Gbpsを計測基本的にはオンプレミスでの配信が中⼼200Gbps© DMM.com Labo
全体として9© DMM.com Laboサーバー900台ストレージ10,000TBピークトラフィック200Gbps
３. 動画配信基盤の変遷（〜2015）10© DMM.com Labo
サービス開始から2015年まで112002年 DAS + Windows Server2007年 クラスタストレージ2010年 Windows Server 200台2013年 Linux + GlusterFS© DMM.com Labo
初期〜中期 Windowsの課題122002年 DAS + Windows Server2007年 クラスタストレージ2010年 Windows Server 200台© DMM.com LaboWindowsメインのシステム冗⻑性、拡張性、保守性に難があった時代
中期〜後期 Linux132013年 Linux + GlusterFS© DMM.com LaboWindows時代の課題の解決GlusterFSを通じて、SDSのメリットを享受SDSとの出会いü 冗⻑性の担保ü 拡張性の向上ü 保守性の向上
GlusterFSの課題SATA HDDをメインで使⽤していることもありノードにつき3Gbps程度で限界に到達2013年から構築を⾏ってきたGlusterFSはすでに150ボリュームほどに構築数が増えたため管理側も使う側も⼯数がどんどんかかっていった構築時期の違いによるバージョン差なども痛⼿に14これらの問題を解決できるストレージを模索していた© DMM.com Labo
Scalityの提案151RING構成で数10PBまでのボリューム構築が可能要件にあった設計が可能ライセンスが容量単位ディスク利⽤効率の向上性能⾯、管理⾯の問題を同時に解消できる可能性2016年7⽉より本番投⼊を開始© DMM.com Labo
４. Scality導⼊（2016）16© DMM.com Labo
Scalityシステム概要1748台のIAサーバarc 8 + 4ファイルシステム初期1PBで導⼊し総容量2PBへ拡張2016年7⽉に運⽤開始© DMM.com LaboScalityRINGをマウントしたFuse ConnectorをStreaming Serverとして使⽤既存のストレージ群と接続しコンテンツ管理を⾏うためCIFS Connectorを⽤意
こんな効果がでました ①18・ 新規ストレージの構築が不要に・ 既存ストレージの集約・ 管理⼯数の削減© DMM.com Laboボリューム管理の問題が解消！
こんな効果がでました ②19・ スループットの向上・ キャンペーン時のCDN利⽤が不要に・ キャンペーン時の特設システムの構築や準備が不要に© DMM.com Labo性能⾯の問題が解消！
こんな効果がでました ② トラフィック20RINGノードからのトラフィックも60Gbpsを超えており、安定稼動中66.02Gbps© DMM.com Labo
こんな効果がでました ③21・ 容量効率の向上GlusterFS（1.3PB） vs Scality RING（2PB）・ データに対しての耐障害性の向上1/2台（raid6 + replica） vs 4/48台（arc8 + 4）© DMM.com Labo効率的なデータの保持が可能に！
効果 まとめ22ボリューム管理の解消パフォーマンスの改善データ保持の効率化© DMM.com Labo導⼊前の問題点がほぼ解消Scalityならではのメリットも享受
５. フィードバック23© DMM.com Labo
動画配信で使ってみて…24⼀年間運⽤してきてわかったことをいくつかあげてみます© DMM.com Labo
性能⾯25データ量の増加やアクセス数の増加により、利⽤容量半ばでRINGのピーク時のI/Owaitが18%を超えるようにRINGへのリクエスト数が多い我々の使い⽅では容量を使い切る前に性能限界がきそう18%© DMM.com Labo
ハードウェア⾯・保守⾯26・ RAIDコントローラーの不具合によってRINGのスループットに影響が出た・ 保守時はサービスアウト、作業、サービスインを１台ずつ・ ディスク故障時のオペレーションが煩雑Scalityならではの保守オペレーションが増えることに© DMM.com Laboハードウェアの影響を露⾻に受ける
Scalityのソフトウェアとしての対応と調整27l Connector sfusedのメモリl RINGノード間のTimeout値l ConnectorとRING間のTimeout値・ 導⼊当初の各種パラメータはScality社推奨値を適⽤したが性能問題や障害発⽣時に都度チューニングをすることに・ Scalityそのもののバージョンアップも不定期で発⽣© DMM.com Labo
フィードバックは⾊々とありましたが…28メリットは⼗分あったため課題を解決しつつRingを拡張することに© DMM.com Labo
6. 改善と拡張（2017）29© DMM.com Labo
せっかく追加するので⾊々と改善したい30性能アップハード問題の排除（RAIDコントローラー等）パラメーターチューニングScalityバージョンアップOSバージョンアップ© DMM.com Labo拡張する？新しく作る？
現状をみてみると31既存のScality環境はコンテンツが継続して追加され、また⽇々⾼負荷な利⽤がされており、オーバーヘッドを伴う作業をなるべくしたくない状況RINGの性能を改善する場合、効果をダイレクトに⾒たい既存の拡張はせず、新規RINGを作ることに© DMM.com Labo
追加の⽅針32新規RINGの性能向上新規RINGのハード問題の排除新規RINGのパラメーターチューニング2PBの追加© DMM.com Labo2環境による保守性の向上新規RINGの結果を既存にフィードバック
改善ポイント① 性能アップ33アプリやScalityのチューニングでは⼤きな改善は難しいハードウェアの構成変更で対応することに© DMM.com Labo総容量は変えずにディスク本数を増やしてI/O性能を2倍に！！
改善ポイント② パラメーターチューニング34Scality社と現⾏の利⽤状況を分析し効果のあるパラメータの精査を⾏う初回導⼊では特に共有がなかったパラメーターについても、今回の導⼊では共有していく© DMM.com Labo効果があったら既存環境にも適⽤したい
改善ポイント③ ハードの検討35HW選定タイミングでScality社とHWベンダーを交えて障害ポイントを減らしつつ要件にマッチした性能の出る構成を検討© DMM.com Labo要件がずれないようにハードウェア的なリスクが回避できるように
導⼊時期と結果は…362017年末のサービスインを⽬指します性能改善の結果はまた来年のSDSDAYSで！© DMM.com Labo
7. まとめ・将来に向けて37© DMM.com Labo
まとめ SDSとScality38PBクラスのデータに対し導⼊のみでメリットを提供してくれた（容量効率・耐障害性・拡張性）IAサーバならなんでも良いわけではないコストを考えつつも、⾃分たちの要件にあった適切なハードウェアを選ぶことが⼤事（HDD、SSD、CPU、メモリ、ネットワーク）© DMM.com Laboユーザーの環境ごとにそれぞれ効果はある要件にあった構成をえらび、効果を最⼤限に
将来に向けて392環境のRingの継続的な容量拡張メンバーのナレッジ向上DMMは継続して増加していくPB級のデータを持つ⽴場今後も積極的なSDSの利⽤とフィードバックを⾏いSDSの拡⼤に貢献していきたい© DMM.com Labo
ご静聴ありがとうございました。
dmmlabo
andpad
oracle4engineer
takahana
kadogen_0527
x_ttyszk
hiboma
ymty
inesmontani
yoshidashingo
microcms
nozomiito
suzukahr
reverentgeek
malarkey
trallard
eileencodes
yeseniaperezcruz
andyhume
rmw
caitiem20
moore
pauljervisheath
tammielis
keithpitt