【D2-S1】MIXIオンプレミス設備のこれまでとこれから～そして印西へ～ | #MTDC2024 | MIXI TECH DESIGN CONFERENCE 2024

━━━━━━━━━━━━━━━━━━━━━━━━━━━━
MIXI TECH DESIGN CONFERENCE 2024 - SESSION ARCHIVE
━━━━━━━━━━━━━━━━━━━━━━━━━━━━
3/19(火) 14:00 〜 14:20｜D2-S1

MIXIオンプレミス設備のこれまでとこれから～そして印西へ～

アプリケーション開発のイメージが強いMIXIですが、実は低レイヤー技術でも様々な挑戦をしてきています。
これまで10年以上都内拠点のみでハイブリッドクラウド環境を運用してきたのですが、2024年、ついに東京都外へと進出することを決定しました。どうして今郊外へ設備を打つのか。普段データセンターファシリティとは関わりのない方にもわかりやすいよう、オンプレミスの拠点選定の基本の考え方や周辺環境の変化とともにお話をさせていただきます。

開発本部 たんぽぽ室 インフラグループ
山田 千紗 / Chisaya Yamada

────────────────────────────
□セッション情報
https://techcon.mixi.co.jp/2024/d2-s1.html
□イベントハッシュタグ
#MTDC2024
━━━━━━━━━━━━━━━━━━━━━━━━━━━━

◇◆◇ Information ◇◆◇
X（旧Twitter）
https://twitter.com/mixi_engineers
MIXI Developers Blog (medium)
https://mixi-developers.mixi.co.jp/
Slide (SpeakerDeck)
https://speakerdeck.com/mixi_engineers/
MIXI Design note
https://note.com/mixi_design/
採用情報
https://mixigroup-recruit.mixi.co.jp/
connpass
https://mixi.connpass.com/
HP
https://mixi.co.jp/

Transcript

1. ©MIXI MIXIオンプレミス設備のこれまでとこれから ～そして印西へ～ 山田 千紗 開発本部 たんぽぽ室 インフラG
2. ©MIXI 2 本日のアジェンダ • 自己紹介 • 構成概要 • 設備の変遷 • 現状の課題感と要件 • 印西について ◦ AWS Direct Connect 検証 ◦ データセンター間接続 • まとめ
3. ©MIXI 3 自己紹介 名前：山田 千紗 経歴： 2015/3　大学(生物学系学科)卒 2015/4～ISP関連会社 2018/5～株式会社ミクシィ（現：株式会社MIXI） 普段の業務： • モンスターストライクのオンプレミス設備 • TIPSTARのオンプレミス設備（競輪場 /データセンター） • MIXI Mのオンプレミス設備 • 関空アイスアリーナなどの IPS設備 上記の設計～運用までまるっと そのほか： 日本酒と猫が好きです 今日はここのお話！
4. ©MIXI 4 MIXIといえば… きっとこんなイメージ https://mixil.mixi.co.jp/culture/16027
5. ©MIXI 5 実は低レイヤーも頑張っています
6. ©MIXI 6 MIXIのオンプレミス設備 • SNS mixiの時代からオンプレミス設備を運用 • 現在の設備の大多数はモンスターストライク用のサーバ、NW機材 • モンスターストライクのアプリ内部の通信を処理 ◦ Cache, Database, Application etc… ◦ アプリケーションの配信は別設備 • オンプレミス設備 + 複数パブリッククラウド • ゲーム内イベントに連動してトラフィック量が大きく変動する ◦ 通常時の数倍に跳ね上がる • 一部、遅延要件が非常に厳しい区間がある
7. ©MIXI 7 概略構成図 拠点A 拠点B • 都内に複数拠点 • 拠点間接続はダークファイバを利用 • 地理的冗長をとる 物理回線の経路が地図上で重複しないこと • 複数のクラウドと専用線で接続 ◦ 1つの接続先へ複数拠点から接続 • インターネットへの出口も複数持つ • 各所でN+2冗長を採用 ◦ 1系統をメンテナンスにいれても N+1冗 長が確保される のちほど詳しく 拠点C クラウド インターネット
8. ©MIXI 8 設備の変遷 (1) ～2019年 柔軟性を重視 • アクセスが増大する時の一時増設用としてクラウドを利用 獣神祭やコラボ • クラウドの専用線接続の増設まで行っていたことも • クラウドはオンプレミスサーバに比べると遅延が乗る • 専用線接続部分が不安定になると通信が巻き込まれる • 大規模に増設する場合はクラウド事業者との事前ネゴが必要 トラフィック量 クラウド オンプレミス
9. ©MIXI 9 設備の変遷 (2) 2019年～2023年 長期運用を見据えた構成へ • 都内に新拠点を開設 • ピーク時のTrafficも賄えるだけのオンプレミスサーバを増設 • クラウドインスタンスをほぼ使用しなくなる ◦ 長期運営を見越した場合にコストメリットが高い ◦ クラウドインスタンスに比べて安定性が高く、かつ低遅延 トラフィック量 オンプレミス
10. ©MIXI 10 2024年に向けて 前回の設備更改から5年が経過… • 次世代の設備をどうするかを考え直す時期 • 現状から設備を大きく増設する可能性は低い 環境を取り巻く背景の変化 • 既存データセンターのスペースの枯渇 • 電気代高騰によるコロケーションの月額料金の値上げ • 都内拠点の電気の枯渇 • クラウドインスタンスの進化 • クラウド接続の安定性の向上
11. ©MIXI 11 要件 　 クラウドとの専用線接続のHOPがあること 　　専用線接続を提供可能な拠点は限られている 　 MIXIの既存拠点と接続可能であること 　 コストメリットがあること 　 さらに＋αな要素があることが望ましい
12. ©MIXI 12 ネットワーク業界のトレンドワード：印西 千葉県印西市 活断層がなく、頑強な地盤をもつ 空港からのアクセスが良い 地中送電線による電力の安定供給 　電力需要に応えて変電所も建設中 地下洞道を光回線の配線経路としても利用 近年、海外のハイパースケーラーが続々進出 印西へ拠点を開設している海外事業者： 　　　Colt, Google, Amazon, Equinix etc… 2023/5/30に AWS Direct Connect ロケーションが開設！
13. ©MIXI 13 印西DXの検証、やるぞ！
14. ©MIXI 14 検証構成図 apne1-az1 c5.xlarge Instance apne1-az2 c5.xlarge Instance apne1-az4 c5.xlarge Instance AWS router MIXI switch-A MIXI switch-B Direct connect (10G) MIXI server • switch-A,B は異ベンダの機材を使用。 • サーバはfrrを使用。 • switch ~ サーバ間はBGPで接続。 NEC 印西データセンター • 東京リージョン内の3つのAZにそれ ぞれインスタンスを作成。 • 各インスタンスはENA enable 　※低遅延なネットワークインターフェース
15. ©MIXI 15 オンプレミス⇔EC2間 RTT測定結果 AZ ID min avg(ms) max(ms) mdev apne1-az4 0.353ms 0.376 0.409 0.029 apne1-az1 apne1-az2 2.1ms程度 2.1ms程度 2.1ms程度 0.058 (一例) オンプレミスサーバ～EC2インスタンス間が非常に低遅延で通信可能 ※ただし低遅延通信とAZ冗長を両立することは不可 ※値はすべて2023/7/13時点のものです
16. ©MIXI 16 オンプレミス⇔EC2間 RTT測定結果 AZ ID min avg(ms) max(ms) mdev apne1-az4 0.353ms 0.376 0.409 0.029 apne1-az1 apne1-az2 2.1ms程度 2.1ms程度 2.1ms程度 0.058 (一例) 拠点A 拠点B クラウドインスタンス オンプレ間：~0.5ms これまで クラウド～オンプレ間： ～5ms ※値はすべて2023/7/13時点のものです
17. ©MIXI 17 オンプレミス⇔EC2間 RTT測定結果 AZ ID min avg(ms) max(ms) mdev apne1-az4 0.353ms 0.376 0.409 0.029 apne1-az1 apne1-az2 2.1ms程度 2.1ms程度 2.1ms程度 0.058 (一例) NEC印西 クラウドインスタンス クラウド～オンプレ間： ~0.4ms オンプレ間：~0.5ms 印西DX 拠点B ※値はすべて2023/7/13時点のものです
18. ©MIXI 18 要件 　 クラウドとの専用線接続のHOPがあること 　　専用線接続を提供可能な拠点は限られている 　 MIXIの既存拠点と冗長経路で接続可能であること 　コストメリットがあること 　 さらに＋αな要素があることが望ましい 　　オンプレミス並の低遅延でクラウド接続が可能 CLEAR! CLEAR!
19. ©MIXI 19 データセンター間接続の方法 とりうる選択肢 通信事業者（データセンター事業者）のサービスを利用 ◦ 専用線接続 自社で回線を用意 ◦ ダークファイバ＋自社伝送装置 既存拠点ではこれを採用！
20. ©MIXI 20 専用線接続 データセンター事業者が運用している回線を使用する。 利用者側は接続用ポートだけ用意すればOK。 帯域ごとでの契約が基本（1G/10G/100G…） 　　気軽な増速はできない。契約しなおしになる。 広帯域になるほど料金は高額。 PROS CONS MIXIルータ 拠点A MIXIルータ 拠点B 光伝送装置 光伝送装置 ※黄色がMIXI管理部分
21. ©MIXI 21 ダークファイバー接続 回線事業者から光ファイバーを借りる。 • 帯域が大きくなるほど専用線と比べたコストメリットが高い • 帯域は自由に変更が可能である ◦ 400G,800Gも夢ではない • 伝送設備は利用者側で用意する必要がある。 ◦ 初期投資が大きい、運用コストが大きい • ファイバーの長さに応じて回線の金額が決定する ◦ 接続先が遠方になるほど高価に… PROS CONS MIXIルータ 拠点A MIXIルータ 拠点B 光伝送装置 光伝送装置 ※黄色がMIXI管理部分
22. ©MIXI 22 印西と東京を接続するにあたって 一般的にダークファイバは遠方になるほど金額が高価になる 長距離になるほど接続は困難になる 光ファイバ内を通るうちに光信号が減衰していってしまうため • 光を増幅する装置（アンプ/増幅器）を追加する • 長距離用モジュールに変更する などの対応が必要になってくる 都内拠点間：～30㎞ 　　　　　　　　　2倍以上! 都内～印西：60～70km
23. ©MIXI 23 ダークファイバではつらいかも…
24. ©MIXI 24 データセンター間接続の方法 とりうる選択肢 通信事業者（データセンター事業者）のサービスを利用 ◦ 専用線接続 自社で回線を用意 ◦ ダークファイバ＋自社伝送装置 波長貸しサービスを利用する
25. ©MIXI 25 波長貸しサービス • 物理回線はサービス提供事業者が手配、運用 • 光ケーブル内を通過可能な波長のうち、特定波長のみを借用する • 伝送装置は利用者側が用意する必要あり • 帯域は利用者側で決定できる • ダークファイバに比べて安価 • 光増幅装置もサービス提供事業者が手配 ◦ 責任分界点での光信号強度が保証されている 　 MIXIルータ 拠点A MIXIルータ 拠点B 光伝送装置 光伝送装置 ※黄色がMIXI管理部分 光回線は他事業者と共用
26. ©MIXI 26 要件 　 クラウドとの専用線接続のHOPがあること 　　専用線接続を提供可能な拠点は限られている 　 MIXIの既存拠点と冗長経路で接続可能であること 　コストメリットがあること 　 さらに＋αな要素があることが望ましい 　　オンプレミス並の低遅延でクラウド接続が可能 CLEAR! CLEAR! CLEAR! CLEAR! ALL CLEAR!!
27. ©MIXI 27 行くぞ、印西！
28. ©MIXI 28 まとめ：これからのMIXIのオンプレミス設備 • 印西に新拠点を開設、都内拠点の整理と集約を実施 • 波長貸しサービスの利用によって回線コストを圧縮 ◦ 遠方拠点のデメリットを打ち消すことができた • かつてない低遅延でAWSとの通信が可能になる • オンプレミスとクラウドを組合わせてクラウドの新しい活用方法を見出 していく ◦ アプリケーションサーバ以外もクラウド上へ配置する ◦ ロードバランサ、データベースサーバ、etc…夢は広がる
29. ©MIXI