Slide 1

Slide 1 text

©MIXI MIXIオンプレミス設備のこれまでとこれから ~そして印西へ~ 山田 千紗 開発本部 たんぽぽ室 インフラG

Slide 2

Slide 2 text

©MIXI 2 本日のアジェンダ ● 自己紹介 ● 構成概要 ● 設備の変遷 ● 現状の課題感と要件 ● 印西について ○ AWS Direct Connect 検証 ○ データセンター間接続 ● まとめ

Slide 3

Slide 3 text

©MIXI 3 自己紹介 名前:山田 千紗 経歴: 2015/3 大学(生物学系学科)卒 2015/4~ISP関連会社 2018/5~株式会社ミクシィ(現:株式会社MIXI) 普段の業務: ● モンスターストライクのオンプレミス設備 ● TIPSTARのオンプレミス設備(競輪場 /データセンター) ● MIXI Mのオンプレミス設備 ● 関空アイスアリーナなどの IPS設備 上記の設計~運用までまるっと そのほか: 日本酒と猫が好きです 今日はここのお話!

Slide 4

Slide 4 text

©MIXI 4 MIXIといえば… きっとこんなイメージ https://mixil.mixi.co.jp/culture/16027

Slide 5

Slide 5 text

©MIXI 5 実は低レイヤーも頑張っています

Slide 6

Slide 6 text

©MIXI 6 MIXIのオンプレミス設備 ● SNS mixiの時代からオンプレミス設備を運用 ● 現在の設備の大多数はモンスターストライク用のサーバ、NW機材 ● モンスターストライクのアプリ内部の通信を処理 ○ Cache, Database, Application etc… ○ アプリケーションの配信は別設備 ● オンプレミス設備 + 複数パブリッククラウド ● ゲーム内イベントに連動してトラフィック量が大きく変動する ○ 通常時の数倍に跳ね上がる ● 一部、遅延要件が非常に厳しい区間がある

Slide 7

Slide 7 text

©MIXI 7 概略構成図 拠点A 拠点B ● 都内に複数拠点 ● 拠点間接続はダークファイバを利用 ● 地理的冗長をとる 物理回線の経路が地図上で重複しないこと ● 複数のクラウドと専用線で接続 ○ 1つの接続先へ複数拠点から接続 ● インターネットへの出口も複数持つ ● 各所でN+2冗長を採用 ○ 1系統をメンテナンスにいれても N+1冗 長が確保される のちほど詳しく 拠点C クラウド インターネット

Slide 8

Slide 8 text

©MIXI 8 設備の変遷 (1) ~2019年 柔軟性を重視 ● アクセスが増大する時の一時増設用としてクラウドを利用 獣神祭やコラボ ● クラウドの専用線接続の増設まで行っていたことも ● クラウドはオンプレミスサーバに比べると遅延が乗る ● 専用線接続部分が不安定になると通信が巻き込まれる ● 大規模に増設する場合はクラウド事業者との事前ネゴが必要 トラフィック量 クラウド オンプレミス

Slide 9

Slide 9 text

©MIXI 9 設備の変遷 (2) 2019年~2023年 長期運用を見据えた構成へ ● 都内に新拠点を開設 ● ピーク時のTrafficも賄えるだけのオンプレミスサーバを増設 ● クラウドインスタンスをほぼ使用しなくなる ○ 長期運営を見越した場合にコストメリットが高い ○ クラウドインスタンスに比べて安定性が高く、かつ低遅延 トラフィック量 オンプレミス

Slide 10

Slide 10 text

©MIXI 10 2024年に向けて 前回の設備更改から5年が経過… ● 次世代の設備をどうするかを考え直す時期 ● 現状から設備を大きく増設する可能性は低い 環境を取り巻く背景の変化 ● 既存データセンターのスペースの枯渇 ● 電気代高騰によるコロケーションの月額料金の値上げ ● 都内拠点の電気の枯渇 ● クラウドインスタンスの進化 ● クラウド接続の安定性の向上

Slide 11

Slide 11 text

©MIXI 11 要件   クラウドとの専用線接続のHOPがあること   専用線接続を提供可能な拠点は限られている   MIXIの既存拠点と接続可能であること   コストメリットがあること   さらに+αな要素があることが望ましい

Slide 12

Slide 12 text

©MIXI 12 ネットワーク業界のトレンドワード:印西 千葉県印西市 活断層がなく、頑強な地盤をもつ 空港からのアクセスが良い 地中送電線による電力の安定供給  電力需要に応えて変電所も建設中 地下洞道を光回線の配線経路としても利用 近年、海外のハイパースケーラーが続々進出 印西へ拠点を開設している海外事業者:    Colt, Google, Amazon, Equinix etc… 2023/5/30に AWS Direct Connect ロケーションが開設!

Slide 13

Slide 13 text

©MIXI 13 印西DXの検証、やるぞ!

Slide 14

Slide 14 text

©MIXI 14 検証構成図 apne1-az1 c5.xlarge Instance apne1-az2 c5.xlarge Instance apne1-az4 c5.xlarge Instance AWS router MIXI switch-A MIXI switch-B Direct connect (10G) MIXI server • switch-A,B は異ベンダの機材を使用。 • サーバはfrrを使用。 • switch ~ サーバ間はBGPで接続。 NEC 印西データセンター • 東京リージョン内の3つのAZにそれ ぞれインスタンスを作成。 • 各インスタンスはENA enable  ※低遅延なネットワークインターフェース

Slide 15

Slide 15 text

©MIXI 15 オンプレミス⇔EC2間 RTT測定結果 AZ ID min avg(ms) max(ms) mdev apne1-az4 0.353ms 0.376 0.409 0.029 apne1-az1 apne1-az2 2.1ms程度 2.1ms程度 2.1ms程度 0.058 (一例) オンプレミスサーバ~EC2インスタンス間が非常に低遅延で通信可能 ※ただし低遅延通信とAZ冗長を両立することは不可 ※値はすべて2023/7/13時点のものです

Slide 16

Slide 16 text

©MIXI 16 オンプレミス⇔EC2間 RTT測定結果 AZ ID min avg(ms) max(ms) mdev apne1-az4 0.353ms 0.376 0.409 0.029 apne1-az1 apne1-az2 2.1ms程度 2.1ms程度 2.1ms程度 0.058 (一例) 拠点A 拠点B クラウドインスタンス オンプレ間:~0.5ms これまで クラウド~オンプレ間: ~5ms ※値はすべて2023/7/13時点のものです

Slide 17

Slide 17 text

©MIXI 17 オンプレミス⇔EC2間 RTT測定結果 AZ ID min avg(ms) max(ms) mdev apne1-az4 0.353ms 0.376 0.409 0.029 apne1-az1 apne1-az2 2.1ms程度 2.1ms程度 2.1ms程度 0.058 (一例) NEC印西 クラウドインスタンス クラウド~オンプレ間: ~0.4ms オンプレ間:~0.5ms 印西DX 拠点B ※値はすべて2023/7/13時点のものです

Slide 18

Slide 18 text

©MIXI 18 要件   クラウドとの専用線接続のHOPがあること   専用線接続を提供可能な拠点は限られている   MIXIの既存拠点と冗長経路で接続可能であること  コストメリットがあること   さらに+αな要素があることが望ましい   オンプレミス並の低遅延でクラウド接続が可能 CLEAR! CLEAR!

Slide 19

Slide 19 text

©MIXI 19 データセンター間接続の方法 とりうる選択肢 通信事業者(データセンター事業者)のサービスを利用 ○ 専用線接続 自社で回線を用意 ○ ダークファイバ+自社伝送装置 既存拠点ではこれを採用!

Slide 20

Slide 20 text

©MIXI 20 専用線接続 データセンター事業者が運用している回線を使用する。 利用者側は接続用ポートだけ用意すればOK。 帯域ごとでの契約が基本(1G/10G/100G…)   気軽な増速はできない。契約しなおしになる。 広帯域になるほど料金は高額。 PROS CONS MIXIルータ 拠点A MIXIルータ 拠点B 光伝送装置 光伝送装置 ※黄色がMIXI管理部分

Slide 21

Slide 21 text

©MIXI 21 ダークファイバー接続 回線事業者から光ファイバーを借りる。 ● 帯域が大きくなるほど専用線と比べたコストメリットが高い ● 帯域は自由に変更が可能である ○ 400G,800Gも夢ではない ● 伝送設備は利用者側で用意する必要がある。 ○ 初期投資が大きい、運用コストが大きい ● ファイバーの長さに応じて回線の金額が決定する ○ 接続先が遠方になるほど高価に… PROS CONS MIXIルータ 拠点A MIXIルータ 拠点B 光伝送装置 光伝送装置 ※黄色がMIXI管理部分

Slide 22

Slide 22 text

©MIXI 22 印西と東京を接続するにあたって 一般的にダークファイバは遠方になるほど金額が高価になる 長距離になるほど接続は困難になる 光ファイバ内を通るうちに光信号が減衰していってしまうため ● 光を増幅する装置(アンプ/増幅器)を追加する ● 長距離用モジュールに変更する などの対応が必要になってくる 都内拠点間:~30㎞          2倍以上! 都内~印西:60~70km

Slide 23

Slide 23 text

©MIXI 23 ダークファイバではつらいかも…

Slide 24

Slide 24 text

©MIXI 24 データセンター間接続の方法 とりうる選択肢 通信事業者(データセンター事業者)のサービスを利用 ○ 専用線接続 自社で回線を用意 ○ ダークファイバ+自社伝送装置 波長貸しサービスを利用する

Slide 25

Slide 25 text

©MIXI 25 波長貸しサービス ● 物理回線はサービス提供事業者が手配、運用 ● 光ケーブル内を通過可能な波長のうち、特定波長のみを借用する ● 伝送装置は利用者側が用意する必要あり ● 帯域は利用者側で決定できる ● ダークファイバに比べて安価 ● 光増幅装置もサービス提供事業者が手配 ○ 責任分界点での光信号強度が保証されている   MIXIルータ 拠点A MIXIルータ 拠点B 光伝送装置 光伝送装置 ※黄色がMIXI管理部分 光回線は他事業者と共用

Slide 26

Slide 26 text

©MIXI 26 要件   クラウドとの専用線接続のHOPがあること   専用線接続を提供可能な拠点は限られている   MIXIの既存拠点と冗長経路で接続可能であること  コストメリットがあること   さらに+αな要素があることが望ましい   オンプレミス並の低遅延でクラウド接続が可能 CLEAR! CLEAR! CLEAR! CLEAR! ALL CLEAR!!

Slide 27

Slide 27 text

©MIXI 27 行くぞ、印西!

Slide 28

Slide 28 text

©MIXI 28 まとめ:これからのMIXIのオンプレミス設備 ● 印西に新拠点を開設、都内拠点の整理と集約を実施 ● 波長貸しサービスの利用によって回線コストを圧縮 ○ 遠方拠点のデメリットを打ち消すことができた ● かつてない低遅延でAWSとの通信が可能になる ● オンプレミスとクラウドを組合わせてクラウドの新しい活用方法を見出 していく ○ アプリケーションサーバ以外もクラウド上へ配置する ○ ロードバランサ、データベースサーバ、etc…夢は広がる

Slide 29

Slide 29 text

©MIXI