SINoALICE -シノアリス- それは必死の「サーバー削減」

CEDEC 2019 にて発表された資料です
https://cedec.cesa.or.jp/2019/session/detail/s5ca04ea19f15b

Transcript

1. 株式会社ポケラボ 覚張 泰幸 1 © POKELABO, INC. 2019/9/5 SINoALICE -シノアリス- それは必死の「サーバー削減」
2. © POKELABO, INC. 2019/9/5 2 覚張 泰幸 (Yasuyuki Kakuhari) 2013年ポケラボ入社から早6年、入社から今まで2タイトルのGvGを世に送る • [GvG] 戦乱のサムライキングダム (2013年リリース) • 新規アクションRPG (未リリース) • [GvG] SINoALICE -シノアリス (2017年リリース) GvGで始まりGvGを作り続けるオトコ 登壇者の紹介
3. © POKELABO, INC. 2019/9/5 3 http://sinoalice.jp/ SINoALICE -シノアリス-の紹介 (c) 2017-2019 SQUARE ENIX CO., LTD. All Rights Reserved.
4. © POKELABO, INC. 2019/9/5 4 SINoALICE -シノアリス- それは最高の「未曾有アクセス」 • 2017年6月6日のリリース時、何が発生しどう安定に至ったのかを赤裸々 に紹介 去年 (CEDEC2018)
5. © POKELABO, INC. 2019/9/5 5 前回のおさらい 開かないメンテナンス..
6. © POKELABO, INC. 2019/9/5 6 前回のおさらい 2017年6月 ~ EC2台数推移 グラフ 増え続けるインスタンス..
7. © POKELABO, INC. 2019/9/5 7 AppStoreトップセールスランキング1位!! 前回のおさらい
8. © POKELABO, INC. 2019/9/5 8 今年 (CEDEC2019) SINoALICE -シノアリス- それは必死の「サーバー削減」
9. © POKELABO, INC. 2019/9/5 9 1. 削減の軌跡 2. 削減 3. SINoALICEにおけるサーバー削減, 移行の留意点 4. サーバー削減, 移行のテクニック SINoALICE -シノアリス- それは必死の「サーバー削減」
10. © POKELABO, INC. 2019/9/5 10 EC2 650台 • APP, mysql, memcached, マルチ通信システムで利用 • RDSと比較すると費用は安いが、台数が多い RDS 200台 • 広げすぎたAurora • 費用的にもインパクトが大きいので、徹底削減 削れる所から削る 削減の軌跡
11. © POKELABO, INC. 2019/9/5 11 • 最大値650台!! 削減の軌跡 2017年6月 ~ EC2台数推移 グラフ
12. © POKELABO, INC. 2019/9/5 12 150台前後で推移 削減の軌跡 直近1年 ~ EC2台数推移 グラフ
13. © POKELABO, INC. 2019/9/5 13 • 最大値200台!! 削減の軌跡 2017年6月 ~ RDS台数推移 グラフ
14. © POKELABO, INC. 2019/9/5 14 50台前後で推移 削減の軌跡 直近1年 ~ RDS台数推移 グラフ
15. © POKELABO, INC. 2019/9/5 15 簡単なモノは定常メンテナンスで実施 • ElastiCacheやRead Replicaの削減, スケールダウンに関しては、時間 を要さないので定常メンテナンスで対応 大掛かりな作業は深夜メンテナンスを実施 • データベースの統合, 分散に関しては、時間を要するので深夜メンテナン スで対応 削減
16. © POKELABO, INC. 2019/9/5 16 膨大なデータ量 • 当初の想定を大幅に上回る10倍の人数を抱えている為、Log, Data周り の退避, 分散がそもそも適正ではない 様々なバッチ処理 • ゲームからデータベースを切り離してもバッチ処理は続けなければならな い SINoALICEにおけるサーバー削減, 移行の留意点
17. © POKELABO, INC. 2019/9/5 17 EBSの料金削減の為、データベース移行, 統合時に新しく作り直す • 一度広がった領域は縮小されない為、載せ替え 複数のalterは一つにまとめる • 基本中の基本ではあるが、徹底 • 個々のデータ量が大きい為、まとめなかった場合は延長のリスク 移行作業前のスケールアップ • dump, restoreの速度増加 (CPU, I/O, NICの性能向上を狙う) サーバー削減, 移行のテクニック
18. © POKELABO, INC. 2019/9/5 18 ゲームを止めずにsharding化 • 初回shardingテーブルに対し、selectを発行 • データがあればそのまま利用し、データがなければ未shardingのテーブ ルにselectを発行 • 未shardingのテーブルにselectが走った場合、shardingテーブルに対し insertを発行 サーバー削減, 移行のテクニック
19. © POKELABO, INC. 2019/9/5 19 RDSを利用している為、スケールダウンは定常メンテナンスで容易に実施出 来るが、スケールインは深夜メンテナンスが必須である 特に大量のデータを分散, 統合, 変更は膨大な時間を要する グラフで示すと盛り上がるので台数のグラフを出したが、実際はインスタンス のタイプ変更(スケールダウン)による削減も大きい そもそもスケールアウト, スケールインを小まめに実施する様なシステムは 想定していなかったので、スケールアップ, スケールダウンで諸々対応した い まとめ
20. © POKELABO, INC. 2019/9/5 20 深夜メンテナンス中、実際に発生したしくじり事例の紹介 しくじり
21. © POKELABO, INC. 2019/9/5 21 想定通りに進まず、メンテナンスを延長 (2017-10-12) • 事前にシミュレーションを行なっていたが、予定を大幅に超えてしまい、メ ンテナンス終了に間に合わなくなってしまった • 結果、45分メンテナンス延長 • ギリギリ朝のコロシアム時間には間に合ったが.. シミュレーション通りに行かない しくじり事例
22. © POKELABO, INC. 2019/9/5 22 移行に失敗し、翌日のコロシアムが出来ない (2017-10-12) • ユーザー関連のAuroraが移行中に異常 (import中なのにCPU負荷が下 がっている, DMLレイテンシが異常に上昇 etc..) • 時間に間に合わない可能性が出たので、failover処理によるRead Replica切り替 え • バッチによるマッチング処理が上記影響で中断され、翌朝のコロシアムが正常に 開催されない • 神魔召喚のレコードが正しく登録されず、神魔が時間通りに発生しない トラブル発生 しくじり事例 (2)
23. © POKELABO, INC. 2019/9/5 23 移行による費用増加 (2019-07-05) • モノガタリ, コロシアムで利用しているデータベースをEC2(mysql)から RDS(Aurora)に載せ替え • EC2のI/Oアクセスを元に費用を見積もったが、設定が異なり見積もりが 役に立たず • EC2ではinnodb_flush_log_at_trx_commitの値を2で利用していた • RDSではデフォルト値を使用する様に設定していたが、EBS(I/O)へのアクセスが 想定以上に増え、予算を遥かに上回る請求が来た 見積もり誤り しくじり事例 (3)
24. © POKELABO, INC. 2019/9/5 24 1. 大規模マーケティング時のサーバー増設 2. SINoALICEにおけるAPPサーバーの削減 おまけ
25. © POKELABO, INC. 2019/9/5 25 APPサーバーに関しては、台数を並べて対応 • オートスケーリンググループを利用し、台数を調整 データベースに関しては、スケールアップで対応 • スケールアウト, スケールインは準備がとても大変 • スケールアップでなるべく対応する 複数の施策が重なると、通常の2倍以上に増えるコトも..!! 大規模マーケティング時のサーバー増設
26. © POKELABO, INC. 2019/9/5 26 大規模マーケティング時のサーバー増設 2019年7月 ~ 直近コラボ時のEC2適正台数推移 グラフ
27. © POKELABO, INC. 2019/9/5 27 分析 • New Relicを利用し、効率の悪いAPIを抽出, 改善 最適化 • 24時間を通して細かくオートスケーリンググループを設定し、常に最適な 台数でシステムを運用 • クライアント側の効率化 (ローカルストレージの更なる有効活用) The 当たり前 SINoALICEにおけるAPPサーバーの削減
28. © POKELABO, INC. 2019/9/5 28 SINoALICEにおけるAPPサーバーの削減 2019年8月22日に改善したとあるAPI
29. © POKELABO, INC. 2019/9/5 29 ゲームを運用する上で課題は日々変わって行く (未曾有アクセスからサーバー削減) 課題に対する最適な道を模索, 選択することで、未来に繋がる 今後も色々課題が浮き彫りになって来るだろうが、楽しみながら対応し続け たい 最後に
30. © POKELABO, INC. 2019/9/5 30 CEDEC2019協賛させて頂きました!! ポケロボくん
31. 31 © POKELABO, INC. 2019/9/5 ご静聴ありがとうございました