リリースを支える負荷測定

リリースを支える負荷試験 2020.1.14 藤田貴大

自己紹介 • 藤田貴大 @takfjt • WFS サーバエンジニア • (前職)組み込み
→ (転職)インフラ → Webゲーム → QA → WFSサーバ

開発体制について

開発体制インフラチームサーバチームプロダクトチームプロダクトチームプロダクトチームプロダクトチームプロダクトチームプロダクトチーム

サーバチームプロダクトチームプロダクトチームプロダクトチームプロダクトチームプロダクトチームプロダクトチーム担当としてプロダクトチームの中で開発私は全体のサポート

プロダクトチームプロダクトチームプロダクトチームインフラチームインフラチームプロダクトチームプロダクトチームプロダクトチームプラットフォーム (GCP,
AWS) ミドルウェア (K8s, MySQL, etc…) モニタリング (Grafana, sumologic, etc…)

今回の話

なぜ、負荷試験？

ゲームはリリースが大切 •スケジュールは入念に計画されている •CM、広告、生放送、etc... •原作があるものであれば、テレビ放映や映画上映にタイミングをあわせることも

サーバエンジニアが最も恐れること

リリース後即メンテ

どれくらい止まるのか •サーバ追加 ⇒ 数時間 •バグ修正 ⇒ 数時間〜数日 •けっこう根本的な見直し ⇒ 数週間
•イチから書き直し ⇒ 数ヶ月？

負荷対策は必須

どういう対策をする？

zܭଌ͢΂͠ɻܭଌ͢Δ·Ͱ͸ ଎౓ͷͨΊͷௐ੔Λͯ͠͸ͳΒͳ͍z 3PC1JLF http://www.lysator.liu.se/c/pikestyle.html 邦訳参照 https://ja.wikipedia.org/wiki/UNIX%E5%93%B2%E5%AD%A6

ということで計測 ↓ 負荷試験

確認したいこと • 想定した負荷をかけて問題無く動作すること • 過大な負荷をかけたとき、まずどこがボトルネックになるのかが明らかになること • 想定より負荷が高いAPIがないか確認すること

想定した負荷

ユーザの量と行動を想定した負荷

ユーザの量 • プロダクトに試算してもらう • 過去の経験

ユーザの行動 • 実際にプレイしたAPIアクセスとリクエスト、レスポンスの情報を準備して貰う • インタビューして、だいたいの動作を想定する • 最終的には、簡易的にゲームアプリ相当の処理を実装することになる（つらい）

負荷試験ツール • 既存のツールを使う(Locust) • 自分で作る • 要求すること • dockerイメージを作ってKubernetesで運用 •
WorkerからMasterに接続

Master Worker Worker Worker Worker Worker Worker Kubernetes + Workerから接続
Worker Worker Worker • 環境構築が簡単 • 台数が多いと費用もかかる • ReplicaSetだけでWorkerの数を制御できる • Masterへの接続は名前解決に任せられる

Kubernetes • 負荷試験では必需品 • 本番のゲームサーバもKubernetesを使っています • 今後も利用する予定です • Kubernetesによる運用は現在進行形で経験値を蓄積中です

実施

負荷試験環境 • 本番相当の環境 • リリース前の本番環境をつかっています • タイミングによっては、そのまま本番投入 • 本番相当のモニタリングが必須

MySQL Redis Memcached ゲームサーバモニタリング負荷計測ツール Master Workers 構成図

負荷試験ツールモニタリング (CPU) 試験中画面の例

やってみると

次々と現れるボトルネックや不具合ちょっとの負荷で落ちるAPIサーバ飽和するMemcached 失敗する名前解決 Bad Gateway 何故か偏るDB負荷跳ね上がるログの量

地道に解決 • ちょっとの負荷で落ちるAPIサーバ → Dockerコンテナ内の設定漏れ • 飽和するMemcached → サーバ追加 •
失敗する名前解決 → DNSキャッシュサーバを設置

地道に解決 • Bad Gateway → ロードバランサとAPIサーバの KeepAlive設定のミス • 何故か偏るDB負荷 →
負荷試験ツールのバグ • 跳ね上がるログの量 → 開発モードの状態で大量のデバッグログを出している状態で、本番相当の負荷をかけてしまった

その他 • モニタリングの調整なども同時進行で実施 • 数値がおかしい • こういうグラフが欲しいなど • インフラチームと連携 •
想定以上の負荷が発生したとき DBのレイテンシが悪化することを確認

負荷試験ビフォーアフタービフォーアフタートラフィック

結果

無事リリース🎉 (海外配信を含む)

まとめ • 負荷試験を実施した • リリース後の負荷に関する問題はゼロ • Kubernetesを活用している • プロダクトチーム、インフラチームとの連携でやっている

リリースを支える負荷測定

リリースを支える負荷測定

More Decks by gree_tech

Other Decks in Technology

Featured

Transcript