Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
リリースを支える負荷測定
Search
gree_tech
PRO
January 17, 2020
Technology
0
420
リリースを支える負荷測定
「WFS Tech Talk #2」で発表された資料です。
https://gree.connpass.com/event/158257/
gree_tech
PRO
January 17, 2020
Tweet
Share
More Decks by gree_tech
See All by gree_tech
コミュニケーションに鍵を見いだす、エンジニア1年目の経験談
gree_tech
PRO
0
120
REALITY株式会社における開発生産性向上の取り組み: 失敗と成功から学んだこと
gree_tech
PRO
2
1.7k
『ヘブンバーンズレッド』におけるフィールドギミックの裏側
gree_tech
PRO
2
570
セキュリティインシデント対応の体制・運用の試行錯誤 / greetechcon2024-session-a1
gree_tech
PRO
1
570
『アナザーエデン 時空を超える猫』国内海外同時運営実現への道のり ~別々で開発されたアプリを安定して同時リリースするまでの取り組み~
gree_tech
PRO
1
540
『アサルトリリィ Last Bullet』におけるクラウドストリーミング技術を用いたブラウザゲーム化の紹介
gree_tech
PRO
1
630
UnityによるPCアプリの新しい選択肢。「PC版 Google Play Games」への対応について
gree_tech
PRO
1
990
実機ビルドのエラーによる検証ブロッカーを0に!『ヘブンバーンズレッド』のスモークテスト自動化の取り組み
gree_tech
PRO
1
640
"ゲームQA業界の技術向上を目指す! 会社を超えた研究会の取り組み"
gree_tech
PRO
1
770
Other Decks in Technology
See All in Technology
Backlog ユーザー棚卸しRTA、多分これが一番早いと思います
__allllllllez__
1
140
Delta airlines®️ USA Contact Numbers: Complete 2025 Support Guide
airtravelguide
0
340
MUITにおける開発プロセスモダナイズの取り組みと開発生産性可視化の取り組みについて / Modernize the Development Process and Visualize Development Productivity at MUIT
muit
1
15k
fukabori.fm 出張版: 売上高617億円と高稼働率を陰で支えた社内ツール開発のあれこれ話 / 20250704 Yoshimasa Iwase & Tomoo Morikawa
shift_evolve
PRO
2
6.8k
整頓のジレンマとの戦い〜Tidy First?で振り返る事業とキャリアの歩み〜/Fighting the tidiness dilemma〜Business and Career Milestones Reflected on in Tidy First?〜
bitkey
2
14k
高速なプロダクト開発を実現、創業期から掲げるエンタープライズアーキテクチャ
kawauso
2
8.3k
KubeCon + CloudNativeCon Japan 2025 Recap
ren510dev
1
370
さくらのIaaS基盤のモニタリングとOpenTelemetry/OSC Hokkaido 2025
fujiwara3
2
360
ビズリーチにおけるリアーキテクティング実践事例 / JJUG CCC 2025 Spring
visional_engineering_and_design
1
110
LangChain Interrupt & LangChain Ambassadors meetingレポート
os1ma
2
290
20250707-AI活用の個人差を埋めるチームづくり
shnjtk
4
3.6k
Geminiとv0による高速プロトタイピング
shinya337
0
250
Featured
See All Featured
GitHub's CSS Performance
jonrohan
1031
460k
Java REST API Framework Comparison - PWX 2021
mraible
31
8.7k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.4k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
48
5.4k
Practical Orchestrator
shlominoach
188
11k
Embracing the Ebb and Flow
colly
86
4.7k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
950
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
29
9.6k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.3k
For a Future-Friendly Web
brad_frost
179
9.8k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
126
52k
Transcript
リリースを支える負荷試験 2020.1.14 藤田 貴大
自己紹介 • 藤田 貴大 @takfjt • WFS サーバエンジニア • (前職)組み込み
→ (転職)インフラ → Webゲーム → QA → WFSサーバ
開発体制について
開発体制 インフラチーム サーバチーム プロダクトチーム プロダクトチーム プロダクトチーム プロダクトチーム プロダクトチーム プロダクトチーム
サーバチーム プロダクトチーム プロダクトチーム プロダクトチーム プロダクトチーム プロダクトチーム プロダクトチーム 担当としてプロダクトチームの中で開発 私は全体のサポート
プロダクトチーム プロダクトチーム プロダクトチーム インフラチーム インフラチーム プロダクトチーム プロダクトチーム プロダクトチーム プラットフォーム (GCP,
AWS) ミドルウェア (K8s, MySQL, etc…) モニタリング (Grafana, sumologic, etc…)
今回の話
なぜ、負荷試験?
ゲームはリリースが大切 •スケジュールは入念に計画されている •CM、広告、生放送、etc... •原作があるものであれば、テレビ放映や 映画上映にタイミングをあわせることも
サーバエンジニアが 最も恐れること
リリース後 即メンテ
どれくらい止まるのか •サーバ追加 ⇒ 数時間 •バグ修正 ⇒ 数時間〜数日 •けっこう根本的な見直し ⇒ 数週間
•イチから書き直し ⇒ 数ヶ月?
負荷対策は必須
どういう対策をする?
zܭଌ͢͠ɻܭଌ͢Δ·Ͱ ͷͨΊͷௐΛͯ͠ͳΒͳ͍z 3PC1JLF http://www.lysator.liu.se/c/pikestyle.html 邦訳参照 https://ja.wikipedia.org/wiki/UNIX%E5%93%B2%E5%AD%A6
ということで計測 ↓ 負荷試験
確認したいこと • 想定した負荷をかけて問題無く動作すること • 過大な負荷をかけたとき、まずどこがボトル ネックになるのかが明らかになること • 想定より負荷が高いAPIがないか確認すること
想定した負荷
ユーザの量と行動を 想定した負荷
ユーザの量 • プロダクトに試算してもらう • 過去の経験
ユーザの行動 • 実際にプレイしたAPIアクセスと リクエスト、レスポンスの情報を準備して貰う • インタビューして、だいたいの動作を想定する • 最終的には、簡易的にゲームアプリ相当の 処理を実装することになる(つらい)
負荷試験ツール • 既存のツールを使う(Locust) • 自分で作る • 要求すること • dockerイメージを作ってKubernetesで運用 •
WorkerからMasterに接続
Master Worker Worker Worker Worker Worker Worker Kubernetes + Workerから接続
Worker Worker Worker • 環境構築が簡単 • 台数が多いと費用もかかる • ReplicaSetだけでWorkerの 数を制御できる • Masterへの接続は名前解決に任せ られる
Kubernetes • 負荷試験では必需品 • 本番のゲームサーバもKubernetesを使っています • 今後も利用する予定です • Kubernetesによる運用は現在進行形で 経験値を蓄積中です
実施
負荷試験環境 • 本番相当の環境 • リリース前の本番環境をつかっています • タイミングによっては、そのまま本番投入 • 本番相当のモニタリングが必須
MySQL Redis Memcached ゲームサーバ モニタリング 負荷計測ツール Master Workers 構成図
負荷試験ツール モニタリング (CPU) 試験中画面の例
やってみると
次々と現れるボトルネックや不具合 ちょっとの負荷で落ちるAPIサーバ 飽和するMemcached 失敗する名前解決 Bad Gateway 何故か偏るDB負荷 跳ね上がるログの量
地道に解決 • ちょっとの負荷で落ちるAPIサーバ → Dockerコンテナ内の設定漏れ • 飽和するMemcached → サーバ追加 •
失敗する名前解決 → DNSキャッシュサーバを設置
地道に解決 • Bad Gateway → ロードバランサとAPIサーバの KeepAlive設定のミス • 何故か偏るDB負荷 →
負荷試験ツールのバグ • 跳ね上がるログの量 → 開発モードの状態で大量のデバッグログを 出している状態で、本番相当の負荷を かけてしまった
その他 • モニタリングの調整なども同時進行で実施 • 数値がおかしい • こういうグラフが欲しいなど • インフラチームと連携 •
想定以上の負荷が発生したとき DBのレイテンシが悪化することを確認
負荷試験ビフォーアフター ビフォー アフター トラフィック
結果
無事リリース🎉 (海外配信を含む)
まとめ • 負荷試験を実施した • リリース後の負荷に関する問題はゼロ • Kubernetesを活用している • プロダクトチーム、インフラチームとの 連携でやっている