Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
リリースを支える負荷測定
Search
gree_tech
PRO
January 17, 2020
Technology
850
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
リリースを支える負荷測定
「WFS Tech Talk #2」で発表された資料です。
https://gree.connpass.com/event/158257/
gree_tech
PRO
January 17, 2020
Transcript
37 slides
リリースを支える負荷試験 2020.1.14 藤田 貴大
自己紹介 • 藤田 貴大 @takfjt • WFS サーバエンジニア • (前職)組み込み
→ (転職)インフラ → Webゲーム → QA → WFSサーバ
開発体制について
開発体制 インフラチーム サーバチーム プロダクトチーム プロダクトチーム プロダクトチーム プロダクトチーム プロダクトチーム プロダクトチーム
サーバチーム プロダクトチーム プロダクトチーム プロダクトチーム プロダクトチーム プロダクトチーム プロダクトチーム 担当としてプロダクトチームの中で開発 私は全体のサポート
プロダクトチーム プロダクトチーム プロダクトチーム インフラチーム インフラチーム プロダクトチーム プロダクトチーム プロダクトチーム プラットフォーム (GCP,
AWS) ミドルウェア (K8s, MySQL, etc…) モニタリング (Grafana, sumologic, etc…)
今回の話
なぜ、負荷試験?
ゲームはリリースが大切 •スケジュールは入念に計画されている •CM、広告、生放送、etc... •原作があるものであれば、テレビ放映や 映画上映にタイミングをあわせることも
サーバエンジニアが 最も恐れること
リリース後 即メンテ
どれくらい止まるのか •サーバ追加 ⇒ 数時間 •バグ修正 ⇒ 数時間〜数日 •けっこう根本的な見直し ⇒ 数週間
•イチから書き直し ⇒ 数ヶ月?
負荷対策は必須
どういう対策をする?
zܭଌ͢͠ɻܭଌ͢Δ·Ͱ ͷͨΊͷௐΛͯ͠ͳΒͳ͍z 3PC1JLF http://www.lysator.liu.se/c/pikestyle.html 邦訳参照 https://ja.wikipedia.org/wiki/UNIX%E5%93%B2%E5%AD%A6
ということで計測 ↓ 負荷試験
確認したいこと • 想定した負荷をかけて問題無く動作すること • 過大な負荷をかけたとき、まずどこがボトル ネックになるのかが明らかになること • 想定より負荷が高いAPIがないか確認すること
想定した負荷
ユーザの量と行動を 想定した負荷
ユーザの量 • プロダクトに試算してもらう • 過去の経験
ユーザの行動 • 実際にプレイしたAPIアクセスと リクエスト、レスポンスの情報を準備して貰う • インタビューして、だいたいの動作を想定する • 最終的には、簡易的にゲームアプリ相当の 処理を実装することになる(つらい)
負荷試験ツール • 既存のツールを使う(Locust) • 自分で作る • 要求すること • dockerイメージを作ってKubernetesで運用 •
WorkerからMasterに接続
Master Worker Worker Worker Worker Worker Worker Kubernetes + Workerから接続
Worker Worker Worker • 環境構築が簡単 • 台数が多いと費用もかかる • ReplicaSetだけでWorkerの 数を制御できる • Masterへの接続は名前解決に任せ られる
Kubernetes • 負荷試験では必需品 • 本番のゲームサーバもKubernetesを使っています • 今後も利用する予定です • Kubernetesによる運用は現在進行形で 経験値を蓄積中です
実施
負荷試験環境 • 本番相当の環境 • リリース前の本番環境をつかっています • タイミングによっては、そのまま本番投入 • 本番相当のモニタリングが必須
MySQL Redis Memcached ゲームサーバ モニタリング 負荷計測ツール Master Workers 構成図
負荷試験ツール モニタリング (CPU) 試験中画面の例
やってみると
次々と現れるボトルネックや不具合 ちょっとの負荷で落ちるAPIサーバ 飽和するMemcached 失敗する名前解決 Bad Gateway 何故か偏るDB負荷 跳ね上がるログの量
地道に解決 • ちょっとの負荷で落ちるAPIサーバ → Dockerコンテナ内の設定漏れ • 飽和するMemcached → サーバ追加 •
失敗する名前解決 → DNSキャッシュサーバを設置
地道に解決 • Bad Gateway → ロードバランサとAPIサーバの KeepAlive設定のミス • 何故か偏るDB負荷 →
負荷試験ツールのバグ • 跳ね上がるログの量 → 開発モードの状態で大量のデバッグログを 出している状態で、本番相当の負荷を かけてしまった
その他 • モニタリングの調整なども同時進行で実施 • 数値がおかしい • こういうグラフが欲しいなど • インフラチームと連携 •
想定以上の負荷が発生したとき DBのレイテンシが悪化することを確認
負荷試験ビフォーアフター ビフォー アフター トラフィック
結果
無事リリース🎉 (海外配信を含む)
まとめ • 負荷試験を実施した • リリース後の負荷に関する問題はゼロ • Kubernetesを活用している • プロダクトチーム、インフラチームとの 連携でやっている
More Decks by gree_tech
See All by gree_tech
ゼロデイ攻撃対応の夜、AI は戦力になるのか
gree_tech
PRO
0
53
多彩なデータに負けないデータ分析パイプライン構築
gree_tech
PRO
0
170
AI駆動で挑むプロダクト刷新 ── アーキテクチャ設計とワークフロー最適化の実践事例 ──
gree_tech
PRO
0
160
『ヘブンバーンズレッド』のリグレッションテストにおけるストーリーの自動プレイ
gree_tech
PRO
0
170
REALITYにTAチームができるまでの軌跡〜ミッション:ガチャ本数5倍に対応せよ!〜
gree_tech
PRO
0
110
イベント続きでもミスらないライブサービスゲーム公式サイト運用システム開発
gree_tech
PRO
0
130
20年間 SNS サービス「GREE」 を支えた技術の刷新と、長期運用サービスの Kubernetes へのリアーキテクト
gree_tech
PRO
0
240
グラフ基盤ワークフローで実現するLLMによる自動ゲームプレイ
gree_tech
PRO
0
180
AIエージェントに脆弱性診断の仕事を奪われかけた ークローリングからコード全診断までの限界突破ー
gree_tech
PRO
0
160
Other Decks in Technology
See All in Technology
個人ASを取得して、自宅Kubernetes上のVMをグローバルIPで公開した話
munenick
0
110
あの日、見つかっていなかったらどうなっていたか
kazzpapa3
2
230
マネジメントされる側の仕事は「文句」を言うこと
riyaamemiya
6
5.4k
Kiro アップデート 2026 年 11 月号 (11 月 8 日時点) | 目指せ Kiro マスター アップデート編
inariku
PRO
2
140
田んぼの見回りをIoTで減らしたい!水位監視から電池駆動カメラまでの試行錯誤
itosoft
1
240
Sonnetだけで業務はまわる?
kintotechdev
1
140
マネージャーをエスパーにしない マネジメントされる側から始める、働きやすい現場づくり
comi190327
1
620
こんなに変わった! AWSネットワークの常識
shotashiratori
10
7.1k
エンタープライズ事業未経験のデータ屋、 AI時代にN回撃沈する.pdf
ryoskdara_
0
130
思考過程から秘密が漏れる:Amazon Bedrock上のKimi K3を5つの方法で攻めたら、25回中22回漏洩した話
yama3133
1
170
アラートを見直していたら営業組織への理解にちょっとだけ繋がった話
z63d
1
210
Steering と Hook (チームの決まりを守らせる) | 目指せ Kiro マスター 06
inariku
PRO
2
140
Featured
See All Featured
Redefining SEO in the New Era of Traffic Generation
szymonslowik
1
530
Color Theory Basics | Prateek | Gurzu
gurzu
1
520
How Software Deployment tools have changed in the past 20 years
geshan
3
35k
Winning Ecommerce Organic Search in an AI Era - #searchnstuff2025
aleyda
2
2.2k
Design of three-dimensional binary manipulators for pick-and-place task avoiding obstacles (IECON2024)
konakalab
0
660
Building AI with AI
inesmontani
PRO
1
1.4k
WCS-LA-2024
lcolladotor
0
1k
From π to Pie charts
rasagy
1
450
Groundhog Day: Seeking Process in Gaming for Health
codingconduct
0
480
The untapped power of vector embeddings
frankvandijk
2
2k
SEOcharity - Dark patterns in SEO and UX: How to avoid them and build a more ethical web
sarafernandez
0
330
AI Search: Where Are We & What Can We Do About It?
aleyda
0
8.2k