Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
コロプラ最新作インフラ構成について
Search
COLOPL Inc.
February 20, 2025
Technology
0
23
コロプラ最新作インフラ構成について
第26回 酒とゲームとインフラとGCP@タイミー
https://sake-game.connpass.com/event/338410/
#酒ゲーGCP
COLOPL Inc.
February 20, 2025
Tweet
Share
More Decks by COLOPL Inc.
See All by COLOPL Inc.
Cloud Spanner 導入で実現した快適な開発と運用について
colopl
1
510
コロプラのオンボーディングを採用から語りたい
colopl
7
1.8k
怖くない!ゼロから始めるPHPソースコードコンパイル入門
colopl
0
110
大規模トラフィックを支える ゲームバックエンドの課題と構成の変遷 ~安定したゲーム体験を実現するために~
colopl
3
4k
長期運用プロジェクトでのMySQLからTiDB移行の検証
colopl
3
1.6k
ゲームを支えるバックエンドエンジニアのリアルを公開!
colopl
1
1.2k
コロプラ_SRE_LCE_ゲームバックエンド_性能との戦い
colopl
0
890
新卒3年目の ゲームバックエンドエンジニアが これまでに経験したこと
colopl
1
1.5k
大規模タイトルを ノーメンテで運用するコツ
colopl
1
1.4k
Other Decks in Technology
See All in Technology
目の前の仕事と向き合うことで成長できる - 仕事とスキルを広げる / Every little bit counts
soudai
24
7k
トラシューアニマルになろう ~開発者だからこそできる、安定したサービス作りの秘訣~
jacopen
2
2k
Culture Deck
optfit
0
410
Classmethod AI Talks(CATs) #16 司会進行スライド(2025.02.12) / classmethod-ai-talks-aka-cats_moderator-slides_vol16_2025-02-12
shinyaa31
0
100
利用終了したドメイン名の最強終活〜観測環境を育てて、分析・供養している件〜 / The Ultimate End-of-Life Preparation for Discontinued Domain Names
nttcom
2
180
ホワイトボードチャレンジ 説明&実行資料
ichimichi
0
130
Classmethod AI Talks(CATs) #17 司会進行スライド(2025.02.19) / classmethod-ai-talks-aka-cats_moderator-slides_vol17_2025-02-19
shinyaa31
0
100
バックエンドエンジニアのためのフロントエンド入門 #devsumiC
panda_program
18
7.4k
2.5Dモデルのすべて
yu4u
2
830
インフラをつくるとはどういうことなのか、 あるいはPlatform Engineeringについて
nwiizo
5
2.5k
AndroidXR 開発ツールごとの できることできないこと
donabe3
0
130
自動テストの世界に、この5年間で起きたこと
autifyhq
10
8.4k
Featured
See All Featured
The Straight Up "How To Draw Better" Workshop
denniskardys
232
140k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
40
2k
YesSQL, Process and Tooling at Scale
rocio
172
14k
Build your cross-platform service in a week with App Engine
jlugia
229
18k
Raft: Consensus for Rubyists
vanstee
137
6.8k
The Pragmatic Product Professional
lauravandoore
32
6.4k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
59k
What's in a price? How to price your products and services
michaelherold
244
12k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Building Your Own Lightsaber
phodgson
104
6.2k
Building a Modern Day E-commerce SEO Strategy
aleyda
38
7.1k
How to Ace a Technical Interview
jacobian
276
23k
Transcript
第26回 酒とゲームとインフラとGCP@タイミー コロプラ最新作インフラ構 成について 2025.02.21
• 須藤 順康 • 株式会社コロプラ 技術基盤本部 インフラストラクチャ部 • 2024年1月入社 自己紹介 2
コロプラについて Vision エンターテインメントで日常をより楽しく、より素晴らしく Mission 3
コロプラについて 4 @COLOPL, Inc.
1/27リリース! 5
新作紹介 6
異世界∞異世界のインフラ構成
インフラ設計の方針 • コロプラで実績のある安定構成を採用 ◦ 既存タイトルの運用実績からメンテナンスをなるべく入れないことができる構成 • なるべくマネージドサービスを採用 ◦ GKE上にすべてのコンポーネントを乗せることはできるが、GKEやミドルウェアのアップ デートの手間やリスクを考えると、多少コストがかかってもマネージドに寄せる方がメリッ
トがあるという判断 ◦ マネージドサービスはダウンタイムを考慮し、メンテナンスタイムを設けない運用ができる サービスを選定 8 …
全体構成 9 iOS/Android/Steam Cloud Load Balancing Apps Google Kubernetes Engine
Artifact Registry Cloud Spanner Cloud SQL Spinnaker Google Kubernetes Engine PvP Google Kubernetes Engine Cloud Logging CDN GitLab Compute Engine RabbitMQ Compute Engine Redis Enterprise ElasticSearch Cloud Monitoring BigQuery
Apps 10 iOS/Android/Steam Cloud Load Balancing Apps Google Kubernetes Engine
Artifact Registry Cloud Spanner Cloud SQL Spinnaker Google Kubernetes Engine PvP Google Kubernetes Engine Cloud Logging CDN GitLab Compute Engine RabbitMQ Compute Engine Redis Enterprise ElasticSearch Cloud Monitoring BigQuery PHP/Laravelのゲームサーバー
Database 11 iOS/Android/Steam Cloud Load Balancing Apps Google Kubernetes Engine
Artifact Registry Cloud Spanner Cloud SQL Spinnaker Google Kubernetes Engine PvP Google Kubernetes Engine Cloud Logging CDN GitLab Compute Engine RabbitMQ Compute Engine Redis Enterprise ElasticSearch Cloud Monitoring BigQuery
Database • Cloud SQLとCloud Spannerを併用 ◦ 過去にCloud Spannerにmaster dataを配置した際にイベントデータへのアクセスでホットス ポットが発生して、Spanner全体のレイテンシが非常に悪化したことがある
• Cloud SQLにmaster dataを保存 ◦ 同じデータを全ユーザーが参照 ▪ アイテムやキャラクターデータ ◦ 昨年のリリースでEnterprise Plusのメンテナンス時のダウン時間が大幅に縮小 • Cloud Spannerにはuser dataを保存 ◦ EditionはStandard ◦ Enterprise Editionにするメリットとコストを比較して、今回はStandardが適切と判断 ▪ 増分バックアップ->リリース時に容量が読めない ▪ Full Text Search-> まだ社内実績や検証が十分でない ▪ (将来的にGAな) managed auto scaler->OSSで運用できてしまっている 12
CI/CD 13 iOS/Android/Steam Cloud Load Balancing Apps Google Kubernetes Engine
Artifact Registry Cloud Spanner Cloud SQL Spinnaker Google Kubernetes Engine PvP Google Kubernetes Engine Cloud Logging CDN GitLab Compute Engine RabbitMQ Compute Engine Redis Enterprise ElasticSearch Cloud Monitoring BigQuery CI経由でコンテナイメージを Artifact Registryにpush spinnakerがイメージの pushをト リガーにパイプラインを起動 本番デプロイを進めるには起動 したパイプラインに手動で操作が 必要
Logging/Monitoring/Alerting 14 iOS/Android/Steam Cloud Load Balancing Apps Google Kubernetes Engine
Artifact Registry Cloud Spanner Cloud SQL Spinnaker Google Kubernetes Engine PvP Google Kubernetes Engine Cloud Logging CDN GitLab Compute Engine RabbitMQ Compute Engine Redis Enterprise ElasticSearch Cloud Monitoring BigQuery
Logging/Monitoring/Alerting • ログはCloud LoggingとBigQuery、Datadogで収集 ◦ 主にアプリケーションログはDatadog、プレイログはBigQuery、それ以外はCloud Logging • 可視化のダッシュボードにはgrafanaを使用 ◦
Google Cloudの各種メトリクスとPHPや各種ミドルウェアのカスタムメトリクスを可視化 ◦ Google Cloud内のリソースだけではなく、CDNやElasticSearch(みたいなやつ)のメトリク スも見れるようにしている ◦ Google Cloud以外のメトリクスも豊富なプラグインが存在するため使い勝手が良かった • アラートはAlert Manager、Cloud Monitoring、Datadogを併用 ◦ Alert Manager: prometheus経由の基本的なインフラメトリクスアラート ◦ Datadog: アプリケーション寄りのアラート ◦ CloudMonitoring: Datadogで事足りるので廃止予定 ▪ Logging経由でのアラート通知が1日当たり20件が上限のため、アプリケーションログ のエラー通知には不向きと判断 15
PvP 16 iOS/Android/Steam Cloud Load Balancing Apps Google Kubernetes Engine
Artifact Registry Cloud Spanner Cloud SQL Spinnaker Google Kubernetes Engine PvP Google Kubernetes Engine Cloud Logging CDN GitLab Compute Engine RabbitMQ Compute Engine Redis Enterprise ElasticSearch Cloud Monitoring BigQuery
PvP • PvP(マルチプレイ)用のゲームサーバーが動くGKEクラスター ◦ PvP自体は未リリース • 以下の主に二つで構成する予定 ◦ Agones ▪
k8s上で動作するゲームサーバーを管理するOSS ◦ prizm ▪ 内製リアルタイムフレームワーク 17
リリースまでに困ったこと
バグ修正等でアプリ審査が直前ま で続いたためSpannerのウォー ムアップのタイミングが難しかっ た
Spannerのウォームアップについて • リリース前にCloud Spannerにウォームアップが必要 ◦ 通常はリリース直前(2日以内)に本番環境のSpannerにテストデータを保存してスプリットを 確保する • アプリの審査からリリースまで ◦
アプリの審査を概ね1〜2ヶ月前から開始 ◦ 審査中は本番環境は触れない ◦ クリスマス/年末年始もあり審査スケジュールが読めない ◦ バグ修正等で直前までアプリ審査が続いた ◦ 審査完了がリリース日直前になる可能性も • 対応:ウォームアップ用に負荷試験環境を流用 ◦ 通常は本番apps -> 本番spanner、負荷試験apps -> 負荷試験spannerとなっているところ一 時的に向き先を入れ替える ◦ ウォームアップ時には本番apps ->負荷試験spanner 、負荷試験apps -> 本番spannerとし、 アプリの審査完了後に元に戻す 20
AgonesがサポートするGKEバー ジョンがGKEのAuto Upgrade バージョンに追いつかない
AgonesとGKEのサポートバージョン • Agonesは1バージョンにつき、k8sの3バージョンをサポートしている ◦ Agonesの最新版は1.47、k8sのサポートバージョンは1.29-1.31(資料作成時点) • GKEはおよそ3ヶ月に1回程度の頻度でバージョンアップ ◦ 1.32のAuto Upgrade(Stable)は2025/4
(資料作成時点) • リリース前にGKEのバージョンはなるべく上げておきたいが、現時点では Agones 1.47 + GKE 1.31まで • このまま1.32のAuto Upgradeが4月になるとAgonesのサポート外バージョ ンになってしまう ◦ ただし、今までAuto UpgradeでAgonesのサポート外バージョンになったことはない ◦ そもそもGKE 1.32がリリースされているのはRapidだけ 22
ご清聴ありがとうございました
• 技術情報発信しているのでフォローしてもらえると嬉しいです ◦ 「アーキテクチャ Conference 2024」登壇時の資料や ◦ 「 PHP Conference
Japan 2024」登壇時の記事など技術ブログで公開しています ◦ 登壇者・執筆者のモチベーションにつながるので立ち寄ってもらえればと 最後に宣伝 24 COLOPL Tech Blog https://blog.colopl.dev/