大規模ゲーム開発環境を支えるサーバー・インフラアーキテクチャへの取り組み事例 / Execution example of server and infrastructure architectures that supporting large-scale game development environments

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Copyright 2019 DELiGHTWORKS. 大量コンテンツ配信について 2 10 多方面のCDN有効活用により、全体的な速度の向上へマスターデータの取得 Game Server Smartphone ゲームAPIのコール Smartphone CDN Game Server Storage Server 負荷軽減+速度向上 Game Server Smartphone ゲームサーバから取得 Smartphone CDN Game Server 応答速度の向上

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Copyright 2019 DELiGHTWORKS. データベースについて – 資料 - ➢ 詳細は弊社エンジニアが過去に講演した資料がございます ➢ Fate/Grand Orderにおける大規模なデータベース移行と負荷試験 /今井 https://www.slideshare.net/MorioImai/fategrand-order ➢ これで怖くない！？大規模環境で体験するDB負荷対策～垂直から水平の彼方へ～ /甲 https://www.slideshare.net/hideakikabuto/db-108716671 ➢ 想定外な規模へと成長し続けるサービスを支えるサーバ開発・運用の軌跡 ~ DBの縦横分割スケーリング ~ /髙屋 https://speakerdeck.com/walkure/history-of-a-large-scale-web-api-service-development-and-operation- with-vertical-and-horizontal-database-partitioning

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Copyright 2019 DELiGHTWORKS. サーバーレスに向けJenkinsを置き換えよう 38 ➢ 情報入力WebUI → SlackApps + AWS Lambda ➢ ジョブの実行 → CircleCI ➢ Terraform → Terraform ➢ 環境のチェック → CircleCI ➢ 新要素! コンテナのbuild → AWS CodeBuild ➢ 新要素! コンテナデプロイ → AWS CodePipeline

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Copyright 2019 DELiGHTWORKS. 新規の開発環境運用 - これにより - 47 ➢ 目的であった問題点の解決 ⚫ Jenkinsを利用せず、すべてサーバレスでの動作 ⚫ 環境指定が選択式なので、誤字脱字ミスの解消 ➢ それ以外として ⚫ Slack上で情報が見えるので、他の人の動きも見える ⚫ エラー通知もSlack専用グループに通知で追いやすく ⚫ 旧環境からの高速化…はそれほどならず。でも高速化の余地あり

Slide 49

Slide 49 text

Copyright 2019 DELiGHTWORKS. 新規の開発環境運用 – 悩んだ所 - 48 ➢ SlackAppsダイアログの3秒ルール ⚫ ダイアログ表示の[Submit]には3秒で応答しないといけない ⚫ Lambda内部でLambdaを非同期で呼び出し ➢ Lambdaへのソースデプロイ ⚫ 自前でデプロイコマンドを作成 ➢ 1つのTerraformレシピで複数マシン名への対応 ⚫ リソース情報ファイルをS3に設置。それを init 時に指定

Slide 50

Slide 50 text

Slide 51

Slide 51 text

Slide 52

Slide 52 text

Slide 53

Slide 53 text

Copyright 2019 DELiGHTWORKS. 前半インフラまとめ 52 ➢ インフラを支える技術は日々進化。その中から取捨選択できるように想定と検証を重ね、適したツールを取り込んでいく事が大事 ➢ コンテンツの質を高める要件の一つはテストを重ねる事。テストを何度も重ねる為には効率化が必須 ➢ 全てのベースはインフラが支えている。そのベースを失わない為にも日々検証と改善に取り組むことが必然

Slide 54

Slide 54 text

Slide 55

Slide 55 text

Slide 56

Slide 56 text

Slide 57

Slide 57 text

Slide 58

Slide 58 text

Slide 59

Slide 59 text

Slide 60

Slide 60 text

Slide 61

Slide 61 text

Slide 62

Slide 62 text

Copyright 2019 DELiGHTWORKS. なぜC# 61 言語機能が多い Visual Studioによるサポートが強力弊社プログラマーの好みクライアント（Unity）とソースコードを共有できるジェネリック、静的/動的型付け、LINQ、Unsafeなど便利機能がいっぱいサーバー側の人がクライアント側のソースを読む際の障壁が少なくなる（逆も然り）参照の表示、インテリセンス、クイックアクション、ブレイクポイントなど会社立ち上げ時からのエンジニアがC#を好きだった

Slide 63

Slide 63 text

Slide 64

Slide 64 text

Slide 65

Slide 65 text

Slide 66

Slide 66 text

Slide 67

Slide 67 text

Slide 68

Slide 68 text

Slide 69

Slide 69 text

Slide 70

Slide 70 text

Slide 71

Slide 71 text

Slide 72

Slide 72 text

Copyright 2019 DELiGHTWORKS. クラウド環境の新しい取り組み 71 コンテナ化したので運用の仕方を検討 Google App Engine Google Kubernetes Engine Googleのインフラの上でアプリケーションを作り、実行できるようにするPaaSです Googleのインフラストラクチャを使用して、コンテナ化されたアプリケーションのデプロイ、管理、スケーリングを行うマネージド環境です Windows Servers CI ソースを各サーバー内で展開 ZIP ソース管理自動化ツール

Slide 73

Slide 73 text

Slide 74

Slide 74 text

Copyright 2019 DELiGHTWORKS. フルマネージド〇〇〇自動スケーリング〇〇〇 C#をサポート × 〇〇 Dockerイメージのサポート〇〇〇その他・VMインスタンスは毎週再起動します・長期的に動かし続けることが可能クラウド環境の新しい取り組み 73 Google App Engine フレシブル環境 Google Kubernetes Engine Google App Engine スダンダート環境 C#はサポートされていないので不採用毎週再起動するため不採用

Slide 75

Slide 75 text

Copyright 2019 DELiGHTWORKS. フルマネージド〇〇〇自動スケーリング〇〇〇 C#をサポート × 〇〇 Dockerイメージのサポート〇〇〇その他・VMインスタンスは毎週再起動します・長期的に動かし続けることが可能クラウド環境の新しい取り組み 74 Google App Engine フレシブル環境 Google Kubernetes Engine Google App Engine スダンダート環境 GKEを採用

Slide 76

Slide 76 text

Slide 77

Slide 77 text

Slide 78

Slide 78 text

Slide 79

Slide 79 text

Slide 80

Slide 80 text

Slide 81

Slide 81 text

Slide 82

Slide 82 text

Slide 83

Slide 83 text

Slide 84

Slide 84 text

Copyright 2019 DELiGHTWORKS. 以前までの開発環境の運用 83 開発環境決定開発環境画面担当者依頼者海外版環境の追加をお願い！ ××のテスト環境追加をお願い △△のテスト環境追加をお願い Test01環境の追加をお願い □□のテスト環境追加をお願い Test02の追加もお願い負荷試験環境の追加も頼む外部検証環境の追加も頼む ○○のテスト環境追加をお願いデバッグ環境の追加も！ ○○のテスト環境追加をお願い QA プランナーデザイナーエンジニア Test01

Slide 85

Slide 85 text

Copyright 2019 DELiGHTWORKS. 以前までの開発環境の運用 84 決定 QA プランナーデザイナーエンジニア Test01 Test02 負荷試験外部検証デバッグフューチャ開発環境開発環境画面担当者依頼者海外版環境の追加をお願い！ ××のテスト環境追加をお願い △△のテスト環境追加をお願い Test01環境の追加をお願い □□のテスト環境追加をお願い Test02の追加もお願い負荷試験環境の追加も頼む外部検証環境の追加も頼む ○○のテスト環境追加をお願いデバッグ環境の追加も！ ○○のテスト環境追加をお願い

Slide 86

Slide 86 text

Slide 87

Slide 87 text

Copyright 2019 DELiGHTWORKS. 以前までの開発環境の運用 86 決定 QA プランナーデザイナーエンジニア Test01 Test02 負荷試験外部検証デバッグフューチャ開発環境 Test01って何用だっけ外部検証のマスターはいつのバージョンだっけプランナーってサーバープログラムのブランチどれだっけ外部検証って誰が使ってるんだっけデザイナー最後更新したのいつだっけ負荷試験つかっていいんだっけ

Slide 88

Slide 88 text

Slide 89

Slide 89 text

Copyright 2019 DELiGHTWORKS. 以前までの開発環境の運用 ~まとめ~ 88 開発環境は複数存在する各開発環境は口頭かドキュメントを使って管理してる開発アプリからは開発環境選択画面を経由して開発環境の選択を行う開発環境が増えた際は担当者に依頼して、手動で追加を行うプランナーの人数分環境がたてられているタイトルも開発環境選択画面の情報は基本べた書き追加に伴い、アプリの再ビルドと再配布の手間もコミュニケーションコストの発生、ドキュメントは気を抜くとすぐ古くなったり。。

Slide 90

Slide 90 text

Slide 91

Slide 91 text

Slide 92

Slide 92 text

Copyright 2019 DELiGHTWORKS. 今の開発環境の運用環境名用途マスターアプリバージョンドメインブランチ利用者開発者開発用 ○○○ 1.0.3 xxx develop 開発メンバー QA デバッグ用 △△△ 1.0.1 yyy master QA DBから情報を参照して表示するWebページを作成、どの環境がどういう風に使われているかは一目瞭然開発環境の問い合わせによるコミュニケーションコストの撲滅を目指す！

Slide 93

Slide 93 text

Slide 94

Slide 94 text

Copyright 2019 DELiGHTWORKS. 今の開発環境の運用 ~まとめ~ 93 開発環境の情報はDBに入れて保持する開発環境DBの更新はCI/CDと連動して自動/手動更新する開発環境DBのデータを参照して開発管理サイトに表示する開発環境DBのデータに基づいて開発環境のリストを返すAPIを用意 DBは専用のものを作成開発管理サイトでは開発管理の閲覧と編集、マスター更新の有り無しなど設定できるクライアントが必要な情報だけ返す利用者/使用用途など推測不可能なデータは手動更新

Slide 95

Slide 95 text

Slide 96

Slide 96 text

Slide 97

Slide 97 text

Slide 98

Slide 98 text

Copyright 2019 DELiGHTWORKS. CI/CDツールの選定 97 サーバーレス〇〇〇 Dockerイメージのサポート × 〇〇ランライム提供のみ提供のみ任意の言語を選べる File System Read Only Read Only コンテナイメージに準拠 Google Cloud Function Google Cloud Run Google App Engine スダンダート環境今回はファイルを生成してGitリポジトリにプッシュすることがCIの要件に含まれています

Slide 99

Slide 99 text

Copyright 2019 DELiGHTWORKS. CI/CDツールの選定 98 今回はファイルを生成してGitリポジトリにコミットすることがCIの要件に含まれていますサーバーレス〇〇〇 Dockerイメージのサポート × 〇〇ランライム提供のみ提供のみ任意の言語を選べる File System Read Only Read Only コンテナイメージに準拠 Google Cloud Function Google Cloud Run Google App Engine スダンダート環境 Google Cloud Run を採用しました

Slide 100

Slide 100 text

Slide 101

Slide 101 text

Slide 102

Slide 102 text

Slide 103

Slide 103 text

Copyright 2019 DELiGHTWORKS. Cloud Run移行後の課題 102 Jenkinsのような入力インターフェイスはないパラメータの受け渡しが面倒パラメータごとにサービスとして作るのも現実的ではない Cloud Run（フルマネージド）はVPCにアクセスできない SVNサーバーがVPC内にあるので、アクセスできないとリポジトリをチェックアウトできない解決策：開発管理サイトをCIのインターフェイスとしても使う解決策：Cloud Run on GKEに変更

Slide 104

Slide 104 text

Copyright 2019 DELiGHTWORKS. Log マスター更新全体像（一部抜粋） 103 GitHub Enterprise デプロイ Cloud Build Container Registry Spinnaker Database SVN (マスタデータ） Slack Kubernetes cluster Cloud Run on GKE 開発管理サイト Cloud Run on GKE マスター更新 Cloud Run on GKE マスターコンバータ Stackdriver Cloud Spanner

Slide 105

Slide 105 text

Copyright 2019 DELiGHTWORKS. 全体像（一部抜粋） 104 GitHub Enterprise Cloud Build Container Registry Spinnaker SVN (マスタデータ） Slack Kubernetes cluster Cloud Run on GKE 開発管理サイト Cloud Run on GKE マスター更新 Cloud Run on GKE マスターコンバータ開発管理サイト経由でCloud Runのサービスを呼び出すことで、パラメータの受け渡しが楽になり、企画職の操作簡単になったマスター更新デプロイ Database Log Stackdriver Cloud Spanner

Slide 106

Slide 106 text

Copyright 2019 DELiGHTWORKS. 全体像（一部抜粋） GitHub Enterprise Cloud Build Container Registry Spinnaker Cloud Spanner SVN (マスタデータ） Slack Kubernetes cluster Cloud Run on GKE 開発管理サイト Cloud Run on GKE マスター更新 Cloud Run on GKE マスターコンバータ Cloud Run on GKEに移行したことにより、VPCアクセスが可能になってSVNのリポジトリを無事チェックアウトできるようになったマスター更新デプロイ Database Log Stackdriver

Slide 107

Slide 107 text

Copyright 2019 DELiGHTWORKS. 効率化への新しい取り組み ~まとめ~ 106 開発環境は多くなりがち、情報を整理して可視化することが大事プロジェクトの規模、体制などに適していたツールを選ぶことが重要 ⚫ チーム全員に正しい情報が共有されていることが開発をよりスムーズにする ⚫ 一回数分だけの確認も、積もれば大きなコミュニケーションコストに繋がる ⚫ プロジェクトの事情は千種万様 ⚫ プロジェクトから困ったことや要望をしっかりヒアリングすることが重要 ⚫ 時には既存のツールを捨て、プロジェクトにあったツールを選ぶことも必要

Slide 108

Slide 108 text

Slide 109

Slide 109 text

Copyright 2019 DELiGHTWORKS. まとめ ~後半~ 最適な技術を検討できるようになるためには、失敗を恐れず、新しい技術は積極的に使っていくことが重要チームメンバーがゲーム開発を集中できるように仕事効率化を常に考えて行動することが大事 ⚫ .NET CoreもGCPもサーバーレスも、弊社としても自分としても初の挑戦 ⚫ やってみないと優劣わからないところもあるので、新しいものに対しての検証は欠かさない ⚫ 仮に挑戦が失敗しても次に繋がる大きな一歩になる ⚫ ゲーム開発において一番重要なのはコンテンツのクオリティ ⚫ 人手不足なのはどのプロジェクトも同じ ⚫ コンテンツのクオリティと直接かかわらない部分の仕事をどれだけ自動化できるかが肝心

Slide 110

Slide 110 text