Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
SINoALICE -シノアリス- Google Cloud Firestoreを用いた観戦機能の実現について
Search
gree_tech
PRO
November 11, 2021
Technology
0
280
SINoALICE -シノアリス- Google Cloud Firestoreを用いた観戦機能の実現について
GREE Tech Conference 2021 で発表された資料です。
https://techcon.gree.jp/2021/session/Session-8
gree_tech
PRO
November 11, 2021
Tweet
Share
More Decks by gree_tech
See All by gree_tech
kustomizeをいい感じに使う方法
gree_tech
PRO
4
2.3k
スケーラビリティとコスト管理 Google Cloud Spanner 費用最適化の取り組み
gree_tech
PRO
0
760
「アナザーエデン 時空を超える猫」の5年前のログを引っ越してデータドリブンで事業運用プロセスを改善した話
gree_tech
PRO
0
490
Unity,PHP+Jenkins+GAS 多言語対応を意識させない開発を目指したシステム構築
gree_tech
PRO
0
1k
全社総会における「REALITY Spaces」の活用と、Addressableを用いたコンテンツ配信技術について
gree_tech
PRO
0
630
AWSのEKS環境でログ機能を構築/リリースしたお話
gree_tech
PRO
0
490
「ヘブンバーンズレッド」の大規模アップデートにおける国内及び翻訳QAの取り組み
gree_tech
PRO
0
580
アプリ「REALITY」の12言語対応プロセスの仕組みと品質向上の取り組み
gree_tech
PRO
0
870
REALITYアプリのメンテナンスなしでの機能リリースを実現する、Istio導入とB/Gデプロイ実現の取り組み
gree_tech
PRO
0
700
Other Decks in Technology
See All in Technology
簡単に始めるSnowflakeの機械学習
nayuts
1
190
CEL(Common Expression Language)で書いた条件にマッチしたIAM Policyを見つける / iam-policy-finder
fujiwara3
0
710
Flutter研修【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
160
LLMアプリケーションの評価の実践と課題 ~PharmaXにおける今後の展望~
pharma_x_tech
2
160
AWS IAMのアンチパターン/AWSが考える最低権限実現へのアプローチ概略(JAWS-UG朝会#59資料改修20分版)
htan
0
330
Datadog Cloud SIEMを使ってAWS環境の脅威を可視化した話/lifeistech-datadog-cloud-siem
gidajun
0
480
What if...? 처음부터 다시 LLM 어플리케이션을 개발한다면
huffon
0
1k
サービスの持続的な成長と技術負債について
siva_official
PRO
10
4.4k
「単なる OAuth 2.0 を認証に使うと、車が通れるほどのどでかいセキュリティー・ホールができる」のか検証してみた
terara
0
380
初中級者用如何使用backlog -VALE TUDOEDITION-
in0u
0
140
頼られるのが大好きな 皆さんへ - 支援相手との期待の合わせ方、突き放し方 -/For_people_who_like_to_be_relied_on
naitosatoshi
1
290
20240725 LLMによるDXのビジョンと、今何からやるべきか @Azure OpenAI Service Dev Day
nrryuya
3
1.2k
Featured
See All Featured
What's new in Ruby 2.0
geeforr
338
31k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
20
7.2k
Fashionably flexible responsive web design (full day workshop)
malarkey
399
65k
Statistics for Hackers
jakevdp
792
220k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
228
16k
Fantastic passwords and where to find them - at NoRuKo
philnash
42
2.7k
Testing 201, or: Great Expectations
jmmastey
33
6.9k
Robots, Beer and Maslow
schacon
PRO
157
8.1k
Git: the NoSQL Database
bkeepers
PRO
423
64k
Designing for Performance
lara
604
67k
How To Stay Up To Date on Web Technology
chriscoyier
784
250k
A Philosophy of Restraint
colly
200
16k
Transcript
SINoALICE -シノアリス- Google Cloud Firestoreを 用いた観戦機能の実現について 株式会社ポケラボ サーバーエンジニア 山口 拓郎
• 本公演のターゲット • Google Cloud Firestoreに興味がある方 • シノアリスのリアルタイムバトルのシステムに興味がある方 はじめに 2
• 山口 拓郎(Takuro Yamaguchi) • 2016年新卒エンジニアとしてポケラボに入社 • AKB48ステージファイター2 バトルフェスティバル •
SINoALICE -シノアリス- • 新卒から現在に至るまでサーバーサイドエンジニアとして従事 自己紹介 3
本日の流れ 4 1.シノアリスとは 2.観戦機能とは 3.コロシアムのシステム紹介 4.発生した課題と解決方法について
1.シノアリスとは 5
シノアリスとは 6
シノアリスとは 7 • リアルタイム通信対戦『コロシアム』 について • シノアリスのメインコンテンツである、 ギルド対抗バトル • 最大15人のギルドメンバーと協力し、
対戦ギルドの”イノチ”を奪い合う • 1回20分間の対戦で、より多くの”イノ チ”を獲得した方の勝利
2. 観戦機能とは 8
観戦機能について(始まり) 9 • コロシアムで世界1位のギルドを決める 「WORLD GRAN COLOSSEUM」を開催
観戦機能について(始まり) 10 • コロシアムで世界1位のギルドを決める 「WORLD GRAN COLOSSEUM」を開催 • 実際に出場するお客様だけでなく •
出場されないお客様にも一緒になって楽しんでもらえるよう 様々な検討を重ねた結果 • 世界一を決める激戦をみんなで観戦・応援できる仕組みを導入 することとなりました
観戦機能について(始まり) 11 • コロシアムで世界1位のギルドを決める 「WORLD GRAN COLOSSEUM」を開催 • 実際に出場するお客様だけでなく •
出場されないお客様にも一緒になって楽しんでもらえるよう 様々な検討を重ねた結果 • 世界一を決める激戦をみんなで観戦・応援できる仕組みを導入 することとなりました ※開発画面
観戦機能について(始まり) 12 • コロシアムで世界1位のギルドを決める 「WORLD GRAN COLOSSEUM」を開催 • 実際に出場するお客様だけでなく •
出場されないお客様にも一緒になって楽しんでもらえるよう 様々な検討を重ねた結果 • 世界一を決める激戦をみんなで観戦・応援できる仕組みを導入 することとなりました
観戦機能について(技術方針) 13
観戦機能について(技術方針) 14
観戦機能について(技術方針) 15
Cloud Firestore 観戦機能について(技術方針) 16 • 柔軟な階層型データ構造に対応 • リアルタイムアップデート • Firebase
Unity SDK から扱える • シノアリスのアプリには既に導入済みだった
3. コロシアムのシステム紹介 17
コロシアムのシステム紹介(構成) 18
コロシアムのシステム紹介(構成) 19 • Unity 2018.4.2f1 • Apache / PHP(7.0) •
Amazon Aurora MySQL • Memcached • CDN(Akamai)
コロシアムのシステム紹介(構成) 20 • ポケラボ謹製 リアルタイム通信サーバ (通称「Reflector」) ◦ Java ◦ クライアントと常時接続
◦ Appサーバが提供する HTTPサービスを定期的に 実行 ◦ データストアとして Hazelcastを利用
コロシアムのシステム紹介(状態同期) 21 1 1. App サーバへ現在の状態を取得す る HTTP サービスを実行
コロシアムのシステム紹介(状態同期) 22 1 1. App サーバへ現在の状態を取得す る HTTP サービスを実行 2.
現在の状態を Reflector に返却 2
コロシアムのシステム紹介(状態同期) 23 1 1. App サーバへ現在の状態を取得す る HTTP サービスを実行 2.
現在の状態を Reflector に返却 3. App サーバから返却された状態を Client に転送 2 3
コロシアムのシステム紹介(状態同期) 24 1 1. App サーバへ現在の状態を取得す る HTTP サービスを実行 2.
現在の状態を Reflector に返却 3. App サーバから返却された状態を Client に転送 4. 転送された状態を元に画面同期 2 3 4
コロシアムのシステム紹介(ユーザー行動) 25 1. 武器使用などのユーザーの行動メ ッセージを送信 1
コロシアムのシステム紹介(ユーザー行動) 26 2 1. 武器使用などのユーザーの行動メ ッセージを送信 2. App サーバへユーザーの行動を 登録する
HTTP サービスを実行 1
コロシアムのシステム紹介(ユーザー行動) 27 2 1. 武器使用などのユーザーの行動メ ッセージを送信 2. App サーバへユーザーの行動を 登録する
HTTP サービスを実行 3. 行動に基づいた処理を実行、結果 を Reflector に返却 3 1
コロシアムのシステム紹介(ユーザー行動) 28 2 1. 武器使用などのユーザーの行動メ ッセージを送信 2. App サーバへユーザーの行動を 登録する
HTTP サービスを実行 3. 行動に基づいた処理を実行、結果 を Reflector に返却 4. 返却された結果を Client に転送 3 4 1
コロシアムのシステム紹介(Firestore導入:戦況) 29
コロシアムのシステム紹介(Firestore導入:戦況) 30 1. Reflector から App サーバへ HTTP サービスを実行 1
コロシアムのシステム紹介(Firestore導入:戦況) 31 1. Reflector から App サーバへ HTTP サービスを実行 2.
結果を Reflector に返却すると共 に Firestore へ書き込み 1 2
コロシアムのシステム紹介(Firestore導入:戦況) 32 1. Reflector から App サーバへ HTTP サービスを実行 2.
結果を Reflector に返却すると共 に Firestore へ書き込み 3. Firestore 上のデータ読み取り 1 2 3
コロシアムのシステム紹介(Firestore導入:チャット) 33
コロシアムのシステム紹介(Firestore導入:チャット) 34 1. Client から App サーバへ メッセージ送信 1
コロシアムのシステム紹介(Firestore導入:チャット) 35 1. Client から App サーバへ メッセージ送信 2. 結果を
Firestore へ書き込み 2 1
コロシアムのシステム紹介(Firestore導入:チャット) 36 1. Client から App サーバへ メッセージ送信 2. 結果を
Firestore へ書き込み 3. Firestore 上のデータ読み取り 2 3 1
Firesto 上のデータ構造(仕様) 37 • Cloud Firestore はNoSQL ドキュメント指向データベース • データは「ドキュメント」に格納し
それが「コレクション」にまとめられる
Firesto 上のデータ構造 38 collection1 コロシアムの 基本情報 対戦開始時 ギルド情報 メンバー情報 イベント情報
など collection2 ユーザーの 行動履歴 ユーザー1行動毎 ユーザーID 攻撃対象 ダメージ量 など collection3 戦況状態履歴 約1秒毎 全ユーザーのHP イノチ獲得量 イベント状態 など collection4 チャット 発言毎 ユーザーアイコン 発言内容 など
Firesto 上のデータ構造 39 collection1 コロシアムの 基本情報 対戦開始時 ギルド情報 メンバー情報 イベント情報
など collection2 ユーザーの 行動履歴 ユーザー1行動毎 ユーザーID 攻撃対象 ダメージ量 など collection3 戦況状態履歴 約1秒毎 全ユーザーのHP イノチ獲得量 イベント状態 など collection4 チャット 発言毎 ユーザーアイコン 発言内容 など
Firesto 上のデータ構造 40 collection1 コロシアムの 基本情報 対戦開始時 ギルド情報 メンバー情報 イベント情報
など collection2 ユーザーの 行動履歴 ユーザー1行動毎 ユーザーID 攻撃対象 ダメージ量 など collection3 戦況状態履歴 約1秒毎 全ユーザーのHP イノチ獲得量 イベント状態 など collection4 チャット 発言毎 ユーザーアイコン 発言内容 など
Firesto 上のデータ構造 41 collection1 コロシアムの 基本情報 対戦開始時 ギルド情報 メンバー情報 イベント情報
など collection2 ユーザーの 行動履歴 ユーザー1行動毎 ユーザーID 攻撃対象 ダメージ量 など collection3 戦況状態履歴 約1秒毎 全ユーザーのHP イノチ獲得量 イベント状態 など collection4 チャット 発言毎 ユーザーアイコン 発言内容 など
Firesto 上のデータ構造 42 collection1 コロシアムの 基本情報 対戦開始時 ギルド情報 メンバー情報 イベント情報
など collection2 ユーザーの 行動履歴 ユーザー1行動毎 ユーザーID 攻撃対象 ダメージ量 など collection3 戦況状態履歴 約1秒毎 全ユーザーのHP イノチ獲得量 イベント状態 など collection4 チャット 発言毎 ユーザーアイコン 発言内容 など
4. 発生した課題と解決方法について 43
発生した課題と解決方法について 44 • PHP から Firestore への write時、一定のコストがかかっており • 結果
Response Time の悪化が見られた
発生した課題と解決方法について 45 • Firestore への write が遅延するケースがあった • PHP と
Firestore を切り離すために Cloud functions を使用
発生した課題と解決方法について 46 • Firestore への write にかかる時間が安定しなかった • PHP と
Firestore を切り離すために、下記を実施 app サーバ 戦況書き込み app サーバ 戦況書き込み • Cloud functions ◦ PHP → Firestore への書き込み遅延を回避するために使用 PHP から write するのではなく、Cloud Functions から write する • Cloud Pub/Sub ◦ Cloud functions のトリガーとして使用
発生した課題と解決方法について 47 • Firestore への write が遅延するケースがあった • PHP と
Firestore を切り離すために Cloud functions を使用 app サーバ 戦況書き込み app サーバ 戦況書き込み
発生した課題と解決方法について 48 • Cloud functions からの write に切り替えた結果 Response Time
は安定
発生した課題と解決方法について 49 • Cloud functions からの write に切り替えた結果 Response Time
は安定 • 依然として Cloud Pub/Sub への書き込みコストがあった
発生した課題と解決方法について 50 • 依然として Cloud Pub/Sub への書き込みコストがあった • google-cloud-batch daemon
を使用
発生した課題と解決方法について 51 • 依然として Cloud Pub/Sub への書き込みコストがあった • google-cloud-batch daemon
を使用 Request pub/sub 書き込み daemon 未使用
発生した課題と解決方法について 52 • 依然として Cloud Pub/Sub への書き込みコストがあった • google-cloud-batch daemon
を使用 Request pub/sub 書き込み daemon pub/sub 書き込み queueに書き込み Request daemon 未使用 daemon 使用
発生した課題と解決方法について 53 • google-cloud-batch daemon で Cloud Pub/Sub への write
を行うようにした結果 • Response Time が、Firestore導入前と同等まで改善
まとめ 54 • Cloud Firestore は以下の特徴がある • 柔軟な階層型データ構造に対応 • リアルタイムアップデート
• Firebase Unity SDK から扱える • Firestore への書き込み時に一定のコストが発生したが Cloud functions, batch daemon を使用することで 書き込み時のコストを抑えることが出来た
55