コロプラのゲームサーバー運用における SREチームの取り組み/ColoplTech-01-01

by COLOPL Inc.

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

COLOPL, Inc. All Rights Reserved 5 COLOPL Engineer organization  Smartphone internet GCP, AWS, etc. k8s, etc. Server Framework Client Framework Game Server Game Client インフラ  サーバー基盤  クライアント基盤  ゲームプロジェクト  プラットフォーム  クライアントサイド  サーバーサイド 

Slide 6

Slide 6 text

COLOPL, Inc. All Rights Reserved 6 SREってなんでしょうかね？  ● 一般には？  ➭ Site Reliability Engineering  ➭ SLI/SLO(*)を定めて信頼性のために活動する  ● SLO?  ➭ SLAとの違い  ➜ SLAは達成できなかった時の保証の話  ≒ ユーザー様が不満を持った時のもの  ➜ SLOはサービスがどうあるべきかの基準  ≒ ユーザー様が満足している状態を表現するもの    *) Service Level Indicators / Service Level Objectives  SRE 

Slide 7

Slide 7 text

COLOPL, Inc. All Rights Reserved 7 SREってなんでしょうかね？  ● 具体的には？  ➭ SREというワードは有名なのに  SLI/SLOの例は見かけない...  ➭ SLI/SLOというワードを中心に  コロプラSREチームの話をしたいと思います    ● ちなみに  ➭ 最近Seeking SREの日本語版が出ています  ➭ みんな割りと色んなことやっている  SRE 

Slide 8

Slide 8 text

COLOPL, Inc. All Rights Reserved 8 コロプラSREの起源  ● いくつかのタイトルで運用実績が伸びてきた  ● ユーザー様に継続的に楽しんでもらいたい  ➭ コンスタントなイベント開発は外せない  ➭ 性能面はインフラリソース追加で対応するものの  アプリケーションのチューニングが不足がちに  ➭ サーバーダウン  ● このままの運用品質では上を目指せない  COLOPL SRE 

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

COLOPL, Inc. All Rights Reserved 14 インフラ指標だけでは長期的に品質を維持できる気がしない  ● ゲームの特性  ● イベントの特性  ● 運用の特性  運用と共にアプリケーションからインフラまで通した品質活動をしたい    ちょうど世間でSREというワードが流行っていた  ● これがやりたいイメージに近いのではないか？  ● アプリケーション寄りから発足  COLOPL SRE 

Slide 15

Slide 15 text

COLOPL, Inc. All Rights Reserved 15 具体的に何をしよう？  ● 世間的にはインフラスタートのイメージが強い？  ● Googleの教えを素直に受け止めてみる  ➭ SREへの正しい道その１.   状況に応じたユーザー重視のSLOを定義する (*)  ➭ Google CREとも相談  信頼性とはユーザー様がどう思うか  SLI/SLOをどうするか自分たちのサービス次第      *) 参考記事 COLOPL SRE 

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

COLOPL, Inc. All Rights Reserved 18 Client side COLOPL SRE SLI/SLO  Server side Game server/Asset server User journey action boot login setup screen draw Journey 1: e.g.) Login Journey 2: xxx login API user data API asset download ここはよく見る

Slide 19

Slide 19 text

COLOPL, Inc. All Rights Reserved 19 Client side COLOPL SRE SLI/SLO  Server side Game server/Asset server User journey action boot login setup screen draw Journey 1: e.g.) Login Journey 2: xxx login API user data API asset download こっちのかたまりを観察できるようにして判断基準にしたいここはよく見る

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

COLOPL, Inc. All Rights Reserved 22 ジャーニーをピックアップする  ● ゲームのメインループを理解する  ➭ e.g.) ログイン〜[キャラ編集>クエスト受ける>バトル]xN  ● メインループ内のジャーニーと指標(SLI)を選び出す  ➭ e.g.)「バトル開始」の「レイテンシ」, etc.  ➭ SLO対象は15個くらいを推奨  ● プランナーさんの考えを聞いてみる  ● ステークホルダーと合意取る  ➭ PM、CE、SE  ➭ SLI/SLOが悪化したら必ずアクション考える  COLOPL SRE SLI/SLO 

Slide 23

Slide 23 text

COLOPL, Inc. All Rights Reserved 23 データの収集機構を立てる  COLOPL SRE SLI/SLO  Cloud Logging Game Server Cloud Pub/Sub Cloud Dataﬂow BigQuery Structured Data ETL SLI Aggregate SLO Summary DB Summary Data ... Grafana

Slide 24

Slide 24 text

COLOPL, Inc. All Rights Reserved 24 定期的にフィードバックする  ● 一旦モニタリング当初のSLIでSLOを決める  ● 月毎で状況報告  ➭ SLIの状態や傾向  ➭ 気になるところはSRE側で  ゲームソースコードの調査等の深掘りも  ● 四半期毎でアクションの話し合い  ➭ 数字で出たものに対してノーアクションはしない  ➭ アプリケーション対応しないならSLOを変える  COLOPL SRE SLI/SLO 

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text