基盤チームとしての挑戦と社内コミュニティで得た学び【DeNA TechCon 2021 Winter】/techcon2021 winter_6

ゲームサーバー基盤チームとして、大規模トラフィックを捌く技術的なチャレンジだけでなく、外部の開発会社との連携など様々なことを経験してきました。
そんな環境でこれまでチャレンジしてきたこと、そして成果を出すために工夫してきたことをお話します。

また、同期との輪読会の運営や社内コミュニティ、勉強会への参加など横断的な活動についても紹介します。

Transcript

1. 基盤チームとしての挑戦と 社内コミュニティで得た学び 海老沼 健一
2. 自己紹介 海老沼 健一 - 2020年新卒 - ゲーム事業本部ディベロップメント統括部技術部第6グループ - 趣味はテニスと映画 - 学生時代 - 創業期のスタートアップ数社で幅広く経験を積む - 現在 - サーバーサイドエンジニア - 社内ゲームサーバー基盤 Takasho の開発/運用 @ebkn
 @ebkn12

3. 今日話すこと - ゲームサーバー基盤チームでの経験 - 社内の技術コミュニティの運営など横断的活動
4. ゲームサーバー基盤 Takasho とは
5. ゲームサーバー基盤 Takasho とは - DeNA 内製のゲームサーバー基盤 - Web サーバーフレームワーク - 複数タイトル共通で必要な機能セット - コード自動生成ツール - インフラ構築ツール - などを提供 - 内製 MBaaS (Mobile Backend as a Service) と連携 - アカウント管理、課金、Push通知など
6. Takasho を支える技術 - Go - Protocol Buffers + gRPC - Kubernetes (GKE) - Cloud Spanner - Terraform - CircleCI, ArgoCD ※This slide is not affiliated with or otherwise sponsored by CNCF
7. Takasho を支える技術 - 詳しく知りたい方は是非こちらも御覧ください - Google INSIDE Games & Apps - https://cloudonair.withgoogle.com/events/inside-games-and-a pps?talk=20211005-1 - DeNA Engineer’s Blog - https://engineer.dena.com/posts/2021.10/takasho-overview/
8. Takasho ができた経緯
9. Takasho ができた経緯 - 前の基盤が抱えていた課題 - 全タイトルで共通のコード → 仕様変更が難しい - 全タイトルで１つのサーバー群 → 障害の影響が全タイトルに - 安定稼働しており、一定成功は収めている - Takasho でのアプローチ - web サーバーフレームワークを提供し、 　　　 共通機能を利用しつつ独自機能追加も容易に - マネージドサービスを駆使してコストを最適化
10. Takasho ができた経緯 - 前の基盤が抱えていた課題 - 全タイトルで共通のコード → 仕様変更が難しい - 全タイトルで１つのサーバー群 → 障害の影響が全タイトルに - 安定稼働しており、一定成功は収めている - Takasho でのアプローチ - web サーバーフレームワークを提供し、 　　　 共通機能を利用しつつ独自機能追加も容易に - マネージドサービスを駆使してコストを最適化
11. Takasho チームが やっていること
12. Takasho チームがやっていること - フレームワークや各種ツールの開発 - 複数タイトルのゲームサーバー開発/運用 - フレームワークを利用しているタイトルのサポート
13. Takasho チームがやっていること - フレームワークや各種ツールの開発 - 運用に入っている各タイトルの知見を反映 - 開発の効率化や品質向上 - 複数タイトルのゲームサーバー開発/運用 - フレームワークを利用しているタイトルのサポート
14. Takasho チームがやっていること - フレームワークや各種ツールの開発 - 運用に入っている各タイトルの知見を反映 - 開発の効率化や品質向上 - 複数タイトルのゲームサーバー開発/運用 - 各タイトルに数人ずつ担当者をつける - 外部のクライアントエンジニアさんやQAなどとやり取り - 機能開発、バグ修正、障害対応 - フレームワークを利用しているタイトルのサポート
15. Takasho チームがやっていること - フレームワークや各種ツールの開発 - 運用に入っている各タイトルの知見を反映 - 開発の効率化や品質向上 - 複数タイトルのゲームサーバー開発/運用 - 各タイトルに数人ずつ担当がつく - 外部のクライアントエンジニアさんやQAなどとやり取り - 機能開発、バグ修正、障害対応 - フレームワークを利用しているタイトルのサポート - 開発/運用の知見を共有 - フレームワークの導入/更新
16. Takasho チームに求められること - タイトルチームがゲームの面白さを作る部分に集中できるようにする - より多くの人に継続的にゲームを遊んでもらえるようにする - 開発/運用のコストを下げる
17. Takasho チームに求められること - タイトルチームがゲームの面白さを作る部分に集中できるようにする - どのタイトルでも必要な機能を集約して開発 - クライアント側の開発をできるだけサーバー側に依存させない - より多くの人に継続的にゲームを遊んでもらえるようにする - 開発/運用のコストを下げる
18. Takasho チームに求められること - タイトルチームがゲームの面白さを作る部分に集中できるようにする - どのタイトルでも必要な機能を集約して開発 - クライアント側の開発をできるだけサーバー側に依存させない - より多くの人に継続的にゲームを遊んでもらえるようにする - 大規模リクエストを難なく捌けるように - 高い可用性と安定した運用 - 開発/運用のコストを下げる
19. Takasho チームに求められること - タイトルチームがゲームの面白さを作る部分に集中できるようにする - どのタイトルでも必要な機能を集約して開発 - クライアント側の開発をできるだけサーバー側に依存させない - より多くの人に継続的にゲームを遊んでもらえるようにする - 大規模リクエストを難なく捌けるように - 高い可用性と安定した運用 - 開発/運用のコストを下げる - サーバー,インフラのアーキテクチャを最適化 - クライアントチームの工数削減 - Takasho チームの工数削減
20. Takasho チームで これまでやってきたこと
21. Takasho チームでこれまでやってきたこと - 機能開発 - デプロイフローの整備 - 負荷試験 - タイトル大臣
22. 機能開発 - 配属された1ヶ月半後くらい - あるタイトルで大きめの機能開発を任せてもらった
23. 機能開発 - ゲームサーバー独自の設計 - サーバーコードレスアーキテクチャ - https://engineer.dena.com/posts/2019.12/server-code-less-a rchitecture-in-mobile-game-client/ - 大規模トラフィックに耐えうる設計 - DBのロック競合 - 適切なクエリ、インデックス - 非同期処理 - バッチ
24. 機能開発 - 機能実装を進めていく中で発生した問題 - 不十分な動作検証による不具合 - 改善の取り組み - PRに検証結果を決まったフォーマットで書いてもらうように - 静的解析ツールを導入し、機械的に問題を検知するように
25. デプロイフローの整備 - 要件整理、Kubernetes のデプロイ周りのエコシステムの調査から、 CDツールの導入まで - 自分にとって技術的にチャレンジングなタスク - 元々興味があり、自分の成長に繋がると思ったので手を挙げた ※This slide is not affiliated with or otherwise sponsored by CNCF
26. デプロイフローの整備 - やってよかったこと - 調査/検討を進めている段階で他のチームの事例を聞きに行ったことで、 考慮漏れや違う視点が得られた - 社内 TechTalk でアウトプット - 知識の整理 - さらにFBをもらう
27. 負荷試験 - 目的 - リリース時、運用時のトラフィック量、必要なリソース量を予測 - アプリケーション、インフラ双方で発生する問題をリリースまでに潰す - 負荷をかける → ボトルネックを見つける → 修正 の繰り返し
28. 負荷試験で実際に見つかった問題 - DBに適切な index が貼られていないことでレイテンシ悪化 - DBのロック競合によるタイムアウト - MBaaSのレイテンシ悪化によるサービス影響 - キャッシュの実装漏れによるレイテンシ悪化 - Google Cloud の Quota に引っかかる
29. タイトル大臣 - タイトル側 (PMや外部のクライアントエンジニア、QAなど) とのやりとりをする窓口 - Takasho チームからタイトルごとに専任でつく
30. タイトル大臣の仕事 - API設計 + すり合わせ - 機能提供スケジュールの相談 - 実装、テスト - サーバー、SDK提供 - 実装のサポート - 適切なクライアント実装になっているか確認 - 不具合対応
31. タイトル大臣の仕事 - Takasho チームのスケジュール、タスク管理 - 進捗管理、実装のサポート - 時期によって必要な工数が結構変動する
32. Takasho チームで学んだこと - 大規模ゲームサーバーの設計、実装 - ゲーム独自のAPI設計 - DBロック、競合 - ソフトスキル - 多くの関係者とのやり取り - チーム内のタスク、スケジュール管理
33. 社内技術コミュニティの 運営/参加
34. 社内技術コミュニティの運営/参加 - 社内技術コミュニティの運営/参加 - 20卒輪読会 - GCloud Monday - GE TechTalk - Go言語委員会 - Go Friday - ...
35. 社内技術コミュニティの運営/参加 - 社内技術コミュニティの運営/参加 - 20卒輪読会 ← 今日話す - GCloud Monday ← 今日話す - GE TechTalk - Go言語委員会 - Go Friday - ...
36. 20卒輪読会 - 20卒エンジニアの有志(3~8人)で開催している - 毎週業務終わりに1~2h - ゆるくご飯食べながら、雑談しながら - 興味ありそうな人に声をかけて始まり、1年以上続いている - これまで読んだ/読んでいる本 - データ指向アプリケーションデザイン - 入門監視 - Fundamentals of Software Architecture
37. 20卒輪読会をなぜ始めたのか - リモートで同期と関わる機会が少なかった - 議論することでより学びを得る - モチベーションの維持 (ピア・プレッシャー)
38. 20卒輪読会をなぜ始めたのか - リモートで同期と関わる機会が少なかった - 同期の近況や社内の状況を色々知れる - 議論することでより学びを得る - モチベーションの維持
39. 20卒輪読会をなぜ始めたのか - リモートで同期と関わる機会が少なかった - 同期の近況や社内の状況を色々知れる - 議論することでより学びを得る - 他の事業部での事例や知見をたくさん得られそう - モチベーションの維持
40. 20卒輪読会をなぜ始めたのか - リモートで同期と関わる機会が少なかった - 同期の近況や社内の状況を色々知れる - 議論することでより学びを得る - 他の事業部での事例や知見をたくさん得られそう - モチベーションの維持 - ピア・プレッシャー - 一人ではハードルの高い、分厚かったり、英語の本も
41. 輪読会の進め方 - Scrapbox に毎週担当者がまとめてくる - 当日は zoom に画面共有してまとめを読む - 気になった所があればコメント+議論
42. 20卒輪読会
43. コメントでわいわい https://www.oreilly.co.jp/books/9784873118703/ https://www.oreilly.co.jp/books/9784873118642/ https://www.oreilly.com/library/view/fundamentals-of-software/9781492043447/
44. たまにハンズオンやデモも
45. 輪読会を継続するコツ - 一人はそのトピックに詳しい状態 - 事前に読んでまとめてくる - ゆるい雰囲気、雑談多めで気軽に参加しやすく - 担当者の負担が大きすぎない - 一月半に1回くらい回ってくる
46. GCloud Monday - Google Cloud に関する勉強会 - 各チームの知見共有、Google Cloud のアップデート情報 - Google Cloud の方にも参加していただいている
47. その他の社内技術コミュニティ - 各言語の勉強会 - Android Tuesday, Swift Wednesday, Ruby Thursday, Go Friday, Web Frontend 勉強会 - 社内テックトーク - Tech Talk - GE TechTalk (ゲーム事業本部、ソリューション事業本部) - 社内XR事業情報共有会 - その他チームや事業部ごとなど、 多くの勉強会/コミュニティが運営されている
48. まとめ
49. まとめ - Takasho チームでは技術的な学び/経験はもちろん、様々な方とのコミュニ ケーションやマネジメントを経験できた - 成果を出していればやりたいことは手を上げれば、難しいものでも どんどん若手でも任せてもらえる環境 - 社内コミュニティでのインプットも多く、業務に活かせている - 同期とのつながり、知見共有を頻繁にしている
50. 引用 各種アイコン、ロゴ、イメージ画像 - https://cncf-branding.netlify.app/projects/grpc/ - https://cncf-branding.netlify.app/projects/argo/ - https://go.dev/blog/go-brand - https://cloud.google.com/icons - https://www.hashicorp.com/brand#terraform - https://www.irasutoya.com/p/faq.html 書籍 - https://www.oreilly.co.jp/books/9784873118703/ - https://www.oreilly.co.jp/books/9784873118642/ - https://www.oreilly.com/library/view/ fundamentals-of-software/9781492043447/