TIPSTARを支えるGoとGoogle Cloud

ミクシィにおける Go 活用事例 〜 #gocon 2022 Spring 前夜祭（非公式）〜
https://mixi.connpass.com/event/245232/
の発表資料です

Transcript

1. ©TIPSTAR TIPSTARを⽀えるGoとGoogle Cloud
2. ©TIPSTAR TIPSTARとは TIPSTAR TIPSTARとは、365日配信されるライブ動画と、 競輪・新KEIRIN PIST6・オートレースのネット投票を、 基本無料で、友達と一緒に楽しむことができるサービスです。 ※2022年4月現在
3. ©TIPSTAR TIPSTAR 各場の映像 AI による 映像編集 ユーザ・決済基盤 競輪・オートレース 認証・認可・決済 etc. レース情報取得・投票 レース情報取得・投票 ユーザ
4. ©TIPSTAR TIPSTARの使⽤技術
5. Go
6. ©TIPSTAR 使⽤技術 Web Typescript React Redux Next.js styled-components iOS Swift RxSwift RxFlow Analytics Google Analytics Looker Public Cloud AWS - MediaServices Google Cloud - GKE - GAE - Cloud Spanner - Memorystore - Pub/Sub - Cloud Run - Cloud Functions - Cloud Storage - Cloud Logging - BigQuery Firebase - Authentication - Cloud Messaging - Remote Config - Firestore CI/CD CircleCI Bitrise CloudBuild Protocol gRPC FTP HTTPS IDL OpenAPI Protocol Buffers Android Kotlin Coroutines/Navigation Components MotionLayout ExoPlayer Go echo Ruby on Rails Server Unity Unity as a Library
7. ©TIPSTAR アーキテクチャ Load Balancer Cloud Load Balancing TIPSTAR API Kubernetes Engine レース情報API Kubernetes Engine レース情報API Kubernetes Engine レース情報API Kubernetes Engine レース情報取り込み Kubernetes Engine レース情報取り込み Kubernetes Engine レース情報取り込み Kubernetes Engine Cloud Spanner Monitoring Logging Error Reporting Workers Kubernetes Engine Functions Cloud Functions webhook Cloud Run Messages Pub/Sub Resource Cloud Storage Scheduler Cloud Scheduler BigQuery Dataflow 外部サービス CircleCI GitHub アプリケーション デプロイ
8. ©TIPSTAR 求められる要件 • メンテナンスは基本なし ◦ 過去のメンテナンス歴は障害時と決済基盤入れ替え時の2回のみ • 競技の結果を素早くユーザーに届ける ◦ 払戻金周りなど正確に早く届ける必要がある ◦ 無料メダルで購入されている物もあるので数が多い • ミッション達成やボーナス付与など多くの書き込みトランザクションがある ので設計時に負荷懸念がないかなど、考慮する必要がある
9. ©TIPSTAR Goの採⽤背景 • Goを使ってみたいというメンバーのモチベーションが高かった • 会社としてもGoの採用事例にもつながる • Google Cloudを使う前提だったため、Go製のクライアントライブラリが豊 富などメリットが大きかった
10. ©TIPSTAR Goを使って良かったなと思うこと • 言語仕様がシンプルなのでGoの業務経験がないメンバーも比較的早くプロジ ェクトのキャッチアップができている • コード量が多くなることがあるが読みやすい ◦ Goは筋肉で書く言語 • Google Cloudのクライアントライブラリや参考コードが多い
11. ©TIPSTAR TIPSTARリリース後に⼊れたGoの新しめの機能 • Go 1.16からリリースされたgo:embed ◦ ファイル読み込みと変数へのセットが2行のコードでセット可能 ◦ BigQueryにデータをエクスポートする際のschemeファイルの取り込み に使用 • Go 1.17からリリースされたtesting T.Setenv ◦ 環境変数をmockできる機能 ◦ テスト終了後に定義した環境変数が破棄される、環境変数を汚さない
12. ©TIPSTAR GoとGoogle Cloud
13. ©TIPSTAR レース結果反映の話 • レースの勝ち負けや払戻金返金処理など素早く届ける必要がある • 無料購入分を含めると1レースで処理する車券の量はとても多い • さらに車券の結果だけではなく、ボーナス付与、ミッション達成、通知など 多くの機能が車券反映後に処理する • 処理をユーザー単位で分散し、数分で全ての処理を終わらせる • 処理の途中でエラーが起きても自動でリトライする仕組みが必要
14. ©TIPSTAR 複数で処理 レース結果取得 ⾞券反映のアーキテクチャ レース情報 外部サービス レース情報API Kubernetes Engine Trigger Pub/Sub 複数で処理 未反映ID Pub/Sub 車券反映 Kubernetes Engine 未反映車券を検索 Cloud Functions 車券反映 Kubernetes Engine 車券反映 Kubernetes Engine 複数で処理 ボーナス付与や通知 Kubernetes Engine ボーナス付与や通知 Kubernetes Engine ボーナス付与や通知 Kubernetes Engine 未反映ID Pub/Sub
15. ©TIPSTAR 複数で処理 レース結果取得 ⾞券反映までの流れ① レース情報 外部サービス レース情報API Kubernetes Engine Trigger Pub/Sub 複数で処理 未反映ID Pub/Sub 車券反映 Kubernetes Engine 未反映車券を検索 Cloud Functions 車券反映 Kubernetes Engine 車券反映 Kubernetes Engine 複数で処理 ボーナス付与や通知 Kubernetes Engine ボーナス付与や通知 Kubernetes Engine ボーナス付与や通知 Kubernetes Engine 未反映ID Pub/Sub
16. ©TIPSTAR ⾞券反映までの流れ① • レース結果がきた時に専用のPub/Subトピックに対象のレースIDをPublish
17. ©TIPSTAR 複数で処理 レース結果取得 ⾞券反映までの流れ② レース情報 外部サービス レース情報API Kubernetes Engine Trigger Pub/Sub 複数で処理 未反映ID Pub/Sub 車券反映 Kubernetes Engine 未反映車券を検索 Cloud Functions 車券反映 Kubernetes Engine 車券反映 Kubernetes Engine 複数で処理 ボーナス付与や通知 Kubernetes Engine ボーナス付与や通知 Kubernetes Engine ボーナス付与や通知 Kubernetes Engine 未反映ID Pub/Sub
18. ©TIPSTAR ⾞券反映までの流れ② • Cloud Functionsが起動し、そのレースで車券反映が済んでいないUserIDを 抽出 ◦ Cloud Spanner全ノード検索になるが専用のINDEXがあるのと呼び出し 頻度は少なめなので負荷の懸念はない • 抽出後RaceIDとUserIDを別の専用Pub/SubトピックにPublish
19. ©TIPSTAR 複数で処理 レース結果取得 ⾞券反映までの流れ③ レース情報 外部サービス レース情報API Kubernetes Engine Trigger Pub/Sub 複数で処理 未反映ID Pub/Sub 車券反映 Kubernetes Engine 未反映車券を検索 Cloud Functions 車券反映 Kubernetes Engine 車券反映 Kubernetes Engine 複数で処理 ボーナス付与や通知 Kubernetes Engine ボーナス付与や通知 Kubernetes Engine ボーナス付与や通知 Kubernetes Engine 未反映ID Pub/Sub
20. ©TIPSTAR ⾞券反映までの流れ③ • RaceIDとUserIDを受け取ったWorkerがユーザー毎の車券反映を行う ◦ このWorkerは複数ありこの時点で分散されている • ボーナス付与や通知は別Workerがあり、さらにUserIDとRaceIDをPublish ◦ 別Workerの理由は他Userの車券反映に依存している処理が含まれるため
21. ©TIPSTAR Cloud Pub/Subのメリット • 途中どこかの処理でエラーが起きたとしても何度もリトライできる • Pub/SubへのPublishはコマンドラインからもでき、強制的にどこかの Workerを発動させることも可能
22. ©TIPSTAR 本⽇のまとめ • TIPSTARは24時間 365日稼働する基本メンテナンス無しのサービス • TIPSTARのサーバーサイドではGo言語とGoogle Cloudを採用している • Go言語はキャッチアップが比較的容易でGoogle Cloudとも相性がいい • レース結果の反映は正確に素早く終わらせる必要があり、分散して処理を実 行するためにGoogle Cloudのプロダクトを活用している ※2022年4月現在