cocone TECH TALK Vol.6 - Kotlin バックエンドアーキテクチャ of アバターサービス

Transcript

1. Kotlin バックエンドアーキテク チャ of アバターサービス 2023/04 大友 秀輔
2. 自己紹介 • 大友秀輔 (@slumbers99) • 2013年9月ココネ入社(子会社含 ◦ メッセンジャー ▪ Connect ▪ TonTon ▪ Potto ◦ アバター ▪ ポケコロ • ココネッツ ▪ ClawKiss ◦ 音声ライブ配信 ▪ 私を布教して
3. 自己紹介 • 大友秀輔 • @slumbers99 • 2013年9月ココネ入社 ◦ メッセンジャー ▪ Connect ▪ TonTon ▪ Potto ◦ アバター ▪ ポケコロ • ココネッツ ▪ ClawKiss ◦ 音声ライブ配信 ▪ 私を布教して
4. 今日話すこと • ClawKissとは • ClawKissでのバックエンドアーキテクチャ ◦ 使ったクラウドサービス ◦ 技術構成 ◦ 苦労したところ • まとめ • 質疑応答
5. 今日話さないこと • ChatGPT
6. ClawKissとは
7. ClawKiss とは • 2022年12月20日リリース • 可愛く遊んで、稼げる。Dress & Earn を謳ったココネがグローバル に挑戦するためのweb3サービス • ブロックチェーンネットワーク 「MOOI」を利用 ◦ MOOIはココネグループが運用 • ココネが得意なCCPジャンルをブ ロックチェーンに載せたらどうなるか の意欲作
9. バックエンドアーキテクチャ
10. 言語とフレームワーク • Kotlin 1.6.x ◦ JDK: Amazon Corretto 17 • SpringBoot 2.6.x ◦ grpc-spring-boot-starter 4.7.x • gRPC ◦ protoc ver.3 • Gradle 7.4.x
11. DB系 - MongoDB Atlas (on aws) - ユーザーデータ - マスターデータ - ElastiCache - リモートキャッシュ - OpenSearch - 全文検索
12. 認証とモバイルPUSH • Firebase Authentication ◦ メール / パスワード ◦ Twitter ◦ Facebook ◦ Apple ◦ Google • Firebase Cloud Messaging ◦ 友達申請 ◦ 行動可能時間 ◦ お知らせ ◦ etc …
13. その他 • aws ◦ EC2 (ALB, EC2, AutoScaling Group …) ◦ S3 ◦ CodeDeploy ◦ Lambda (Python 3.8) ◦ API Gateway ◦ CloudFront ◦ Systems Manager (パラ メータストア) • Simple Notification Service • Jenkins • DataDog • Gitlab
15. 環境 • Alpha, Staging, Beta, Production 環境を用意 ◦ Application Server 以外は2分割 ◦ Alpha: 開発用、Staging: QA環境、Beta: リリース前確認 ◦ 開発用クライアントからはそれぞれ接続できるようにしてる ◦ S3などもそれぞれ別に用意 • 各種DB接続先などパラメータストアで保持 ◦ AutoScaling時に環境変数へコピー
16. デプロイ Merge RequestでKotestとDetektのチェックが 通ったものをリリースブランチにマージ kotlin proto gradle build pull
17. デプロイ • リリースブランチに対してMR ◦ Jenkinsに投げてKotestとDetekt実行 ▪ Jenkinsプラグイン ▪ PUSHとMR作成時に実行 ◦ 結果をGitlabのMRのステータス更新 ▪ Pipelines must succeed の設定にしている • Jenkinsでデプロイジョブを実行 ◦ リリースブランチをPULLしてビルド ◦ CodeDeployを実行
18. 苦労したところ
19. 苦労したところ • gRPC を使っての環境構築が初めてだった ◦ ALBのヘルスチェックが通らない問題 ◦ ローカルでのgRPC接続はできる ◦ デプロイしてみてもヘルスチェックのログすら記録されない ◦ ヘルスチェックは虚無にいったのか?? ◦ tcpdumpとってみた -> 解決の糸口
20. 苦労したところ • HTTP2を許可するだけだった・・・ ◦ 会社テックブログに載せました「Spring BootとgRPCをApplication Load Balancer(ALB)で動かそうとしてハマったこと」 ◦ https://engineering.cocone.io/2022/06/10/run_springboot_ and_grpc_with_alb/
21. 苦労したところ • protoファイルどこに置こうか問題 ◦ protoは別リポジトリで管理 ◦ submoduleにして参照していた ◦ なんとなくうまく行っているがこれでいいかわからん • 基本的にprotoリポジトリはブランチ一本化 ◦ developブランチ(なんでもいいけど)に落ち着いた • 構造体からパラメータ消すとそもそもビルドできなくなる ◦ 消すときのルールは必要かも
22. 苦労したこと その他特に困ったこともなく、比較的安定して運用できております。 バグは・・・・すいません。
23. まとめ • ClawKissはAWSふんだんにつかわれている • Kotlin on SpringBoot はいい選択肢だと思っている • アバターサービスと銘打って入るがバックエンドとしては特に尖ったことは していない • 当たり前のWEBサービスの技術が当たり前に構築されている • ちょっと罠があったりもするが概ね安定運営
24. ご清聴ありがとうございました このあとの懇親会もよろしくお ねがいします