Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
マイクロサービスダッシュボードの紹介
Search
Yuta UEKUSA
December 15, 2021
Technology
1
1.9k
マイクロサービスダッシュボードの紹介
https://mercari.connpass.com/event/230951/
Yuta UEKUSA
December 15, 2021
Tweet
Share
Other Decks in Technology
See All in Technology
Lakebaseを使ったAIエージェントを実装してみる
kameitomohiro
0
170
AWS CDK 開発を成功に導くトラブルシューティングガイド
wandora58
3
140
Operating Operator
shhnjk
1
640
第64回コンピュータビジョン勉強会「The PanAf-FGBG Dataset: Understanding the Impact of Backgrounds in Wildlife Behaviour Recognition」
x_ttyszk
0
130
Delta airlines®️ USA Contact Numbers: Complete 2025 Support Guide
airtravelguide
0
350
SREのためのeBPF活用ステップアップガイド
egmc
1
780
VGGT: Visual Geometry Grounded Transformer
peisuke
1
550
IPA&AWSダブル全冠が明かす、人生を変えた勉強法のすべて
iwamot
PRO
2
220
事例で学ぶ!B2B SaaSにおけるSREの実践例/SRE for B2B SaaS: A Real-World Case Study
bitkey
1
270
ビジネス職が分析も担う事業部制組織でのデータ活用の仕組みづくり / Enabling Data Analytics in Business-Led Divisional Organizations
zaimy
1
290
推し書籍📚 / Books and a QA Engineer
ak1210
0
120
「クラウドコスト絶対削減」を支える技術—FinOpsを超えた徹底的なクラウドコスト削減の実践論
delta_tech
4
180
Featured
See All Featured
Music & Morning Musume
bryan
46
6.7k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
30
2.1k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
20
1.3k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
6
320
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
830
Designing for Performance
lara
610
69k
Large-scale JavaScript Application Architecture
addyosmani
512
110k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.4k
[RailsConf 2023] Rails as a piece of cake
palkan
55
5.7k
Writing Fast Ruby
sferik
628
62k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
RailsConf 2023
tenderlove
30
1.1k
Transcript
Infrastructure as Codeで構築したリソースの可視化と再利用 マイクロサービスダッシュボードの紹介
2 自己紹介 2017年7月に旧ソウゾウに入社 2018年1月にメルペイに異動。テックリードとしてマイクロサービスの開発を担当 2019年7月にArchitectチームに異動 現在は主にマイクロサービスのためのダッシュボードの開発を担当 Merpay, Inc. Architect Team
Yuta Uekusa
3 Agenda メルペイのマイクロサービスアーキテクチャについて 01 マイクロサービスダッシュボードの紹介 02 今後の取り組み 03
メルペイのマイクロサービスアーキテクチャに ついて 4
5 マイクロサービスアーキテクチャ Client API Gateway Service B Service A Service
C Authority Cloud Spanner Pub/Sub Cloud Spanner Cloud Storage
6 マイクロサービスアーキテクチャ API Gateway Service B Service A Service C
Authority Cloud Spann er Pub/ Sub Cloud Spann er Clo ud Stor age API Gateway Service B Service A Service C Authority Cloud Spann er Pub/ Sub Cloud Spann er Clo ud Stor age Development Production
7 マイクロサービスアーキテクチャ Client Cloud Spanner Pub/Sub Cloud Spanner Namespace Cloud
Storage Service C Namespace Namespace Namespace Namespace Service B Service A API Gateway Authority
8 マイクロサービスアーキテクチャ: インフラ構築 Namespace: Service A Project: Service A boot
strap Service A
9 マイクロサービスアーキテクチャ: インフラ構築 microservices-terraform リポジトリ
10 マイクロサービスアーキテクチャ: 通信プロトコル Client Cloud Spanner Pub/Sub Cloud Spanner Namespace
Cloud Storage Service C Namespace Namespace Namespace Namespace Service B Service A API Gateway Authority gRPC gRPC gRPC
マイクロサービスダッシュボードの紹介 11
12 マイクロサービスダッシュボードとは? マイクロサービスに関する様々なデータを収集 01 集めたデータを可視化するウェブポータルサイト 02 集めたデータをAPIとして提供 03
13 モチベーション マイクロサービスの状態や品質を把握したい 01 ドキュメントが自動的に生成される状態にしたい 02
14 機能紹介 ・トップ画面 ・サービス詳細画面 ・サービス詳細画面: インフラ ・サービス詳細画面: アプリケーション ・サービス詳細画面: API
・サービス詳細画面: SLO
15 機能紹介: トップ画面
16 機能紹介: トップ画面
17 機能紹介: サービス詳細画面
18 機能紹介: サービス詳細画面 serviceID: merpay-service-a description: This is service-a corporation:
MERPAY teamName: merpay-architect-jp contact: slack: generalChannelId: C0123456 alertChannelId: C12345678 … service spec file
19 機能紹介: サービス詳細画面(サービスの依存関係, 費用のグラフ)
20 機能紹介: サービス詳細画面(インフラタブ)
21 機能紹介: サービス詳細画面(アプリケーションタブ)
22 機能紹介: サービス詳細画面(アプリケーションタブ)
23 機能紹介: サービス詳細画面(APIタブ)
24 機能紹介: サービス詳細画面(APIタブ)
25 機能紹介: サービス詳細画面(SLOタブ)
26 機能紹介: SLOダッシュボード
27 マイクロサービスダッシュボードの仕組み 技術スタック Backend Frontend • Go • Cloud Spanner,
Pub/Sub, Scheduler, Tasks • gRPC, GraphQL (99designs/gqlgen, vektah/dataloaden) • TypeScript • React, Material-UI • GraphQL (apollo-client)
28 マイクロサービスダッシュボードの仕組み Single Page Application API Gateway Microservice Dashboard Go
serves assets gRPC server GraphQL server Cloud Spanner Browse Get / Assets GraphQL Query Data etc
29 データ収集の仕組み Cloud Scheduler: 定期的にデータを取得 01 Cloud Pub/Sub: イベントメッセージからデータを取得 02
Cloud Tasks: マニュアルオペレーション 03 データ収集のトリガー
30 データ収集の仕組み トリガー発動後 API Gateway Microservice Dashboard gRPC server Cloud
Spanner HTTP Cloud Scheduler Cloud Tasks Pub/Sub HTTP HTTP gRPC データ収集 etc
31 データ収集の仕組み トリガー発動後 API Gateway Microservice Dashboard gRPC server Cloud
Spanner HTTP Cloud Scheduler Cloud Tasks Pub/Sub HTTP HTTP gRPC タイムアウト 処理中... etc
32 データ収集の仕組み 愚直に集めている 管理するデータの構造を定義して機械的に処理可能にする データを集める
33 データ収集の仕組み: データを集める マイクロサービスの一覧 API Gateway Microservice Dashboard gRPC server
Cloud Spanner Pub/Sub etc microservices-terraform リポジトリ CIで各microserviceの service-specをpublish service-specを保存
34 データ収集の仕組み: データを集める マイクロサービスの依存関係のグラフ Datadog: /api/v1/service_dependencies Network: network policyの設定(terraformをパース) ServiceEnv:
Podの環境変数の宛先
35 データ収集の仕組み: データを集める 毎月の費用グラフ Microservice Dashboard Cloud Spanner etc 費用データを格納
費用データを保存 BigQuery 費用データを取得 Platform
36 データ収集の仕組み: データを集める GCPリソース Microservice Dashboard Cloud Spanner etc GCPリソースのデータを保存
Cloud Asset API で取得 Cloud APIs microservices-terraform git clone & parse terraform
37 データ収集の仕組み: データを集める Kubernetesリソース API Gateway Microservice Dashboard GraphQL server
Cloud Spanner etc Browse Kubernetes API GraphQL Query Kubernetes API Development Production kubernetes/client-go
38 データ収集の仕組み: データを集める gRPC API定義 API Gateway Microservice Dashboard gRPC
server Cloud Spanner Pub/Sub etc platform-proto リポジトリ CIでFileDescriptorSetを生成してpublish FileDescriptorSetを保存
39 データ収集の仕組み: データを集める SLO Microservice Dashboard Cloud Spanner etc デイリーでSLOの履歴を保存
datadog API で取得
40 データ収集の仕組み: データを集める Schema Service Spec Service Dependency Service Cost
Google Project Kubernetes Namespace Service API Service SLO
41 データの再利用 GraphQL APIを提供 API Gateway Microservice Dashboard GraphQL server
Cloud Spanner Browse GraphQL Query etc GraphQL Query System
42 データの再利用 マイクロサービスに関するデータのHUB Microservice Dashboard
今後の取り組み 43
44 今後の取り組み データの更新イベント Microservice Dashboard Cloud Spanner etc 2.データの更新をpublish Pub/Sub
1.何かデータを保存
45 今後の取り組み データの更新イベントをきっかけに行動を起こす Microservice Dashboard Cloud Spanner etc 2.データの更新をpublish Pub/Sub
1.何かデータを保存 System 3.データの更新をsubscribe 4.アクション
46 抱えている課題 各マイクロサービスに対応してほしいことがあるとき Service A Service C Service B …
🙇 🙇 🙇 🙇
47 抱えている課題 マイクロサービス毎にTODOの管理 Service A: TODO Service C: TODO Service
B: TODO … Microservice Dashboard Service A Owner Platform 進捗確認 やること確認
48 今後の取り組み TODO管理用のAPIの提供 Service A: TODO Service C: TODO Service
B: TODO … Microservice Dashboard GraphQL API TODO System TODO更新
49 今後の取り組み イベントをきっかけとしたTODOの更新 Service A: TODO Service C: TODO Service
B: TODO … Microservice Dashboard GraphQL API TODO System TODO更新 Pub/Sub データ更新イベント
50 今後の取り組み イベントをきっかけとした一貫したデータの変換 something Microservice Dashboard GraphQL API System 変換&更新
Pub/Sub データ更新イベント
51