Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Google Cloud のモニタリング製品を徹底活用してみた
Search
Hiroaki KARASAWA
November 01, 2023
0
29
Google Cloud のモニタリング製品を徹底活用してみた
Google Cloud Next Tokyo 2023
https://cloudonair.withgoogle.com/events/next-tokyo
Hiroaki KARASAWA
November 01, 2023
Tweet
Share
More Decks by Hiroaki KARASAWA
See All by Hiroaki KARASAWA
ダウンタイム 30 秒で AlloyDB に移行した話
karszawa
0
72
DMS で AlloyDB に簡単移行!
karszawa
0
26
【現場の本音】App Engine から Cloud Run に移行してみた
karszawa
0
120
cls-hooked による実行コンテキストの保存と利用
karszawa
0
720
Hasura の Relationship と権限管理
karszawa
0
770
React Native + Expo のバージョンアップと互換性の維持に関する運用と絶技
karszawa
0
720
ダイニーにおけるモニタリングと振り返りの仕組み
karszawa
1
230
ダイニーにおける本番 Hasura 運用
karszawa
1
2k
Hasura Con'21 Recap - GraphQL subscriptions
karszawa
0
450
Featured
See All Featured
Facilitating Awesome Meetings
lara
50
6.1k
Fashionably flexible responsive web design (full day workshop)
malarkey
405
65k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
131
33k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
0
89
Building a Modern Day E-commerce SEO Strategy
aleyda
38
6.9k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
27
840
Into the Great Unknown - MozCon
thekraken
32
1.5k
Designing for humans not robots
tammielis
250
25k
Building Adaptive Systems
keathley
38
2.3k
Automating Front-end Workflow
addyosmani
1366
200k
Gamification - CAS2011
davidbonilla
80
5k
The Cult of Friendly URLs
andyhume
78
6k
Transcript
Proprietary Google Cloud のモニタリング製 品を徹底活用してみた
Proprietary Google Cloud Next Tokyo ’23 唐澤弘明 dinii, inc. VP
of Technology Google Cloud Champion Innovator • Databases • Modern Architecture • Serverless App Development
Proprietary Google Cloud Next Tokyo ’23 株式会社 dinii にて Google
Cloud の 各種 モニタリング製品 を活用している話 本日の話
Proprietary Google Cloud Next Tokyo ’23 1. 単一の Google Cloud
プロジェクトの利用を想定しています 2. プロジェクトをまたぐモニタリングも可能だがあまり詳しくない 3. プロジェクトをまたぐのであれば Google Cloud 以外のモニタリング製品 を活用するのもアリ 💡 前提
Proprietary Google Cloud Next Tokyo ’23 目次 01 Cloud Logging
02 Metrics Explorer 03 Log-based Metrics 04 Alerting 05 Dashboard 06 Uptime checks 07 Synthetic Monitoring 08 Cloud Trace
Proprietary Google Cloud Next Tokyo ’23 01 Cloud Logging まずはデータの入り口から
Proprietary Google Cloud Next Tokyo ’23 Google Cloud のあらゆるログデータ がここに集約される
Log Storage • Logs Explorer で使える! BigQuery dataset • 長期間保存!安い! Cloud Logging
Proprietary Google Cloud Next Tokyo ’23 おすすめの設定項目 message ◦ 一覧で
JSON ログが見やすく labels ◦ ログのメタデータ的に使える trace ◦ 複数のログを流れに沿って可視化 構造化ログをカスタマイズ 先頭のリクエストログに紐づくログが一覧 化
Proprietary Google Cloud Next Tokyo ’23 Cloud Logging コストの最適化 ストレージとしてみたときの値段
Cloud Logging • $0.50/GiB = $500/TiB → 8TiB で ¥600,000 ($1 = ¥150) Cloud Storage • Standard Storage = $0.023/GB → 約 1/20 程度 ※ Cloud Storage は参照にもコストがかかる一方で Cloud Logging は参照は無料
Proprietary Google Cloud Next Tokyo ’23 1. Log Router でフィルタ
_Default Bucket への転送ルールは変更可 Cloud Logging コストの最適化 アクセスの多い特定のエンドポイント へのログを確率で排除 どうやって効率よくログを減らす?
Proprietary Google Cloud Next Tokyo ’23 logs 最もボリュームの大きい dinii-self-backend-dp-production サービスを減らそう!
Proprietary Google Cloud Next Tokyo ’23 2. BigQuery データセットに転送 1.
保存だけだと Cloud Logging Bucket の 1/20 のコスト BigQuery で発生するクエリコストが Cloud Logging では発生しない 2. 保存期間も長期に設定可能 エラーログやリクエストログを雑に保存しておく 3. アプリケーション固有の操作ログなどを Audit として保存 アプリケーション側で特定のフォーマットで操作ログを出力するようにしておく アプリケーション側は標準出力に出すだけなので何のセットアップも要らず手軽 Cloud Logging コストの最適化
Proprietary Google Cloud Next Tokyo ’23 02 Metrics Explorer カスタム指標を使いこなそう
Proprietary Google Cloud Next Tokyo ’23 Metrics Explorer Google Cloud
サービスは 標準利用できる指標がたくさん とりあえず眺めるだけで勉強になる
Proprietary Google Cloud Next Tokyo ’23 可視化方法も豊富 二種類の系列を 同時 に表示したり
二種類の系列の 割合 を表示したり
Proprietary Google Cloud Next Tokyo ’23 お気に入りを紹介
Proprietary Google Cloud Next Tokyo ’23
Proprietary Google Cloud Next Tokyo ’23 見やすくなった!
Proprietary Google Cloud Next Tokyo ’23 03 Log-based Metrics メトリクスは足りないなら作れば良い
Proprietary Google Cloud Next Tokyo ’23 Log-based Metrics デフォルト メトリクスの注意点
1. 基本的にサンプリングされているので全数集計はできない 1 分に 1 度なので 1 分幅で見るとただのランダム サンプリング (ある程度長期であれば傾向も見えてくるが…) 2. 当然だがアプリケーションロジックの可視化はできない → GraphQL はアプリケーションレイヤーのプロトコルなので苦手
Proprietary Google Cloud Next Tokyo ’23 実はこれも GraphQL リクエスト
Proprietary Google Cloud Next Tokyo ’23 独自のメトリクスを作成 1. メトリクスを作りたい対象のログを Cloud
Logging の形式でフィルタ 2. 回数を数えたいだけなら Counter 値に意味がある場合は Distribution で作成 3. ラベルは後でフィルタやグルーピングに使えるので付けるだけ付けておく
Proprietary Google Cloud Next Tokyo ’23 GraphQL リクエストのメトリクス化 1. アプリケーション上でレスポンスを返却する際に
operation と latency のセットを出力 2. Log-based Metrics を作成
Proprietary Google Cloud Next Tokyo ’23 実際に独自で定義しているメトリクス 1. AlloyDB にメンテナンスが入ったときのログの
Count 指標 → 経験上、エラーが上昇することが分かっている 2. 「未印刷伝票のデータの総数」の Distribution 指標 → 経験上、深刻な障害が発生している場合が多い
Proprietary Google Cloud Next Tokyo ’23 Alerting 数は絞ってエンドユーザーの行動を表すも のにする。オンコールは何のサービス使っ てる?
Dashboard 緊急時用(短期)と振り返り用(長期)を 作っておく。 Uptime Checks アプリケーション側でヘルスチェック用のエ ンドポイントを作っておく。 残りは Ask the Expert コーナーで!
Proprietary Google Cloud Next Tokyo ’23 Synthetic Monitoring まだ使ってない! 使ってる方の情報求む!
Cloud Trace ボトルネックが一目瞭然! あと意外と安い。 残りは Ask the Expert コーナーで!
Thank you Proprietary