Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Google Cloud のモニタリング製品を徹底活用してみた

Hiroaki KARASAWA
November 01, 2023
28

Google Cloud のモニタリング製品を徹底活用してみた

Hiroaki KARASAWA

November 01, 2023
Tweet

Transcript

  1. Proprietary Google Cloud Next Tokyo ’23 唐澤弘明 dinii, inc. VP

    of Technology Google Cloud Champion Innovator • Databases • Modern Architecture • Serverless App Development
  2. Proprietary Google Cloud Next Tokyo ’23 株式会社 dinii にて Google

    Cloud の 各種 モニタリング製品 を活用している話 本日の話
  3. Proprietary Google Cloud Next Tokyo ’23 1. 単一の Google Cloud

    プロジェクトの利用を想定しています 2. プロジェクトをまたぐモニタリングも可能だがあまり詳しくない 󰢛 3. プロジェクトをまたぐのであれば Google Cloud 以外のモニタリング製品 を活用するのもアリ 💡 前提
  4. Proprietary Google Cloud Next Tokyo ’23 目次 01 Cloud Logging

    02 Metrics Explorer 03 Log-based Metrics 04 Alerting 05 Dashboard 06 Uptime checks 07 Synthetic Monitoring 08 Cloud Trace
  5. Proprietary Google Cloud Next Tokyo ’23 Google Cloud のあらゆるログデータ がここに集約される

    Log Storage • Logs Explorer で使える! BigQuery dataset • 長期間保存!安い! Cloud Logging
  6. Proprietary Google Cloud Next Tokyo ’23 おすすめの設定項目 message ◦ 一覧で

    JSON ログが見やすく labels ◦ ログのメタデータ的に使える trace ◦ 複数のログを流れに沿って可視化 構造化ログをカスタマイズ 先頭のリクエストログに紐づくログが一覧 化
  7. Proprietary Google Cloud Next Tokyo ’23 Cloud Logging コストの最適化 ストレージとしてみたときの値段

    Cloud Logging • $0.50/GiB = $500/TiB → 8TiB で ¥600,000 ($1 = ¥150) Cloud Storage • Standard Storage = $0.023/GB → 約 1/20 程度 ※ Cloud Storage は参照にもコストがかかる一方で Cloud Logging は参照は無料
  8. Proprietary Google Cloud Next Tokyo ’23 1. Log Router でフィルタ

    _Default Bucket への転送ルールは変更可 Cloud Logging コストの最適化 アクセスの多い特定のエンドポイント へのログを確率で排除 どうやって効率よくログを減らす?
  9. Proprietary Google Cloud Next Tokyo ’23 2. BigQuery データセットに転送 1.

    保存だけだと Cloud Logging Bucket の 1/20 のコスト BigQuery で発生するクエリコストが Cloud Logging では発生しない 2. 保存期間も長期に設定可能 エラーログやリクエストログを雑に保存しておく 3. アプリケーション固有の操作ログなどを Audit として保存 アプリケーション側で特定のフォーマットで操作ログを出力するようにしておく アプリケーション側は標準出力に出すだけなので何のセットアップも要らず手軽 Cloud Logging コストの最適化
  10. Proprietary Google Cloud Next Tokyo ’23 Metrics Explorer Google Cloud

    サービスは 標準利用できる指標がたくさん とりあえず眺めるだけで勉強になる
  11. Proprietary Google Cloud Next Tokyo ’23 Log-based Metrics デフォルト メトリクスの注意点

    1. 基本的にサンプリングされているので全数集計はできない 1 分に 1 度なので 1 分幅で見るとただのランダム サンプリング (ある程度長期であれば傾向も見えてくるが…) 2. 当然だがアプリケーションロジックの可視化はできない → GraphQL はアプリケーションレイヤーのプロトコルなので苦手
  12. Proprietary Google Cloud Next Tokyo ’23 独自のメトリクスを作成 1. メトリクスを作りたい対象のログを Cloud

    Logging の形式でフィルタ 2. 回数を数えたいだけなら Counter 値に意味がある場合は Distribution で作成 3. ラベルは後でフィルタやグルーピングに使えるので付けるだけ付けておく
  13. Proprietary Google Cloud Next Tokyo ’23 実際に独自で定義しているメトリクス 1. AlloyDB にメンテナンスが入ったときのログの

    Count 指標 → 経験上、エラーが上昇することが分かっている 2. 「未印刷伝票のデータの総数」の Distribution 指標 → 経験上、深刻な障害が発生している場合が多い
  14. Proprietary Google Cloud Next Tokyo ’23 Alerting 数は絞ってエンドユーザーの行動を表すも のにする。オンコールは何のサービス使っ てる?

    Dashboard 緊急時用(短期)と振り返り用(長期)を 作っておく。 Uptime Checks アプリケーション側でヘルスチェック用のエ ンドポイントを作っておく。 残りは Ask the Expert コーナーで!
  15. Proprietary Google Cloud Next Tokyo ’23 Synthetic Monitoring まだ使ってない! 使ってる方の情報求む!

    Cloud Trace ボトルネックが一目瞭然! あと意外と安い。 残りは Ask the Expert コーナーで!