IstioとGrafanaで実現する多言語に対応したモニタリング基盤

マイクロサービスが日々増え続けているUzabaseの開発環境では、多くの言語（Kotlin, Clojure, Rust, Go, Elixer...）が採用されています。多岐に渡るプロダクト・マイクロサービスを管理するSREがどうやって統一的にロギング・モニタリングしているかをお話します。

Transcript

1. IstioとGrafanaで実現する多言語に 対応したモニタリング基盤 Uzabase Product Team SRE 照井 和希
2. 自己紹介 2 照井 和希 @kterui9019 SPEEDAのSREを担当 好き：GCP(BigQuery), Cloudflare(Workers) 夢：大きな猫を育てる Product Team SWE -> SRE
3. Uzabaseの開発文化のご紹介 Istioで実現するサービスの増加を意識しないメトリクス収集 Grafanaで実現するマルチプロダクトの一元的モニタリング まとめ 01 02 03 04 3
4. Uzabaseの開発文化のご紹介 01
5. Uzabaseの開発文化 ユーザベースではシェアド・リーダーシップの考えに基づき、 技術選定はチーム内で決めることになっています 5
6. その結果
7. 7 プロダクトA プロダクトC プロダクトB プロダクトD
8. マルチプロダクト×多言語のモニタリング要件 ① サービスの増加を意識せずにメトリクスを収集したい ② プロダクト（＝クラスタ）を一元的にモニタリングしたい 8
9. マルチプロダクト×多言語開発における モニタリング基盤についてお話しします 9
10. Istioで実現するサービスの増加を 意識しないメトリクス収集 02
11. マルチプロダクト×多言語のモニタリング要件 ① サービスの増加を意識せずにメトリクスを収集したい ② プロダクトを一元的にモニタリングしたい 11
12. どのメトリクスを取れば良いのか？ 12
13. The four golden signals of monitoring are latency, traffic, errors, and saturation. If you can only measure four metrics of your user-facing system, focus on these four. モニタリングの4つのゴールデンシグナルは、レイテ ンシー、トラフィック、エラー、そしてサチュレー ションです。ユーザー向けシステムの4つの指標しか 測定できない場合、この4つに焦点を当てます。 Site Reliability Engineering Chapter 6 - Monitoring Distributed Systems 13
15. Istioとは？ “サービス メッシュである Istio は、透過的で言語に依存しない手段を 提供し、アプリケーション ネットワーク機能を柔軟かつ簡単に自動化す る、最新のサービス ネットワーキング レイヤです。” 15 Istioとは | Google Cloud
16. Istioで集めるゴールデンシグナル Istio generates a set of service metrics based on the four “golden signals” of monitoring (latency, traffic, errors, and saturation). Istioは、監視の4つの「ゴールデンシグナル」（レイテンシ、トラフィック、エ ラー、サチュレーション）に基づいて一連のサービスメトリックを生成します。 ➔ レイテンシ ◆ istio_request_duration_seconds ➔ トラフィック ◆ istio_tcp_sent_bytes_total ◆ istio_tcp_received_bytes_total ➔ エラー ➔ サチュレーション ◆ istio_requests_total 16
17. サービスの増加を意識せずに済む 17 Mesh内の全サービスをスクレイプするた め、追加でコンフィグを書く必要がない
18. Grafanaで実現するマルチプロダクトの 一元的モニタリング 03
19. マルチプロダクト×多言語のモニタリング要件 ① サービスの増加を意識せずにメトリクスを収集したい ② プロダクトを一元的にモニタリングしたい 19
20. モニタリング基盤の構築 20
21. 複数のクラスタがある場合 21 クラスタごとに異なる Grafanaを見に行かな ければいけない・・・？
22. Prometheusフェデレーション 22 scrape_configs: - job_name: 'federate-{{CLUSTER_NAME}}' scrape_interval: 15s honor_labels: true metrics_path: '/federate' params: 'match[]': - '{job="kubernetes-pods"}' static_configs: - targets: - 'prometheus.{{INGRESS_DOMAIN}}' labels: cluster: '{{CLUSTER_NAME}}' Prometheusサーバではフェデレーション用に /federateパスが公開されている Configure Prometheus federation
23. Prometheusフェデレーション 23
24. 複数のクラスタを一元的にモニタリングする 24 変数化してクラスタを切り替えて表示 できるようにしている
25. まとめ 04
26. 多言語・マルチプロダクトのモニタリング要件 ① サービスの増加を意識せずにメトリクスを収集したい → Istio Prometheusのメトリクス機構で収集 ② プロダクト（＝クラスタ）を一元的にモニタリングしたい →Prometheusのfederate, Grafanaの変数で 　一元的にモニタリング 26