Life with Grafana

Transcript

1. Life with Grafana 2024/04/24 Grafana Meetup Japan #1 Mitsuhiro Tanda (GREE, Inc.)
2. 反田光洋 グリー株式会社 / インフラストラクチャ部 @mtanda Grafana のコントリビュータ サーバのモニタリングに Grafana を使っています 自己紹介
3. コントリビュート Prometheus datasource CloudWatch datasource Grafana の機能追加 / バグ修正 参加した GrafanaCon GrafanaCon NYC 2016 GrafanaCon EU GrafanaCON 2023 Grafana とのかかわり
4. グリーでの Grafana の使い方 Grafana が優れている点 拡張性 データソース オープンな開発体制 アジェンダ
5. 用途 AWS / Google Cloud / オンプレ環境のモニタリング データソース Prometheus / CloudWatch / Google Cloud Monitoring / ... パネル Time series / Table / Heatmap / Gauge / Clock / Treemap グリーでの使い方
6. 拡張性が高く、さまざまな要件に対応できる データソースからデータを集め、一か所で確認できる オープンな開発体制でコミュニティとよい関係が構築されている Grafana が優れている点
7. 拡張性
8. データ取得: datasource plugin データ表示: panel plugin UI 全般: dashboard / app plugin datasource data panel Line Pie dashboard / app Grafana Grafana を構成するプラグイン
9. datasource plugin TSDB Prometheus / InfluxDB / Amazon Timestream / ... データベース MySQL / PostgreSQL / Amazon Athena / Google BigQuery / ... データベース以外 Alertmanager / Google Sheets / GitHub / Jira / ... panel plugin Geomap / Histogram / Polystat / ... 豊富なプラグイン
10. プラグインを開発して、公開することもできる プラグイン開発のための開発環境やドキュメントが提供されている シンプルな datasource plugin であれば、クエリを実装すれば、ほぼ完成 panel plugin の実装には、既存の可視化ライブラリを利用できる プラグイン開発
11. datasource plugin でダッシュボードの表示内容を制御できる Template ダッシュボードを変数で動的に変更する機能 変数のデータソースとして datasource plugin が使える 一つのダッシュボードで複数のサーバの負荷を確認できる メトリクスの値で対象をしぼりこむなど応用範囲が広い Annotations デプロイなどのイベントをグラフ上に重ねて表示する機能 イベントのデータソースとして datasource plugin が使える ダッシュボードの拡張性
12. Grafana Scenes Grafana が提供するフロントエンドライブラリ app plugin の実装に使い、Grafana に組み込まれて動作する Grafana のダッシュボード機能を利用できる 標準機能では実現できないインタラクティブなダッシュボードが作れる ダッシュボードにタブを追加して、タブで表示を切り替える ページ遷移なしに追加でパネルを表示するなど Scenes によるダッシュボード構築
13. データソース
14. Grafana は、データソースを経由して外部からデータを取得できる 複数のデータソースを組み合わせて使える 一つのサービスやデータベースにデータを集約する必要はない さまざまな分析ツールを組み合わせることもできる どこにデータがあってもよい
15. 分析や可視化のために、データを集約する 元のデータの場所からコピーする場合は、ストレージ費用が二重に発生 データ量が多いログの場合は、費用も高くなる SaaS Metrics Logs Traces データ集約が必要な場合
16. 元のデータの場所へとりにいくので、コピーは不要 元のデータ形式のまま扱える Grafana Prometheus CloudWatch CloudWatch Logs X-Ray S3 (Athena) Grafana の場合
17. Grafana は選択肢を提供してくれる 選択肢の中から、ユーザーにとって最適なものを選ぶ 提供されている機能や費用などトレードオフを考え、選択できる 十分な機能があるので、クラウドベンダ標準のサービスを使う ストレージ費用を下げるために、Prometheus をセルフホストする 選択の自由
18. Our big tent philosophy is about allowing our customers to own their observability journey — make their own choices, choose their own vendors, choose their own technologies, and Grafana will help you understand your systems no matter where you data lives without having to consolidate everything into a single database. 私たちのビッグテント哲学は、お客様が自身のオブザーバビリティの旅を自ら所有する ことについてです — 自分自身の選択をし、自分のベンダーを選び、自分の技術を選び、 データがどこにあろうとも、すべてを一つのデータベースに統合することなく、システ ムを理解するのを Grafana がお手伝いします。 https://grafana.com/blog/2022/11/01/watch-grafana-labs-ceo-co-founder-raj-dutt-discuss- why-companies-need-observability/ "Big Tent" philosophy
19. ベンダの垣根なく、さまざまなデータソースをサポートする AWS / Google Cloud / Azure のデータソースをサポートする 競合する他社 SaaS のデータソースもサポートする ユーザーにとって最適な選択肢をとれるようにする サーバのモニタリングと IoT では要件が異なる 同じ用途でも要件が同じとは限らない Democratize metrics Grafana 初期のスローガン 誰でもメトリクスを見れるようにする 「誰でも」から「どのデータでも」へ "Big Tent" による差別化
20. かかえていた課題 CloudWatch のメトリクスを Prometheus に取り込んでから参照していた 費用の問題から、全てのメトリクスを取り込めなかった 取り込まれていないメトリクスは CloudWatch を直接参照するしかなかった 手間が多く、確認しづらかった CloudWatch datasource で解決 よく確認するメトリクスをダッシュボードに組み込んだ 費用をおさえつつ、確認しやすくなった パーセンタイルなども自由に集計できるようになった CloudWatch datasource 活用事例
21. かかえていた課題 ストレージ費用をおさえるため、アクセスログを S3 に保存していた Amazon Athena で集計していた 問題の調査やキャパシティプランニング時に確認しづらかった Amazon Athena datasource で解決 集計結果をグラフ化して確認できるようになった 他のメトリクスと直接比較できるようになった アクセスログ解析事例
22. オープンな開発体制
23. ソースコードが公開されている 一部の有償機能以外は、コードが公開されている ドキュメントに書かれていない仕様を確認できる コア開発者が GitHub で活動している 新機能開発における意思決定の過程が垣間見える GitHub Issues からユーザー視点で機能提案できる バグ報告もオープンな場で話し合える GitHub を中心とした開発
24. Grafana は必要があれば、自分でビルドしてデバッグできる 問題の原因がわかれば、対応もできる 使い方や設定などで問題を回避する 問題が発生しないバージョンを利用する バグであれば修正する 問題を自力で解決できる
25. 開発者とコミュニティでよい関係が構築できている コミュニティの提案がその後のロードマップに影響を与えることもある Prometheus datasource plugin 作成当時 2015 年当時、Prometheus は公式リリースされたばかり コミュニティが datasource plugin を作成した Prometheus が普及していくことで、公式 datasource plugin になった IoT 分野の利用が多くなることも想定されていなかった コミュニティと共に Grafana は進化してきた コミュニティとの関係性
26. Grafana は拡張性が高いので、要件にあわせて使い続けられる あらゆるデータをまとめて一か所で確認できる サーバのモニタリングに限らず、さまざまな用途に使える オープンな開発体制でコミュニティとよい関係が構築されている まとめ
27. ご清聴ありがとうございました。
28. Democratize metrics https://grafana.com/blog/2015/09/30/democratize-metrics-what-does-it- mean/ Grafana Scenes https://grafana.com/developers/scenes 参考資料