可視化プラットフォームGrafanaの基本と活用方法の全て

可視化プラットフォームとして大きな広がりを見せつつあるGrafana。ユースケースは非常に広いのですが、最初の取っ掛かりで苦労する人も多いのが現実です。このセッションでは、改めてGrafana関連プロダクトの基礎と具体的な利用例、ユースケースをご紹介しながら、よりよい可視化プラットフォーム構築の参考にしてもらえればと思います。

Transcript

1. 可視化プラットフォームGrafanaの 基本と活⽤⽅法の全て 2024.7.20 クラスメソッド 濱⽥孝治（ハマコー）
2. About me 濱⽥孝治（ハマコー） • クラスメソッド株式会社 • 製造ビジネステクノロジー部 マネージャー • 2017年9⽉⼊社〜 ex • AWS事業本部 ソリューションアーキテクト • CX事業本部 MAD事業部 • CX事業本部 VPoE • @hamako9999 2
3. ハマコーとGrafanaの関わり 3 PLCによる⼯場デー タの可視化ソリュー ションとして、 Grafanaのダッシュ ボードを活⽤
4. ハマコーとGrafanaの関わり 4
5. Xへの投稿の際は、 ハッシュタグ #devio2024 でお願いいたします。 5 お願い
6. 6 お⼿を拝借
7. みなさんのGrafana歴をお聞かせください 7
8. みなさんのGrafana歴 • 1ヶ⽉未満 • 1ヶ⽉以上〜1年未満 • 1年以上〜3年未満 • 3年以上 8
9. みなさんのGrafana歴 • 1ヶ⽉未満 • 1ヶ⽉以上〜1年未満 • 1年以上〜3年未満 • 3年以上 9
10. みなさんのGrafana歴 • 1ヶ⽉未満 • 1ヶ⽉以上〜1年未満 • 1年以上〜3年未満 • 3年以上 10
11. みなさんのGrafana歴 • 1ヶ⽉未満 • 1ヶ⽉以上〜1年未満 • 1年以上〜3年未満 • 3年以上 11
12. みなさんGrafanaにどんな イメージをお持ちでしょうか︖ 想像してみてください 12
13. Grafanaから想像されそうなキーワード • データ可視化 • ダッシュボード • モニタリング • オープンソース • 時系列データ • リアルタイム分析 • マルチデータソース • IoTデータ • クラウドネイティブ • ビジネスインテリジェンス 13 • アラート • メトリクス • インフラ監視 • パフォーマンス分析 • カスタマイズ可能 • プラグイン拡張性 • ログ解析 • トレーシング • セキュリティ監視 • DevOps
14. Grafanaから想像されそうなキーワード • データ可視化 • ダッシュボード • モニタリング • オープンソース • 時系列データ • リアルタイム分析 • マルチデータソース • IoTデータ • クラウドネイティブ • ビジネスインテリジェンス 14 • アラート • メトリクス • インフラ監視 • パフォーマンス分析 • カスタマイズ可能 • プラグイン拡張性 • ログ解析 • トレーシング • セキュリティ監視 • DevOps おそらく人によって 全然違うと思います
15. 本⽇のゴール Grafanaの全体像を俯瞰することで ⾃社の業務に活かすための ヒントと取っ掛かりを掴んでもらう 15
16. ほな リラックスして やっていきましょ 16
17. 本⽇のAgenda • Grafanaの概要 • Grafanaエコシステムの全体像 • Grafanaを使うことの意味とは︖ • Grafanaの基礎を理解する • Grafanaをどこでホスティングするか︖ • おまけの参考資料 17
18. 本⽇のAgenda • Grafanaの概要 • Grafanaエコシステムの全体像 • Grafanaを使うことの意味とは︖ • Grafanaの基礎を理解する • Grafanaをどこでホスティングするか︖ • おまけの参考資料 18
19. Grafanaの概要 19
20. Grafanaとは︖ 20 https://grafana.com/ja/
21. Grafanaとは︖ Observability（可観測性）の統合ソリューション Profiles, Performance testing, Alert, Incident response, SLO, Frontend Observability, Application Observability, Synthetic monitoring, Kubernetes monitoring, Logs, Traces, Metrics 21 https://grafana.com/ja/
22. Grafanaのユースケース① 宇宙科学探査機 22 https://www.slideshare.net/slideshow/grafana-slim-9905/267540176 Grafana Meetup Japan #1にて
23. Grafanaのユースケース① 宇宙科学探査機 23 https://www.slideshare.net/slideshow/grafana-slim-9905/267540176 Grafana Meetup Japan #1にて
24. Grafanaのユースケース① 宇宙科学探査機 24 https://www.slideshare.net/slideshow/grafana-slim-9905/267540176 Grafana Meetup Japan #1にて
25. Grafanaのユースケース① 宇宙科学探査機 25 https://www.slideshare.net/slideshow/grafana-slim-9905/267540176 Grafana Meetup Japan #1にて
26. Grafanaのユースケース② ⼯場の⾒える化 26 https://www.slideshare.net/slideshow/240627_grafanameetupjapan_denso_fiot-pdf/270137907 Grafana Meetup Japan #2にて
27. Grafanaのユースケース② ⼯場の⾒える化 27 https://www.slideshare.net/slideshow/240627_grafanameetupjapan_denso_fiot-pdf/270137907 Grafana Meetup Japan #2にて
28. Grafanaのユースケース② ⼯場の⾒える化 28 https://www.slideshare.net/slideshow/240627_grafanameetupjapan_denso_fiot-pdf/270137907 Grafana Meetup Japan #2にて
29. Grafanaのユースケース② ⼯場の⾒える化 29 https://www.slideshare.net/slideshow/240627_grafanameetupjapan_denso_fiot-pdf/270137907 Grafana Meetup Japan #2にて
30. 数字で知るGrafana • GitHubのスター数︓ Grafana: 55,000+ スター (2024年4⽉時点) • ⽐較︓Kibana (約18,000スター), Prometheus (約49,000スター) • ダウンロード数︓ Docker Hubでの累計プル数: 10億回以上 (2023年データ) • 企業での採⽤︓ Fortune 500企業の85%以上がGrafanaを使⽤ (Grafana Labs公式情報, 2023年) • コミュニティの規模︓ 公式Slackチャンネル: 30,000+メンバー (2023年データ) • 市場シェア︓ アプリケーションパフォーマンスモニタリング市場でのシェア: 約5-10% (業界レポー トより推定, 2022年) • 成⻑率︓ Grafana Labsの年間成⻑率: 100%以上 (2021年から2022年にかけて) • オープンソースコントリビューション︓ GitHub上で8,000+のコントリビューター (2024年4⽉時 点) • 業界認知度︓ Gartner Magic Quadrant for Application Performance Monitoring and Observabilityで「Visionaries」として位置付け (2022年) • ユーザー数︓ ⽉間アクティブユーザー: 150万以上 (Grafana Labs公式情報, 2023年) • データソース接続数︓ 100以上のデータソースに対応 (2024年時点) 30
31. 実際のところ 何がGrafanaの 優位性なのか︖ 31
32. 圧倒的な汎⽤性の⾼さ 32
33. ざっくり⾔うと 「めっちゃオープン」 33
34. 汎⽤性に関するGrafanaの優位性 Grafana Labsが主導して開発しているGrafanaはオープンソースプロジェクトのため、他のObservability関連 製品に⽐べて、オープンかつクラウドネイティブなプロダクトとの親和性が⾼い。 また、有料製品とは明確に⽴ち位置が違う 34 1. 多様なデータソース対応 • Grafana: 100以上のデータソースに対応 • 特徴: Grafanaは時系列データベースから⼀般的なRDBMSまで 幅広く対応し、単⼀ダッシュボードで複数のデータソースを統 合できる。 2. オープンソースと商⽤のハイブリッドモデル • Grafana: オープンソースコアに商⽤機能を追加可能 • 特徴: コストを抑えつつ、必要に応じて商⽤機能を追加できる柔 軟性がある。 3. プラグインエコシステム • Grafana: 豊富なプラグインによる拡張性 • 特徴: コミュニティによる多様なプラグイン開発により、機能を 柔軟に拡張できる。 4. クラウドネイティブ環境との親和性 • Grafana: Kubernetes環境との⾼い親和性 • Prometheusと同様にクラウドネイティブ環境に強い 5. コスト効率 • Grafana: 基本機能は無料で利⽤可能 • 特徴: ⼩規模から⼤規模まで、コスト効率よく導⼊できる 6. コミュニティサポート • Grafana: 活発なコミュニティと豊富な情報源 • ⽐較: オープンソースツールの中でも特に活発なコミュニティを 持つ • 特徴: 問題解決や最新情報の⼊⼿が容易
35. GrafanaとCNCFの関係 35 GrafanaはCNCFプロジェクトでは無いが、CNCF関連 プロジェクトとの関わりが深い • Prometheus︓Grafanaの主要なデータソース • Kubernetes︓Kubernetesクラスタの監視でよく使⽤ される • OpenTelemetry︓トレーシングツールとしてGrafana と連携可能
36. 逆にGrafanaの 弱点は︖ 36
37. （私⾒） 汎⽤性が⾼すぎるが故の とっつきにくさ 37
38. 汎⽤性に関するGrafanaの弱点︖ 38 Observabilityの特定⽤途に絞ったプロダクトではない ため、初学者にはとっつきにくく感じる • 何でもできるが故のわかりにくさ • ダッシュボード作るときの「うわ、めっちゃなんかあ る」という気持ち • アラート作るときの「えっと、これは、なやねん」感
39. Grafanaと付き合っていくとき この汎⽤性の⾼さの光と影に 寄り添う気持ちが必要になる 39
40. 本⽇のAgenda • Grafanaの概要 • Grafanaエコシステムの全体像 • Grafanaを使うことの意味とは︖ • Grafanaの基礎を理解する • Grafanaをどこでホスティングするか︖ • おまけの参考資料 40
41. Grafanaエコシステムの全体像 41
42. Grafanaのエコシステム（Docs⼀覧） 42 GrafanaにはOSSを中⼼とした多くのエコシステムが存在 これらを頭の中にインデックスを貼っておくと、業務での活⽤のヒントになる
43. Grafana関連OSS（1） 43 名前 アイコン 用途 Grafana Oveservabilityの中⼼。データがどこにあろうとも、それらをクエリし、 ビジュアライズし、それらから業務に必要なインサイトを得る Grafana Mimir Prometheusにスケーラブルな⻑期ストレージを提供するオープンソー スソフトウェアプロジェクト Grafana Tempo オープンソースの分散トレーシングバックエンド。Tempoの利⽤で、 トレースを検索し、メトリクスを⽣成、トレースデータをログとメト リクスにリンク可能。 Grafana Loki ロギングスタックを構成するOSSコンポーネント。⼩さなインデック スと⾼度に圧縮されたチャンクは操作を簡素化し、Lokiのコストを⼤幅 に削減。 Grafana Pyroscope 継続的なプロファイリングデータ集約のためのOSS。ワークロードのリソース の使用状況をソースコードの行番号まで理解することが可能。Grafanaと完 全に統合されており、メトリクス、ログ、トレースのような他の可観測性シグナ ルと相関が可能。
44. Grafana関連OSS （2） 44 名前 アイコン 用途 Grafana Alloy OpenTelemetry(OTel)Collectorのベンダーニュートラルディストリビューショ ン。 Grafana Beyla eBPFベースのアプリケーション自動計測ツール。Beylaを使うことで、 Application Observabilityを簡単に始めることが可能。BeylaはeBPFを使用 してアプリケーションの実行ファイルとOSのネットワークを検査し、メトリクス に関連するトレーススパンをキャプチャする。 Grafana Faro シグナルを取得しフロントエンドWebアプリケーションのパフォーマンスをリア ルタイムで計測し、フルスタックの可観測性を実現する。 Grafana k6 拡張可能なOSSの負荷テストツール。プロアクティブに信頼性を向上させる ことが可能。
45. Grafana Cloud関連（1） 45 名前 アイコン 用途 Grafana Cloud Grafanaダッシュボード、Prometheus/Graphite Metrics, Loki Logsの公式マ ネージドプラットフォーム。 Grafana Cloud k6 k6 OSSによって提供されるGrafana Cloud インスタンス無いのパフォーマン ステストアプリケーション。 Synthetic Monitoring 世界中のプローブ拠点からリモートターゲットへの継続的な監視により、アプ リケーションの死活、可用性、パフォーマンスを評価。 Grafana Kubernetes Monitoring Kubernetes環境のモニタリング。メトリクス、Podログ、クラスタイベント、トレ ース、コストメトリクスを収集・保存。 Grafana OnCall 事前に定義されたエスカーレションポリシー、スケジュール、通知設定に従っ て、オンコール通知を実施。Grafana Cloudに統合されている。 Grafana Incident チームがインシデント、障害、その他の重要なイベントに迅速かつ効果的に 対応できるように設計されたインシデント管理ソリューション。 Grafana SLO ユーザーに提供するサービスの品質を測定するためのメトリクスを作成可能 となる。
46. Grafana Cloud関連（2） 46 名前 アイコン ⽤途 Grafana Alerting Grafana Alertingを使用すると、システムで問題が発生した直後にその 問題を知ることができます。 Grafana Machine Learning アラートの作成、キャパシティ要件の予測、異常なアクティビティの特定 など、データ分析と生成AIの機能を拡張して提供します。
47. Visualization and monitoring solutions 1 47
48. Visualization and monitoring solutions 2 48
49. Visualization and monitoring solutions 3 49
50. Visualization and monitoring solutions 4 50
51. Visualization and monitoring solutions 5 51
52. Visualization and monitoring solutions 6 52
53. Visualization and monitoring solutions 7 53
54. Plugin 54 Data source、App、Panelの種別に分けて膨⼤なPluginが 提供されている
55. 「とりあえず、なんでもある なぁ…」と感じてもらえれば OK 55
56. 本⽇のAgenda • Grafanaの概要 • Grafanaエコシステムの全体像 • Grafanaを使うことの意味とは︖ • Grafanaの基礎を理解する • Grafanaをどこでホスティングするか︖ • おまけの参考資料 56
57. Grafanaを使うことの意味とは︖ 57
58. Grafanaを前にしてこんなこと を感じた⼈も多いはず 58
59. そもそも各ソリューションの Observability機能を使えば わざわざGrafana使わなくても いいんじゃない︖ 59
60. （その通り︕） 端的に1種類のデータソースを使うだけ では使う意味を⾒いだしにくい 60
61. Grafanaの優位性が出しにくいところ 61 Observabilityの機能を持つデータソースを単体で使う • AWSの請求を分析して利⽤料⾦に応じたアラートをだ したい • AWSのCloudWatchのLogを分析したい
62. Grafanaの優位性が出しやすいところ 62 複数のデータソースを⼀括で統合管理する • AWSとGoogle CloudとAzureの請求の合計料⾦でア ラートをだしたい • マルチクラウドでのDR体制を⼀括監視したい • 異なるSaaSやパブリッククラウドを組み合わせたシス テム全体のパフォーマンスを監視したい • オンプレとAWSを組み合わせたハイブリッド環境にお ける監視
63. Grafanaの優位性が出しやすいところ 63 そもそもデータのみを持つがObservabilityがない複数機器 をまとめてデータを活⽤する • 製造会社が、従来型の⽣産ライン機器からデータを収集し リアルタイム監視する • ⼤規模農場が、⼟壌センサー、気象ステーション、⽔流シ ステムからのデータを統合し、作物の⽣育状況を最適化 • オフィスビル管理会社が、空調システム、証明、エレベー ター、セキュリティシステムなど、異なるベンダーの機器 からデータを収集し、ビル全体のエネルギー効率と快適性 を最適化
64. 改めてGrafanaの アーキテクチャ上の利点と 特徴をまとめてみる 64
65. Grafanaのアーキテクチャ上の優位性（1） 65 • プラグインアーキテクチャ • 特徴︓モジュラー設計により、コア機能を拡張可能 • 利点︓ 新しいデータソース、パネルタイプ、アプリケーションを容易に追加で きる • コミュニティや企業が独⾃の機能を開発・共有可能 • コアシステムを軽量に保ちつつ、機能を柔軟に拡張できる • フロントエンド中⼼の設計 • 特徴︓主要な処理をブラウザ側で実⾏ • 利点︓ サーバーの負荷を軽減し、スケーラビリティを向上 • リアルタイムの対話的なダッシュボード操作が可能 • シングルページアプリケーション（SPA）としての⾼速な応答性
66. Grafanaのアーキテクチャ上の優位性（2） 66 • バックエンドのステートレス設計 • 特徴︓セッション状態をサーバーに保持しない • 利点︓ ⽔平スケーリングが容易 • ⾼可⽤性の実現が⽐較的簡単 • クラウドネイティブ環境との親和性が⾼い • データソース抽象化レイヤー • 特徴︓多様なデータソースを統⼀的に扱うインターフェースを提供 • 利点︓ 新しいデータソースの追加が容易 • 異なるデータソースからのデータを単⼀のダッシュボードで統合可能 • クエリ⾔語の違いを抽象化し、ユーザーエクスペリエンスを統⼀
67. Grafanaを使うことの意味が ⾒えてきましたでしょうか︖ 67
68. 本⽇のAgenda • Grafanaの概要 • Grafanaエコシステムの全体像 • Grafanaを使うことの意味とは︖ • Grafanaの基礎を理解する • Grafanaをどこでホスティングするか︖ • おまけの参考資料 68
69. Grafanaの基礎を理解する 69
70. いきなり ダッシュボード触る前に 知っておきたいこと 70
71. みるべきドキュメント 71 公式のここを必ず読む • Grafana dashboards overview • ダッシュボード関連の下記コンポ ーネントの関係が把握できる • DataSource, Panel, Transform, Query,Plugin https://grafana.com/docs/grafana-cloud/introduction/dashboards/
72. ダッシュボード関連のコンポーネント 72 https://grafana.com/docs/grafana-cloud/introduction/dashboards/
73. ダッシュボード関連のコンポーネント（詳解） 73 Data Source Plugin Query Transfor m Data Source データで構成されるエンティティ。RDBやGrafana Loki、Gfarana Mimir、 JSONのAPI、CSVファイルなど様々な形式あり。 データソースはそれぞれ独⾃の構造を持ち、異なるクエリが必要となるが、 ダッシュボードでは、異なるデータソースを1つのビューで視覚化できる
74. ダッシュボード関連のコンポーネント（詳解） 74 Data Source Plugin Query Transfor m Plugin Pluginにより、Grafanaに新しい機能を追加可能。データソースプラグイン の場合は、クエリを受け取りデータソースからデータを取得し、データソー スとGrafanaダッシュボードのデータモデルとの差異を調整すること。デー タフレームと呼ばれる、統⼀データ構造をもつ。
75. ダッシュボード関連のコンポーネント（詳解） 75 Data Source Plugin Query Transfor m Query Queryにより、データを特定のデータセットに絞り込み視覚化 を容易にする。システムや業務プロセスに関する疑問に応える のに役⽴つ。データソース毎に独⾃のQuery⾔語が必要になる。 PromQLやLogQLやSQL等のクエリ⾔語を利⽤する。
76. ダッシュボード関連のコンポーネント（詳解） 76 Data Source Plugin Query Transfor m Transform 視覚化の形式が要件を満たさない場合、クエリ結果を操作するために Transformを利⽤する。例えば、姓と名をあわせて姓名にする。CSVデータ のフィールドタイプの変換、クエリ⾔語がサポートしていないフィルタリン グ・結合・マージなどのSQLのような操作の実⾏などが可能。
77. ダッシュボード関連のコンポーネント（詳解） 77 Data Source Plugin Query Transfor m Panel 視覚化の最終化。データをどのように⾒たいかを指定する。例えば、パネル の右上にあるドロップダウンメニューを使って、棒グラフ、円グラフ、ヒス トグラムなど、可視化のタイプを指定する。
78. まだGrafanaを 実際に触ったことがない⼈ 伝えたいこと 78
79. （私⾒） 初⾒のハードルは⾼い 79
80. Grafanaの汎⽤性がよく出ているところ 80 おそらく誰もが「なんかいっぱい触るところある︕」と いう気持ちになる • UIの設定項⽬が多数 • 実際に⼿を動かして⾝体に馴染ませていく過程は必須
81. そんなあなたに朗報︕︕ 81
82. Grafanaダッシュボードハンズオンリリース 82 https://github.com/classmethod/grafana_dashboard_handson
83. Grafanaダッシュボードハンズオンリリース 83 https://github.com/classmethod/grafana_dashboard_handson bit.ly/4cLMdWS or 「GitHub classmethod」で検索 → リポジトリ検索で「grafana」 ISSUE、Pull Request⼤歓迎です︕ 泣いて喜びます︕
84. 本⽇のAgenda • Grafanaの概要 • Grafanaエコシステムの全体像 • Grafanaを使うことの意味とは︖ • Grafanaの基礎を理解する • Grafanaをどこでホスティングするか︖ • おまけの参考資料 84
85. Grafanaをどこで ホスティングするか︖ 85
86. Grafanaをどこで動かすかは ⾮常に悩ましい問題 86
87. Grafanaをどこで動かすか 87 OSSとして提供されており複数の⽅法が候補になる ref: https://grafana.com/docs/grafana/latest/
88. Grafanaをどこで動かすか 88 ちなみにダッシュボードハンズオンではこれを使ってます ref: https://grafana.com/docs/grafana/latest/
89. Grafanaをどこで動かすか 89 ホスティング場所によるプロコン ⽅法 メリット デメリット Amazon Managed Grafana • マネージド提供されているので、インフラ気 にしなくてよい • AWS課⾦で請求周辺で⼿間が無い • 初期セットアップのユーザー作成で ⼿間がかかる（IAM Identity Center or SAML連携が必須） • 利⽤できるバージョンがOSSや、 Grafana Cloudに⽐べて古い • version8.4〜9.4（2024年4⽉23⽇ 現在） コンテナをAWS App Runner上起動 • VPCとか意識せずにさくっとコンテナ起動で きる • AWS課⾦で⼿間がない • EFS対応してないので、メタデータ 格納には別途MySQLやPostgreSQL などが必要 Grafana Cloud • セットアップはインフラプロビジョニング含 めて5分程度 • クレジット情報の登録不要で14⽇間無制限ト ライアル • 14⽇経過後も無料範囲内でそのまま利⽤可能 • ほぼ最新のバージョンが使える • プラグインの導⼊に制限あり（導⼊ できるのはプラグインカタログにア ップロードされたもののみ）
90. Grafana Cloudの料⾦体系（Free Forever） 90
91. Grafana Cloudの料⾦体系（Pro Pay as You Go） 91
92. Grafana Cloudの料⾦体系（Advanced Premium Bundle） 92
93. Grafanaをどこで動かすか︖ 93 ホスティング場所は、運⽤⾯、コスト⾯双⽅で総合的な考慮 が必要 • 初速はGrafana Cloudが圧倒的に早い • Grafana Cloud Proは利⽤量に応じた従量課⾦のため、上 限が⾒込みにくい • AWSの中の複数リソースの監視などクラウドの中単体で利 ⽤するなら、リソースプロビジョニング料⾦だけで利⽤で きるOSSのセルフホスティングが無難（それでも運⽤の⼿ 間はかかる） • 勝⼿に課⾦されることはないので、最初はFree版で始めて みて、どこまで使えるか試してみるのが早い
94. 本⽇のAgenda • Grafanaの概要 • Grafanaエコシステムの全体像 • Grafanaを使うことの意味とは︖ • Grafanaの基礎を理解する • Grafanaをどこでホスティングするか︖ • おまけの参考資料 94
95. おまけの参考資料 95
96. デジタル庁︓ダッシュボードデザイン実践ガイド 96 https://www.digital.go.jp/resources/dashboard-guidebook
97. デジタル庁︓ダッシュボードデザイン実践ガイド 97 https://www.digital.go.jp/resources/dashboard-guidebook
98. デジタル庁︓ダッシュボードデザイン実践ガイド 98 https://www.digital.go.jp/resources/dashboard-guidebook
99. まとめ 99
100. まとめ 100 以下のステップを踏んで、皆さんの業務への活かし ⽅をぜひ考えてみてください • ObservabilityソリューションとしてのGrafanaの全体像と 特徴を理解する • 実際にどんなデータソースが使えるのか、どんなユースケ ースがあるのか⼿を動かして調べてみる • Grafana Cloudで簡単なダッシュボードを作って体験して みる • ⾃社の業務への活かし⽅を想像してみる