Prometheusを触ってみた！

本資料は次のイベントの投影資料です。

＜イベント名＞
IBM Tech Developer/Dojo 「Prometheusを触ってみた！」

＜イベントページ＞
https://ibm-developer.connpass.com/event/287905/

＜概要＞
監視ツールのPrometheus初学者向けに、
・Prometheusとは？
・Prometehusでどんなことができるの？
・実際の画面は？操作方法は？
をデモも交えながらご紹介させていただきました。

監視と言われても何が出来るのか分からなかった、PrometheusがOSSなのは知ってたけど後一歩が踏み出せない…
まずはどんなもので何ができるのかを知っていただけたら！

Transcript

1. “Prometheus”を触ってみた! 2023年7月6日 IBM Tech/Developer Dojo Copyright ©2023 NS Solutions Corporation, IBM Corporation.
2. “Prometheus”がなんとなく分かる! 同僚・友人に少し語れるようになる! 本日の目標 Copyright ©2023 NS Solutions Corporation, IBM Corporation.
3. １．“Prometheus”とは? ２．“Prometheus”でできること ３．実際の画面を見てみよう!（デモ） ４．QA・クロージング 本日のアジェンダ Copyright ©2023 NS Solutions Corporation, IBM Corporation.
4. アンケートのお願い https://app.sli.do/event/tUSeXqo9J3FrCZUBkBAr2a Copyright ©2023 NS Solutions Corporation, IBM Corporation.
5. 当イベントは日本IBMおよび日鉄ソリューションズの有志エンジニアによって企画された勉強会です。 クラウドネイティブやマイクロサービスなどのテーマを中心に、今後も色々な勉強会・イベントを開催する予定です。 本勉強会の内容は、エンジニア個人の見解であり、所属する企業の公式見解ではありません。 セッション中はマイクミュートでの参加にご協力お願いします。 本イベントは録画してアーカイブ公開する予定ですので、その点ご了承ください。 本発表で利用している製品の名称およびロゴは下記の個人、組織または企業の商標となります。 “Linux”®はLinus Torvaldsの日本およびその他の国における商標または登録商標です。 “Oracle”®、Javaは、Oracle、その子会社及び関連会社の米国及びその他の国における登録商標です。 “CNCF”®、“Kubernetes”®、“Prometheus”、“OpenTelemetry”およびそれらのロゴは“Linux Foundation”の登録商標です。 NS（ロゴ）、NSSOL、NS Solutionsは、日鉄ソリューションズ株式会社の登録商標です。 その他本文記載の会社名及び製品名は、それぞれ各社の商標又は登録商標です。 はじめに Copyright ©2023 NS Solutions Corporation, IBM Corporation.
6. 田中 俊介（たなか しゅんすけ） shunsuke.tanaka@ibm.com ＜所属＞ 日本IBM カスタマーサクセスマネージャー <経歴> 開発ベンダーにてWebアプリケーション開発を約10年LinuxベースでJava,PHPでの開発案件 その後、新商品の設計・開発やオフショアベンダーの 管理などに携わる 2022年4月に日本IBMに入社してCSMとして歩み始める <趣味など> スポーツ（観るのもやるのも）、特にサッカー・フットサル 旅行（元バックパッカーで約40か国に訪問） 自己紹介 Copyright ©2023 NS Solutions Corporation, IBM Corporation.
7. 自己紹介 飯島 和之（いいじま かずゆき） iijima.kazuyuki.8d3@jp.nssol.nipponsteel.com ＜所属＞ 日鉄ソリューションズ システム研究開発センター ＜経歴＞ 2014年に日鉄ソリューションズに入社後、性能管理の研究開発や、大規模負荷試験 案件などを経験 2019年ごろよりクラウドネイティブ技術の研究開発に注力し、複数案件の設計・構 築・運用を担当 ＜趣味など＞ 猫（8歳）、ゲーム、音楽（たまにピアノ楽譜の作成、ごくまれに作曲） Copyright ©2023 NS Solutions Corporation, IBM Corporation.
8. 自己紹介 矢田 浩平（やだ こうへい） yada.kohei.52t@jp.nssol.nipponsteel.com ＜所属＞ 日鉄ソリューションズ システム研究開発センター ＜経歴＞ 2020年に日鉄ソリューションズに入社、アジャイルでのクラウドシステム開 発案件など経験 現在は“OpenTelemetry”を用いた監視ソリューションの構築案件に参画中 ＜趣味など＞ 映画(キューブリック)、音楽(ビートルズ)、町中華 Copyright ©2023 NS Solutions Corporation, IBM Corporation.
9. １．“Prometheus”とは? ２．“Prometheus”でできること ３．実際の画面を見てみよう!（デモ） 本日のアジェンダ Copyright ©2023 NS Solutions Corporation, IBM Corporation.
10. １．“Prometheus”とは? クラウド・コンテナ・“Kubernetes”などの利用により、 動的に増減する監視対象に対応する必要が出てきた 例: VM1 OS コンテナランタイム/K8s APP コンテナ APP コンテナ ・・ サーバ1 VM2 OS コンテナランタイム/K8s APP コンテナ APP コンテナ ・・ サーバ2 ・・ パブリッククラウドの 利用で、VMのスケーリ ングが容易になった Copyright ©2023 NS Solutions Corporation, IBM Corporation. コンテナの利用で監視対象 が容易にスケーリングされ るようになり、管理レイ ヤーが追加された
11. １．“Prometheus”とは? メトリクス取得のための、Pull型監視ソフトウェア 2012年にSoundCloud社によって開発、その後“CNCF”プロジェクトとなり、 現在では“Kubernetes”などと並んでGraduatedと位置付けられている(*1) Service discovery(後述)によって、動的に増減する監視対象を追跡できる メトリクスとは(*2) システムの状態に関して数値で出力されるデータのこと 以下の二つに大別される 1. 数値として直接取得できるもの:(温度など) 2. 集計して意味のある数値に変換できるもの:(エラー数など) メトリクスはログなどとは異なり、個々のイベントの情報は持っていない。たとえばある 時間内のエラー数というメトリクスは、個々のエラーに関する情報を失う。 * 1 参考資料:https://www.cncf.io/projects/ * 2 参考資料:https://github.com/cncf/tag- observability/blob/main/whitepaper.md Copyright ©2023 NS Solutions Corporation, IBM Corporation.
12. １．“Prometheus”とは? 他にも.. 取得するメトリクスをもとにしたアラート機能 Go言語で書かれたシンプルなソースコード PromQLによる柔軟なクエリと、ブラウザで確認できる Web UI クエリの方法や画面の見かたは デモで扱います! Copyright ©2023 NS Solutions Corporation, IBM Corporation.
13. １．“Prometheus”とは? 引用:https://prometheus.io/docs/introduction/overview/ Copyright ©2023 NS Solutions Corporation, IBM Corporation.
14. １．“Prometheus”とは? 監視対象のリソースからメトリクスを収集し、 “Prometheus” Serverへ出力する 対象リソースの種類によっていろいろな Exporterが用意されている Copyright ©2023 NS Solutions Corporation, IBM Corporation.
15. １．“Prometheus”とは? リソースごとにExporterを用意することで、多様な監視対象を簡単に切り替えられる -> なければExporterを自作することもできる 引用:https://prometheus.io/docs/instrumenting/exporters/ Copyright ©2023 NS Solutions Corporation, IBM Corporation. •Databases •Aerospike exporter •ClickHouse exporter •Consul exporter (official) •Couchbase exporter •CouchDB exporter •Druid Exporter •Elasticsearch exporter •EventStore exporter •IoTDB exporter •KDB+ exporter •Memcached exporter (official) •MongoDB exporter •MongoDB query exporter •MSSQL server exporter •MySQL router exporter •MySQL server exporter (official) •OpenTSDB Exporter •Oracle DB Exporter •PgBouncer exporter •PostgreSQL exporter •Presto exporter •ProxySQL exporter •RavenDB exporter •Redis exporter •RethinkDB exporter •SQL exporter •Tarantool metric library •Twemproxy •Hardware related •apcupsd exporter •BIG-IP exporter •Bosch Sensortec BMP/BME exporter •Collins exporter •Dell Hardware OMSA exporter •Disk usage exporter •Fortigate exporter •IBM Z HMC exporter •IoT Edison exporter •InfiniBand exporter •IPMI exporter •knxd exporter •Modbus exporter •Netgear Cable Modem Exporter •Netgear Router exporter •Network UPS Tools (NUT) exporter •Node/system metrics exporter (official) •NVIDIA GPU exporter •ProSAFE exporter •Waveplus Radon Sensor Exporter •Weathergoose Climate Monitor Exporter •Windows exporter •Intel® Optane™ Persistent Memory Controller Exporter •HTTP •Apache exporter •HAProxy exporter (official) •Nginx metric library •Nginx VTS exporter •Passenger exporter •Squid exporter •Tinyproxy exporter •Varnish exporter •WebDriver exporter •Other monitoring systems •Akamai Cloudmonitor exporter •Alibaba Cloudmonitor exporter •AWS CloudWatch exporter (official) •Azure Monitor exporter •Cloud Foundry Firehose exporter •Collectd exporter (official) •Google Stackdriver exporter •Graphite exporter (official) •Heka dashboard exporter •Heka exporter •Huawei Cloudeye exporter •InfluxDB exporter (official) •ITM exporter •JavaMelody exporter •JMX exporter (official) •Munin exporter •Nagios / Naemon exporter •New Relic exporter •NRPE exporter •Osquery exporter •OTC CloudEye exporter •Pingdom exporter •Promitor (Azure Monitor) •scollector exporter •Sensu exporter •site24x7_exporter •SNMP exporter (official) •StatsD exporter (official) •TencentCloud monitor exporter •ThousandEyes exporter Exporter(一部抜粋)
16. １．“Prometheus”とは? • Exporterへメトリクスの出力 をリクエスト • PromQLにより他ツールに出 力する • アラート条件の監視 Copyright ©2023 NS Solutions Corporation, IBM Corporation.
17. １．“Prometheus”とは? PromQLと呼ばれる言語により、 “Prometheus” Serverに対してメトリクスのク エリを行う。 Grafanaはカスタマイズ性の高いダッシュボー ドを持ったツールで、“Prometheus”とはよく セットで使われる Copyright ©2023 NS Solutions Corporation, IBM Corporation.
18. １．“Prometheus”とは? 監視したいリソースのルールを設定 しておくことで、 動的に増減する監視対象を自動で追 跡してくれる Copyright ©2023 NS Solutions Corporation, IBM Corporation.
19. １．“Prometheus”とは? アラートのルールを定義しておく ことができる。 メールやslack等に対応。 Copyright ©2023 NS Solutions Corporation, IBM Corporation.
20. １．“Prometheus”とは? ２．“Prometheus”でできること ３．実際の画面を見てみよう!（デモ） 本日のアジェンダ Copyright ©2023 NS Solutions Corporation, IBM Corporation.
21. ２．“Prometheus”でできること! 引用:https://prometheus.io/docs/introduction/overview/ まずはアーキテクチャから! ① “Prometheus” server “Prometheus”本体 ① ② ③ ④ ⑤ ⑥ Copyright ©2023 NS Solutions Corporation, IBM Corporation. ② Service discovery 監視対象の情報収集 ③ Exporter / Pushgateway 監視エージェント ④ Alertmanager アラート機能 ⑤ PromQL 独自のQuery Language ⑥ Visualization Web UI or Grafana or API
22. ２．“Prometheus”でできること! ①“Prometheus” server ・Service discovery(後程説明) ・Retrieval(スクレイピング) メトリックスの出力リクエスト ・TSDB メトリックスの時系列データを保管 ・HTTP server Web UI用のServer Retrieval TSDB HTTP server Prometheus Server Node HDD/SSD Service discovery Copyright ©2023 NS Solutions Corporation, IBM Corporation.
23. ２．“Prometheus”でできること! ②Service discovery ・監視対象の情報を自動で収集 －設定はyamlファイルで記述できる ・主要なService Discovery（Kubernetes, AWS, Azure, …）をサポート ・Pull型のデメリットの一つを解消 Service discovery Kubernetes file_sd Copyright ©2023 NS Solutions Corporation, IBM Corporation. 対応しているSD一覧:https://prometheus.io/docs/prometheus/latest/configuration/configuration/ Sample
24. ２．“Prometheus”でできること! ③Exporter / Pushgateway ・Exporter Prometheusの監視エージェント 数百種類のExporterが用意されている Exporter:https://prometheus.io/download/ Short-lived jobs Pushgateway Push metrics at exit Jobs / exporters Pull metrics Copyright ©2023 NS Solutions Corporation, IBM Corporation. ・設定するには… 公式サイトから対象サーバーにダウンロード、実行 自動で設定されるURLにアクセスするとメトリクスデータを取得 https://<対象のサーバ>:<ExporterのPort番号>/metrics
25. ２．“Prometheus”でできること! ③Exporter / Pushgateway ・Exporterのサンプル node_exporter ポート 9100 Unix系のCPU、メモリ、ディスクI/O、ネットワーク、… 同じサーバ系のExporterとしてwindows_exporterなどがある Exporter and Integrations:https://prometheus.io/docs/instrumenting/exporters/ Copyright ©2023 NS Solutions Corporation, IBM Corporation. Short-lived jobs Pushgateway Push metrics at exit Jobs / exporters Pull metrics 【主なメトリクス】 node_cpu_seconds_total node_cpu_guest_seconds_total node_filesystem_avail_bytes node_filesystem_device_error node_filesystem_files node_disk_info node_disk_flush_requests_time_seconds_total node_disk_flush_requests_total node_disk_discards_merged_total …etc. 【主なメトリクス】 nginx_connections_accepted nginx_connections_active nginx_connections_hold nginx_connections_reading apache_access_total apache_cpu_load apache_up apache_workers …etc. Web系 exporter ポート 9110, 9113,… nginx_exporter, apache_exporter, …
26. ２．“Prometheus”でできること! ③Exporter / Pushgateway ・Pushgateway 短命なジョブ、ポッドなどのメトリクスデータを取得 ※Retrievalのデータ取得間隔はデフォルト1分 ・設定方法 Exporter同様に公式サイトからダウンロード＆実行 ※Pushgatewayにメトリクスを送信するプログラムが必要 Exporter and Integrations:https://prometheus.io/docs/instrumenting/exporters/ Copyright ©2023 NS Solutions Corporation, IBM Corporation. Short-lived jobs Pushgateway Push metrics at exit Jobs / exporters Pull metrics
27. ２．“Prometheus”でできること! ④Alertmanager ・受け取ったアラートリクエストを制御 誰に、どの媒体で、何のアラートか ・Grouping（グループ化機能） 複数ある類似アラートをグルーピング ・Inhibition（通知抑制機能） アラートが複数発生している場合に、特定のアラート通知を抑制する ・Silences（ミュート機能） 一定期間アラートをミュートする Exporter and Integrations:https://prometheus.io/docs/instrumenting/exporters/ Copyright ©2023 NS Solutions Corporation, IBM Corporation. Alertmanager push alerts pagerduty Email etc notify
28. ２．“Prometheus”でできること! ⑤PromQL ・Prometheus Query Language ・Prometheusの時系列データを取得・集計するための検索言語 Copyright ©2023 NS Solutions Corporation, IBM Corporation. TSDBでの保管データ －メトリクス名、ラベル、値がセットで保存されている メトリクス ラベル 値 時間 http_requests_total address:172.0.. cluster: cluster1 10 2023/07/06 10:00:00 http_requests_total address: 172.0.. cluster: cluster1 3 2023/07/06 10:10:00
29. ２．“Prometheus”でできること! ⑤PromQL ・PromQLサンプル http_requests_total:受信したHTTPリクエストの総数を返す（リターンデータは時系列ごと） PromQL公式ドキュメント:https://prometheus.io/docs/prometheus/latest/querying/basics/ Copyright ©2023 NS Solutions Corporation, IBM Corporation. http_requests_total{label}:ラベルで絞り込んだ総数 ex. http_requests_total{code=“200”}:ステータスコードとして200が返ってきた総数 http_requests_total[time range]:期間で絞り込んだ総数 ex. http_requests_total[5m]:5分間の総数 http_requests_total{label}[time range]の様に複合的に使うのもOK 四則演算・関数 http_requests_toal * 10:リクエスト総数を10倍した数 sum(http_requests_total）:総数の和
30. 引用：https://prometheus.demo.do.prometheus.io/alerts ：https://grafana.demo.do.prometheus.io/d/BEAYT9PWz/node-exporter-nodes?orgId=1&refresh=30s ２．“Prometheus”でできること! ⑥Visualization [ Web UI ] [ Grafana ] TSDB PromQL [ Other Systems or Applications ] Copyright ©2023 NS Solutions Corporation, IBM Corporation.
31. ２．“Prometheus”でできること! 引用:https://prometheus.io/docs/introduction/overview/ 2章のまとめ ① “Prometheus” server －メトリクス取得のリクエスト －時系列データの保管、アラートルールの評価 ② Service discovery 監視対象の構成の自動情報（主要な構成管理ツールをカバー） ③ Exporter / Pushgateway 監視エージェント / バッチなどの処理データも収集 ④ Alertmanager アラート機能 ⑤ PromQL 独自の検索言語 ⑥ Visualization PromQLで抽出したデータを可視化 ① ② ③ ④ ⑤ ⑥ Copyright ©2023 NS Solutions Corporation, IBM Corporation.
32. １．“Prometheus”とは? ２．“Prometheus”でできること ３．実際の画面を見てみよう!（デモ） 本日のアジェンダ Copyright ©2023 NS Solutions Corporation, IBM Corporation.
33. ３．実際の画面を見てみよう!（デモ） https://demo.do.prometheus.io/ “Prometheus”チームが運営している、こちらのサイトを用いてデモを行います! Copyright ©2023 NS Solutions Corporation, IBM Corporation.
34. “Prometheus”とは最近のクラウド・コンテナ・Kubernetes 時代に対応した監視ソフトウェアです。 “Prometheus”を使うと、Service discoveryで見つけた監視 対象のメトリクスの収集、収集したメトリクスのクエリ、ア ラートなどができます。 Call to Action! ぜひ同じようにデモサイトを触ってみたり、同僚・友人の方 に語ってみたりしてください! 本日のまとめ Copyright ©2023 NS Solutions Corporation, IBM Corporation.
35. 日鉄ソリューションズでは、 クラウドネイティブ技術を用いてお客様のDXを推進する仲間を募集中です。 ご興味ある方は、ぜひお問い合わせください。 弊社人事より、ご連絡を差し上げます。 We are hiring!! 「NSSOL キャリア採用」 採用ページ: https://www.nssol.nipponsteel.com/recruit/careers/ Copyright ©2023 NS Solutions Corporation, IBM Corporation.
36. アンケートのお願い https://app.sli.do/event/tUSeXqo9J3FrCZUBkBAr2a Copyright ©2023 NS Solutions Corporation, IBM Corporation.
37. QA Copyright ©2023 NS Solutions Corporation, IBM Corporation. Q.「Pull型とありますが、クラウド上に“Prometheus”を設置し、オンプレミスサーバの監視を行いたい場合、データは どのように取得するのでしょうか? Pushgatewayを使うのが一般的でしょうか?」 A. オンプレミスサーバとクラウド上でNATを介して接続する環境の前提で回答いたします。 オンプレミスサーバと同じネットワーク内（NATを介さない環境）に“Prometheus”を設置して、 Pushgatewayを利用しない構成が推奨されています。 ネットワークを分ける必要がある場合（NAT環境）はPushgatewayでの対応になる可能性がありますが、 Pushgatewayの利用にも注意事項がございますので公式ドキュメントを参考に運用方法をご検討ください。 （引用元:https://prometheus.io/docs/practices/pushing/） Q.「“Prometheus”とZabbixなど、複数の監視ツールを併用して使うような事例というのはあるんでしょうか? もし ある場合、どう使い分けているか教えてほしい。」 A. Public Cloud環境の場合、利用しているPublic Cloudが提供している監視サービスと監視ツールが 自然と併用されることになりますので、そのような事例が多いのではないかと考えます。 （Ex. Amazon Web ServicesのCloudWatchと“Prometheus”の場合、取得できるデータにも違いがあり相互にデータ 連携などをして補完している） Q. 「“Prometheus”の費用は?」 A. “Prometheus”はOSSになりますので製品の費用は無料になっています。 ただし、“Prometheus”を動作させるサーバ等はご準備いただく必要があります。 クラウドのマネージドサービスの場合は、その費用がかかる場合もございます。