讓數據說話：用 Python、Prometheus 和 Grafana 講故事

你怎麼知道現在網站的流量是高還是低？你怎麼知道目前的設備是否運作正常？這些問題的答案可能都藏在數據裡。

收集數據很重要，但光只有收集是不夠的，還要能夠讓這些數據講一個有趣的故事。

透過撰寫 Python 程式把收集數據的流程自動化，接著使用 Prometheus 把雜亂的數據整理得井井有條，最後再藉由 Grafana 的儀表板來呈現這些數據，把原本枯燥的數字變成生動的圖表，讓你或你的老闆也能一目了然看懂數據的喜怒哀樂。本主題將介紹如何利用 Python、Prometheus 和 Grafana 的 三角黃金組合，把數據視覺化。

Transcript

1. 五倍學院 讓數據說話 高見龍
2. 五倍學院 資料 投影片 5xcamp.us/mopcon2024a 程式碼 5xcamp.us/mopcon2024b
3. 五倍學院 等級：科普 / 新 手 以上，中階未滿
4. 五倍學院 介紹 & 實際演練
5. 五倍學院 愛玩、愛現，喜歡冷 門 的玩具 網站開發者、講師、作家 技術推廣、企業訓練、技術諮詢 部落格：kaochenlong.com 高見龍 @eddiekao
6. 五倍學院 高見龍
7. 五倍學院 第4x刷 發售中 發售中 發售中
8. 五倍學院 11月 底發售
9. 五倍學院 發售中
10. 五倍學院 讓數據說話 高見龍
11. 五倍學院 Telemetry /təˈlem.ə.tri/ Observability relies on three main types of telemetry data: metrics, logs and traces. Those are often referred to as "pillars of observability".
12. 五倍學院 Telemetry /təˈlem.ə.tri/ metrics 定期收集「指標」，以數值 方 式呈現系統或服務的性 能，如 CPU 使 用 率、記憶體消耗量、網路流量等 舉例： 每 小 時賣了幾杯咖啡？ 客 人 排隊等候平均時間是多久？
13. 五倍學院 Telemetry /təˈlem.ə.tri/ 「 日 誌」是系統或應 用 程式在運 行 過程中產 生 的 文 字訊 息，通常 用 來紀錄重要事件或錯誤，包括時間戳記。 舉例： 10:02 咖啡機啟動。 10:03 沖泡了 一 杯拿鐵。 10:05 咖啡交給客 人 。 logs
14. 五倍學院 Telemetry /təˈlem.ə.tri/ 「追蹤」請求如何在不同系統中流動，描述跨多個服務 的路徑。 舉例： 「顧客下單後，確認訂單 → 沖泡咖啡 → 結帳，每步驟花費的 時間是：訂單 2 秒、沖泡 45 秒、結帳 5 秒。」 traces
15. 五倍學院 Telemetry /təˈlem.ə.tri/ 搜集、傳輸及分析資料，監控運作狀況和成效。
16. 五倍學院 Prometheus /prəˈmiː.θi.əs/ Prometheus is an open-source systems monitoring and alerting toolkit with an active ecosystem.
17. 五倍學院
18. 五倍學院 Prometheus /prəˈmiː.θi.əs/ 收集、儲存、查詢、呈現資料 資料查詢語法（PromQL） 時間序列資料庫（TSDB） 警報通知 ⚠
19. 五倍學院 Metrics Types Counter 發 生 了多少次？ Gauge 目 前的值是多少？ Histogram 持續多久？檔案多 大 ？
20. 五倍學院 Metrics HTTP Endpoint /metrics 格式需符合規格 api_http_requests_total{method="POST", handler="/messages"}
21. 五倍學院 Exporter 善 心大大 幫我們這些凡 人 寫的 收集資訊 → 轉換成符合 metrics 格式 HTTP Endpoint /metrics
22. 五倍學院 Client Library 支 援好幾種程式語 言 寫程式抓取、分析、準備資訊 → library → 轉換成符 合 metrics 格式 HTTP Endpoint /metrics
23. 五倍學院 Python /ˈpaɪ.θɑːn/ Python is a high-level, general-purpose programming language. Its design philosophy emphasizes code readability with the use of significant indentation.
24. 五倍學院 Python /ˈpaɪ.θɑːn/
25. 五倍學院
26. 五倍學院 Python /ˈpaɪ.θɑːn/ 收集、分析資料。 爬蟲程式。 主動餵食！
27. 五倍學院 Model, View, Controller Controller: Prometheus, Python Model: Prometheus View: ?
28. 五倍學院 Grafana Grafana is a multi-platform open source analytics and interactive visualization web application. It can produce charts, graphs, and alerts for the web when connected to supported data sources.
29. 五倍學院
30. 五倍學院 Grafana 視覺化呈現。 華麗、華麗、很華麗的圖表！
31. 五倍學院 架構
32. 五倍學院 Pull vs Push Pull 可能遇到... 沒有厲害的 大大 幫我寫 exporter！🥺 防火牆、公司資安政策 要同時 Pull 好幾個不同的資料來源 資料 生 命週期短，還沒等到 Pull 來抓就消失了 😭
33. 五倍學院 Pushgateway： 把資料主動推給 Pushgateway Prometheus 再跟 Pushgateway 把資料 Pull 拉回來 Pull vs Push
34. 五倍學院 實際演練
35. 五倍學院 資料 程式碼 5xcamp.us/mopcon2024b
36. 五倍學院 啟動 安裝、啟動 Prometheus (9090) Grafana (3000) 分 支 : 00-up-and-running
37. 五倍學院 監看：作業系統 CPU、記憶體使 用 量 網路流量 分 支 : 01-node-exporter-local & 02-node-exporter-remote
38. 五倍學院 監看：Nginx 網 頁 瀏覽次數 分 支 : 03-nginx-exporter
39. 五倍學院 覺得不夠好看嗎？
40. 五倍學院 說故事
41. 五倍學院 來說 一 個地震的故事 氣象資料開放平台
42. 五倍學院
43. 五倍學院
44. 五倍學院 來說 一 個地震的故事 氣象資料開放平台的資料不是即時資訊 氣象局的網站有點不好抓... 分 支 : 04-earthquake-data
45. 五倍學院 來說 一 個地震的故事 Metrics date 日 期 timestamp 時間 分 支 : 05-earthquake-metrics
46. 五倍學院 來說 一 個地震的故事
47. 五倍學院 還可以做些什麼事？
48. 五倍學院 指揮艇，組合！ Python 搜集、分析、餵食資料 Prometheus 搜集、存放、查詢資料 & 通知 Grafana 視覺化呈現
49. 五倍學院 指揮艇，組合！ 這是 一 種組合 不 一 定是最好的組合
50. 五倍學院 指揮艇，組合！ 在 手 握鐵鎚的 人 眼中 所有東 西 看起來都像釘 子 。
51. 五倍學院 指揮艇，組合！ 依賴單 一工 具 容易忽略更適合的解決 方 案
52. 五倍學院 讓數據說話 高見龍
53. 五倍學院 資料 投影片 5xcamp.us/mopcon2024a 程式碼 5xcamp.us/mopcon2024b
54. 五倍學院 高見龍