Monitorer les xénomorphes avec Prometheus et Grafana

L'arrivée des conteneurs a bouleversé le déploiement des applications, mais également leur supervision. L'objectif de Prometheus est de répondre à ces changements.

Lors de cette présentation, je vous propose de découvrir Prometheus. J'évoquerai l'histoire du projet, ses différents composants et leur articulation.
Enfin je vous ferai une démonstration de son usage pour monitorer des machines, un cluster ou contenir une invasion d'aliens.
Et nous verrons comment visualiser ces informations dans Grafana.

Transcript

1. Monitorer les xénomorphes avec Prometheus et Grafana Pierre-Yves Aillet @pyaillet
2. Pierre-Yves Aillet Consultant formateur à Zenika Nantes @pyaillet @pyaillet
3. Le monitoring
4. Le monitoring est l'anglicisme du terme surveillance et définit la mesure d'une activité (humaine, économique, électrique, d'un organe, etc.). -- https://fr.wikipedia.org/wiki/Monitoring
5. Le monitoring
6. Le monitoring
7. Le monitoring
8. Le monitoring Nagios/Cacti => RRD Zabbix => SQL Opentsdb, InfluxDB => Timeseries
9. Le monitoring
10. Le monitoring
11. Prometheus
12. Prometheus
13. Prometheus
15. Prometheus - Caractéristiques • Séries temporelles de métriques ◦ Un nom ◦ Des labels ◦ Un timestamp ◦ Une valeur float64 • Pas de stockage distribué, chaque noeud est autonome • Langage de requête simple: PromQL • Collecte des métriques en mode Pull
16. Le monitoring - push/pull
19. Prometheus
20. Prometheus
21. Prometheus - storage Métrique Timestamp Value http_request_total 1517585739 5124 http_request_total 1517595739 5101 http_request_total 1517605737 5200 Données
22. Prometheus - storage Métrique Timestamp Value http_request_total 1517585739 5124 http_request_total 1517595739 5101 http_request_total 1517605737 5200 Données Métrique Timestamp Value http_request_total 1517585739 5124 http_request_total +10000 -23 http_request_total +19998 +76 Stockage Delta
23. Prometheus - storage Métrique Timestamp Value http_request_total 1517585739 5124 http_request_total 1517595739 5101 http_request_total 1517605737 5200 Données Métrique Timestamp Value http_request_total 1517585739 5124 http_request_total ++10000 +-23 http_request_total +-2 ++99 Stockage Double Delta Métrique Timestamp Value http_request_total 1517585739 5124 http_request_total +10000 -23 http_request_total +19998 +76 Stockage Delta
24. Prometheus
25. Prometheus
26. Prometheus
27. Alert manager Pourquoi et comment gérer les alertes ? • Seuil, durée, résolution • Agrégation, règles de diffusion
28. Prometheus
29. Query language: http_requests_total http_requests_total{job="prometheus",group="canary"} http_requests_total{environment=~"staging|testing|development",method!="GET"} sum(http_requests_total{method="GET"} offset 5m) rate(http_requests_total[5m] offset 1w) Prometheus -- https://prometheus.io/docs/prometheus/latest/querying/basics/
30. Query language: http_requests_total http_requests_total{job="prometheus",group="canary"} http_requests_total{environment=~"staging|testing|development",method!="GET"} sum(http_requests_total{method="GET"} offset 5m) rate(http_requests_total[5m] offset 1w) Prometheus -- https://prometheus.io/docs/prometheus/latest/querying/basics/
31. Query language: http_requests_total http_requests_total{job="prometheus",group="canary"} http_requests_total{environment=~"staging|testing|development",method!="GET"} sum(http_requests_total{method="GET"} offset 5m) rate(http_requests_total[5m] offset 1w) Prometheus -- https://prometheus.io/docs/prometheus/latest/querying/basics/
32. Query language: http_requests_total http_requests_total{job="prometheus",group="canary"} http_requests_total{environment=~"staging|testing|development",method!="GET"} sum(http_requests_total{method="GET"} offset 5m) rate(http_requests_total[5m] offset 1w) Prometheus -- https://prometheus.io/docs/prometheus/latest/querying/basics/
33. Query language: http_requests_total http_requests_total{job="prometheus",group="canary"} http_requests_total{environment=~"staging|testing|development",method!="GET"} sum(http_requests_total{method="GET"} offset 5m) rate(http_requests_total[5m] offset 1w) Prometheus -- https://prometheus.io/docs/prometheus/latest/querying/basics/
34. Dashboarding prometheus-ui
35. Dashboarding grafana
36. Démos...
37. Démos 1. Lancement prometheus 2. Dashboarding 3. Alerting/Aliens
38. Retour d’expérience
39. ✨ Pour aller plus loin... HA (alert manager) Scalabilité (sharding), proxy frontal pour rediriger les queries Authentification entre prometheus et les sources Disk space, downsampling
40. ✨ Pour aller plus loin... Roadmap • Exploitation des méta-données côté serveur • Proposer le format d’exposition Prometheus comme standard • Intégration de métriques a posteriori • Élargir l’éco-système (langages, systèmes, …)
41. Crédits http://www.imdb.com/title/tt0103644/ https://www.vecteezy.com http://www.tshirtlaundry.com/Alien-facehugger-tshirt.html
42. Références/Sources https://www.cncf.io/announcement/2016/05/09/cloud-native-computing-foundation-accepts-prometheus-as-second-hosted-project/ https://www.cncf.io/blog/2016/07/18/prometheus-1-0-is-here/ https://www.cncf.io/projects/ https://prometheus.io/blog/2016/07/23/pull-does-not-scale-or-does-it/ https://promcon.io/2016-berlin/schedule/ https://promcon.io/2017-munich/schedule/ https://docs.google.com/presentation/d/1buFsGDT-fPtAKJ1yxT9XX1SGxXeHfaNbNc6SDV4Oxz8/edit#slide=id.g180f767a58_0_0 https://blog.alexellis.io/prometheus-monitoring/ https://coreos.com/blog/autoscaling-with-prometheus-and-kubernetes-metrics-apis
43. Focus sur les exporter Format d’exposition des données • Textuel • gRPC
44. Merci !