Merci Keptn Obvious! SLOs observables avec Prometheus et Keptn

Les objectifs de niveau de service (a.k.a Service Level Objectives - SLO) sont un élément clé des pratiques modernes d'ingénierie logicielle. Ils permettent de quantifier la qualité du service fourni aux utilisateurs finaux, et leur maintien devient donc important pour les approches DevOps modernes avec une livraison progressive. Dans cette démo, nous montrerons comment utiliser Keptn pour tirer parti de votre surveillance existante avec Prometheus afin que vous puissiez visualiser les SLO pour les principales parties prenantes et automatiser leur action.

Qu'est-ce que Keptn? En un mot, il s'agit d'un plan de contrôle piloté par les événements pour l'orchestration des applications natives du cloud. Il permet de nombreux cas d'utilisation, y compris, mais sans s'y limiter, les opérations basées sur les SLO, l'observabilité, les alertes et la correction. C'est un projet sandbox au CNCF, et il a demandé le statut d'incubateur.

Transcript

1. Merci Keptn Obvious! SLOs observables avec Prometheus et Keptn April 20, 2022
2. > whoami --henrik @HRexed https://www.linkedin.com/in/hrexed/ henrikrexed
3. > whoami --oleg @oleg_nenashev oleg-nenashev #StayAtHome :(
4. Si vous restez avec nous, … • Le principe de base des SRE: SLI/SLO • L’importance de l’observabilité • Introduction à Keptn • Demo
6. Pourquoi avons nous besoin de SRE? • Developers were focused on innovation and agility • Operations on stability • SRE has been created to make sure that we are building reliable services and avoiding conflict between Developers and Operations • Les développeurs sont généralement focalisé sur l’innovation et l’agilité • Vos Ops se focalisent sur la disponibilité et la stabilité • SRE a pour objectifs d'accroître la fiabilité de nos système et d’éviter les conflits entre Devs et les Ops
7. SLI Good Events Valid Events 100 % SLI Service Level Indicator Un indicateur permettant de comprendre l’état de votre système ou de vos utilisateurs Example: HTTP Request Latency # of HTTP Request with <= 5 sec response time Total # of Requests 100 %
8. SLO SLO Service Level Objective 100 % 0 % 95 Example: Request latency will be <= 5 secs for 95% of Requests un objectif associé à votre indicateur 100 % 0 % SLO # of HTTP Request with <= 5 sec response time
9. SLI/SLO vous aide à définir des objectifs • Product owners defined at a very early stages the objectives for each services • SLI/SLO helps to : • Availability • performance • more • SLI/SLO helps to detect issues before our end-users • Your objectives needs to be achievable because your error budget will be based on it. • Product owners déterminent les objectives pour chaque étape de la phase de construction • SLI/SLO facilite la validation de : ◦ Disponibilité ◦ Performance ◦ …etc • SLI/SLO vous aide à détecter des anomalies avant vos utilisateurs • Vos objectifs doivent être atteignables car vos “errors budget” sont basés dessus. Production performance disponibilité
10. Remove toil Journée type d’un SRE Operations 50% Dev 50%
11. Remove toil Journée type d’un SRE Operations 25% Dev 50% ??? 25%
12. L’observabilité
13. Les piliers de l’observabilité Logs Evènements métriques Observabilité traces
14. Paysage de la CNCF https://landscape.cncf.io/
15. 15 La réalité… https://twitter.com/dastbe/statu s/1303858170155081728
16. Open Observability
17. Open Observability. Des standards
18. Prometheus Fournisseur de métriques
19. L'architecture Prometheus Kube State metrics Node exporter Cadvisor Alertmanager Scrape Prometheus Serveur PromQl
20. Prometheus est un standard •CouchDb •Mysql •Oracle •PostgreSQL •MongoDB •… Base de données •Netgear •Windows •IBM Z •Nvidia •….etc Hardware •MQ •Kafka •MQTT •RabbitMQ •…etc Message •Tivoli •Hadoop •NetApp •ScaleIO Stockage •Jira •Jenkins •Github •Fluentd •Nagios •…etc Autre
21. Automatiser La clé de vos SRE
22. Systèmes DevOps modernes • CI/CD • Production • Staging
23. Opérations à grande échelle • Configurations complexes • la répétition • Déviations de Configurations La maintenance est couteuse Spaghetti à l'automatisation
26. Keptn Livraison et opérations basées sur les données pour vos applications cloud natives https://keptn.sh
27. Orchestration pour vos applications Control Plane CloudEvents
28. Keptn • Un project de la CNCF • Control plane, admin frontend/CLI • Observability, dashboards & alerting • SLO-driven multistage delivery • Operations & remediation
29. SLO Evaluation & Monitoring 4,000+ apps Metrics / SLI Providers Notifications Auto-remediation
30. Keptn: Automatisation SLO-Driven pour DevOps & SREs Vous (Dev/Ops/SRE) Ajouter votre configuration Choisir un Cas d’utilisation SLO-Quality Gates Progressive Delivery Auto- Remediation Declaration GitOps SLOs Standards shipyard SLI/SLO runbook SRE Automation workload Monitoring Delivery Reliability Remediation Automatise la configuration et offre des solutions self-service pour Basé sur un processus event-driven permettant Connecter vos Outils
31. Déclenche une séquence d’automatisation Orchestration, monitoring , deployment, test , evaluation des SLO & remediation Utiliser vos outils sans effort de configuration ou d’intégration
32. Keptn est extensible https://artifacthub.io/packages /search?ts_query_web=Keptn
33. Keptn s'intègre à d'autres outils CLI / REST API
34. Demo Time!
35. Keptn et Prometheus SLO Evaluation & Monitoring Prometheus Integration Service Your App Auto-remediation loop
36. Quickstart Guide: keptn.sh/docs/quickstart Prerequisites: • Docker+K3D or K3s • 12GB+ RAM
37. Is it observable • Si vous cherchez du contenu educative sur l’Observabilité, regarder : Is It Observable
38. It is observable Merci, Keptn Obvious! keptn.sh SLOs observables avec Prometheus et Keptn
39. Fin
41. Beaucoup de travail manuel ~90% of test reruns 9:1 ratio script maintenance vs creation only 10% projects performance tested Test Result Analysis Monitoring Configuration ~ 80% time spent in manual ... Scripts Creation SLO Report Generation 15-20 tests / year < 5 Apps „We are limited in scaling SRE due to manual expert tasks!‘“ Roman Ferstl Managing Director
42. Adoptants
43. Keptn est pour les ingénieurs 43 https://keptn.sh
44. DevOps & SREs – la fiabilté et l’efficacité DevOps: Automate Speed of Delivery SRE: Automate Resiliancy of Operations Deployment Frequency How often an organization successfully releases to production Lead Time for Changes The amount of time it takes a commit to get into production Change Failure Rate The percentage of deployments causing a failure in production Time to Restore Service How long it takes an organization to recover from a failure in production
45. Est-ce observable?
46. Learning from Google‘s SRE Practices • Service Level Indicators (SLIs) ◦ Definition: Measurable Metrics as the base for evaluation ◦ Example: Error Rate of Login Requests • Service Level Objectives (SLOs) ◦ Definition: Binding targets for Service Level Indicators ◦ Example: Login Error Rate must be less than 2% over a 30 day period • Service Level Agreements (SLAs) ◦ Definition: Business Agreement between consumer and provider typically based on SLO ◦ Example: Logins must be reliable & fast (Error Rate, Response Time, Throughput) 99% within a 30 day window • Google Cloud YouTube Video ◦ SLIs, SLOs, SLAs, oh my! (class SRE implements DevOps): https://www.youtube.com/watch?v=tEylFyxbDLE SLIs drive SLOs which inform SLAs
47. A emporter • Keptn - Livraison et opérations basées sur les données pour vos apps cloud natives • Keptn n'est pas un outil CI/CD. Il fait passer l'observabilité à l'étape suivante • Keptn ❤ Prometheus • Keptn fait l’automatisation pour vos apps
48. Références • Website: keptn.sh • Guide de démarrage: keptn.sh/docs/quickstart • Tutoriels: tutorials.keptn.sh • Keptn en Francais: https://www.youtube.com/playlist?list=PL6i801Rj t9DbMZMaRxkbXS7AC5nQy5ipz
49. Plus de tutoriels! • Prometheus • Dynatrace • ArgoCD • Jenkins • Bientôt: Datadog tutorials.keptn.sh
50. More about Keptn Techworld with Nana, March 2022 https://www.youtube.com/watch?v=3EEZmSwMXp8
51. Get it at keptn.sh!!! Keptn 100% OFF* * unlimited offer
52. S'abonner! isitobservable.io
53. keptn.sh/community/#slack
54. BACKUP
55. Notre exemple • Dynatrace est une entreprise de Software Intelligence • Nous avons des services à grande échelle. SaaS aussi • Nous avons adopté l'ingénierie de la fiabilité du site (SRE) • L'automatisation partout
56. Why we started Keptn? Surveillance des applications (APM) L'automatisation Alertes Nos systèmes
57. Our problems • Échelle du système • Des milliers de métriques (1000+) • Complex Service Level Indicators (SLIs) • Complex decision making logic • Complex Integration Testing
58. Why we started Keptn? Surveillance des applications (APM) L'automatisation Alertes Nos systèmes
59. Architecture | keptn | Cloud-native application life-cycle orchestration Architecture du Keptn
60. Contributing to Keptn • We are looking for contributors! • keptn.sh/community/contributing ◦ K8s, Golang, Javascript, Documentation, etc. ◦ SRE and Operations • We participate in Google Summer of Code • Slack: keptn.sh/community/#slack
61. Join us online • Zoom => CNCF Community Portal • community.cncf.io/keptn-community • Powered by Bevy • Videos go to YouTube
62. … and at Kubecon! May 16-20, 2022 https://docs.google.com/presentation/d/1 SzwJD_1f9ufy_hbHGJD8N6nSKtuj80ysI _Srmx-Or5M/edit?usp=sharing
63. Merci Keptn Obvious! SLOs observables avec Prometheus et Keptn April 20, 2022
64. > whoami --henrik @HRexed
65. > whoami --oleg @oleg_nenashev oleg-nenashev #StayAtHome :(
66. Le programme • Observability 101 • SLIs / SLOs • Introduction à Keptn • Demo
68. SRE. Recette du succès 1. Observabilité 2. Métrique 3. Automatisation
69. Est-ce observable?
70. Paysage de la CNCF https://landscape.cncf.io/
71. 71 The reality... https://twitter.com/dastbe/statu s/1303858170155081728
72. Open Observability
73. Open Observability. Des standards
74. Prometheus Fournisseur de métriques
76. L'architecture Prometheus Kube State metrics Node exporter Cadvisor Alertmanage r Scra p Prometheus Server PromQl
77. Prometheus devient un standard • CouchDb • Mysql • Oracle • PostgreSQL • MongoDB • … Base de données • Netgear • Windows • IBM Z • Nvidia • ….etc Hardware • MQ • Kafka • MQTT • RabbitMQ • …etc Message • Tivoli • Hadoop • NetApp • ScaleIO Stockage • Jira • Jenkins • Github • Fluentd • Nagios • …etc Autre
78. Nos Objectifs SRE / SLI / SLO
79. Why do we need SRE? Develop er Operatio n • Developers were focused on innovation and agility • Operations on stability • SRE has been created to make sure that we are building reliable services and avoiding conflict between Developers and Operations • Les développeurs sont généralement focalisé sur l’innovation et l’agilité • Vos Ops se focalisent sur la disponibilité et la stabilité • SRE a pour objectifs d'accroître la fiabilité de nos système et d’éviter les conflits entre Devs et les Ops
80. SLI/SLO vous aide à définir des objectifs Operation • Product owners defined at a very early stages the objectives for each services • SLI/SLO helps to : • Availability • performance • more • SLI/SLO helps to detect issues before our end-users • Your objectives needs to be achievable because your error budget will be based on it. Production spee d availability • Product owners déterminent les objectives pour chaque étape de la phase de construction • SLI/SLO facilitate la validation de : ◦ Disponibilité ◦ Performance ◦ …etc • SLI/SLO vous aide à détecter des anomalies avant vos utilisateurs • Vos objectifs doivent être atteignables car vos “errors budget” sont basés dessus.
81. Remove toil Journée type d’un SRE Operations 50% Dev 50%
82. Remove toil Journée type d’un SRE Operations 25% Dev 50% ??? 25%
83. Confidential 83 SLI Good Events Valid Events 100 % SLI Service Level Indicator Un indicateur permettant de comprendre l’état de votre système ou de vos utilisateurs Example: HTTP Request Latency # of HTTP Request with <= 5 sec response time Total # of Requests 100 %
84. Confidential 84 SLO SLO Service Level Objective 100 % 0 % 95 Example: Request latency will be <= 5 secs for 95% of Requests un objectif associé à votre indicateur 100 % 0 % SLO # of HTTP Request with <= 5 sec response time
85. We – DevOps & SREs – need to delivery faster and better!! DevOps: Automate Speed of Delivery SRE: Automate Resiliancy of Operations Deployment Frequency How often an organization successfully releases to production Lead Time for Changes The amount of time it takes a commit to get into production Change Failure Rate The percentage of deployments causing a failure in production Time to Restore Service How long it takes an organization to recover from a failure in production
86. Automatiser La clé de vos SRE
87. Beaucoup de travail manuel ~90% of test reruns 9:1 ratio script maintenance vs creation only 10% projects performance tested Test Result Analysis Monitoring Configuration ~ 80% time spent in manual ... Scripts Creation SLO Report Generation 15-20 tests / year < 5 Apps „We are limited in scaling SRE due to manual expert tasks!‘“ Roman Ferstl Managing Director
88. Systèmes DevOps modernes • CI/CD • Production • Staging
89. Opérations à grande échelle Spaghetti à l'automatisation • Configurations complexes • la répétition • Déviations de Configurations La maintenance est cher
92. Keptn Livraison et opérations basées sur les données pour vos applications cloud natives https://keptn.sh
93. Orchestration pour vos applications Control Plane CloudEvents
94. Keptn • Un project de la CNCF • Control plane, admin frontend/CLI • Observability, dashboards & alerting • SLO-driven multistage delivery • Operations & remediation
95. SLO Evaluation & Monitoring 4,000+ apps Metrics / SLI Providers Notifications Auto-remediation
96. Keptn: SLO-Driven Automation for DevOps & SREs You (Dev/Ops/SRE) bring your configuration pick your use case SLO-Quality Gates Progressive Delivery Auto- Remediation Declaration GitOps SLOs Standards shipyard SLI/SLO runbook SRE Automation workload Monitoring Delivery Reliability Remediation automates configuration and provides self-service for through event-driven process orchestration based on connect your tools
97. triggers an automation sequence orchestrates monitoring config, deployment, test execution, SLO evaluation & remediation Leverage your existing tooling without writing the automation & integration
98. Adoptants
99. Keptn est pour les ingénieurs 99 https://keptn.sh
100. Keptn est extensible https://artifacthub.io/packages /search?ts_query_web=Keptn
101. Keptn s'intègre à d'autres outils CLI / REST API
102. Demo Time!
103. Keptn et Prometheus SLO Evaluation & Monitoring Prometheus Integration Service Your App Auto-remediation loop
104. Quickstart Guide: keptn.sh/docs/quickstart Prerequisites: • Docker+K3D or K3s • 12GB+ RAM
105. It is observable Merci, Keptn Obvious! keptn.sh SLOs observables avec Prometheus et Keptn
106. La Fin!
107. Learning from Google‘s SRE Practices • Service Level Indicators (SLIs) ◦ Definition: Measurable Metrics as the base for evaluation ◦ Example: Error Rate of Login Requests • Service Level Objectives (SLOs) ◦ Definition: Binding targets for Service Level Indicators ◦ Example: Login Error Rate must be less than 2% over a 30 day period • Service Level Agreements (SLAs) ◦ Definition: Business Agreement between consumer and provider typically based on SLO ◦ Example: Logins must be reliable & fast (Error Rate, Response Time, Throughput) 99% within a 30 day window • Google Cloud YouTube Video ◦ SLIs, SLOs, SLAs, oh my! (class SRE implements DevOps): https://www.youtube.com/watch?v=tEylFyxbDLE SLIs drive SLOs which inform SLAs
108. A emporter • Keptn - Livraison et opérations basées sur les données pour vos apps cloud natives • Keptn n'est pas un outil CI/CD. Il fait passer l'observabilité à l'étape suivante • Keptn ❤ Prometheus • Keptn fait l’automatisation pour vos apps
109. Références • Website: keptn.sh • Guide de démarrage: keptn.sh/docs/quickstart • Tutoriels: tutorials.keptn.sh • Keptn en Francais: https://www.youtube.com/playlist?list=PL6i801Rj t9DbMZMaRxkbXS7AC5nQy5ipz
110. Plus de tutoriels! • Prometheus • Dynatrace • ArgoCD • Jenkins • Bientôt: Datadog tutorials.keptn.sh
111. More about Keptn Techworld with Nana, March 2022 https://www.youtube.com/watch?v=3EEZmSwMXp8
112. Get it at keptn.sh!!! Keptn 100% OFF* * unlimited offer
113. S'abonner! isitobservable.io
114. keptn.sh/community/#slack
115. BACKUP
116. Notre exemple • Dynatrace est une entreprise de Software Intelligence • Nous avons des services à grande échelle. SaaS aussi • Nous avons adopté l'ingénierie de la fiabilité du site (SRE) • L'automatisation partout
117. Why we started Keptn? Surveillance des applications (APM) L'automatisation Alertes Nos systèmes
118. Our problems • Échelle du système • Des milliers de métriques (1000+) • Complex Service Level Indicators (SLIs) • Complex decision making logic • Complex Integration Testing
119. Why we started Keptn? Surveillance des applications (APM) L'automatisation Alertes Nos systèmes
120. Architecture | keptn | Cloud-native application life-cycle orchestration Architecture du Keptn
121. Contributing to Keptn • We are looking for contributors! • keptn.sh/community/contributing ◦ K8s, Golang, Javascript, Documentation, etc. ◦ SRE and Operations • We participate in Google Summer of Code • Slack: keptn.sh/community/#slack
122. Join us online • Zoom => CNCF Community Portal • community.cncf.io/keptn-community • Powered by Bevy • Videos go to YouTube
123. … and at Kubecon! May 16-20, 2022 https://docs.google.com/presentation/d/1 SzwJD_1f9ufy_hbHGJD8N6nSKtuj80ysI _Srmx-Or5M/edit?usp=sharing