Alerte, tout brûle ! Comment collaborer lors d'incidents techniques — DevOps REX 2024 (2024-12-04)

1 04 dec. 2024 Alexis “@Horgix” Chotard Alerte, tout brûle
! Comment collaborer lors d’incidents techniques Alerte, tout brûle ! Comment collaborer lors d’incidents techniques Alexis “Horgix” Chotard 04 dec. 2024

! Comment collaborer lors d’incidents techniques “Staff” SRE & autres trucs ❤ Automatisation ❤ Rust ❤ Cloud Native ❤ Open Source @Horgix.bsky.social Horgix Alexis “Horgix” Chotard Horgix

! Comment collaborer lors d’incidents techniques “Les incidents, c’est pas juste un truc d’ops” Dev + Ops … + CS ?

! Comment collaborer lors d’incidents techniques Notre objectif ? Collaborer efﬁcacement lors d’incidents aﬁn de réduire la tension et de résoudre rapidement

! Comment collaborer lors d’incidents techniques

! Comment collaborer lors d’incidents techniques La notion d’incident La notion d’incident → Humain & Organisation → Pratiques & Outils

! Comment collaborer lors d’incidents techniques "Un incident, c'est n'importe quoi qui vous éloigne de votre travail planiﬁé avec un certain degré d'urgence." https://incident.io/guide/foundations/deﬁning-an-incident

! Comment collaborer lors d’incidents techniques Incident vs Bug ? Un lien éventuel, mais pas toujours

! Comment collaborer lors d’incidents techniques Faites conﬁance aux gens et à leur instinct/feeling Si quelqu'un pense qu'il y a un incident, c'est que c'est sûrement le cas

! Comment collaborer lors d’incidents techniques Sévérité / Criticité “Si vous passez plus de temps à discuter de la sévérité de l'incident qu'à le résoudre, c'est un problème.” https://incident.io/guide/foundations/severities

! Comment collaborer lors d’incidents techniques Oubliez les matrices de sévérité & compagnie Clairement pas juste un “truc d’Ops”

! Comment collaborer lors d’incidents techniques Sévérité / Criticité SEV-1, SEV-2, SEV-3, SEV-4 Au jugé, favorisation à la hausse (+ revue)

! Comment collaborer lors d’incidents techniques Prévenir Le meilleur incident c'est celui que l'on a pas.

! Comment collaborer lors d’incidents techniques Tests de charge, chaos engineering, canary release, … Mais aussi tests, mécanismes de retry, backpressure, … Le risque ne sera jamais à 0% pour autant :)

! Comment collaborer lors d’incidents techniques Humain & organisation La notion d’incident → Humain & Organisation → Pratiques & Outils

! Comment collaborer lors d’incidents techniques Incident Commander Celui qui déclare l’incident, puis souvent → l’Engineering Manager de l’équipe la plus proche du problème

! Comment collaborer lors d’incidents techniques Rotation d’astreinte En l’absence de “follow the sun”, il faut quelqu’un qui puisse se réveiller !

! Comment collaborer lors d’incidents techniques Astreinte Équipe centralisée : ~6 personnes, exclusivement des SRE. Un jour, certaines équipes produit ?

! Comment collaborer lors d’incidents techniques Pratiques et Outils (tech) Détection → Alerte → Communication & Troubleshooting → Résolution → Amélioration La notion d’incident → Humain & Organisation → Pratiques & Outils

! Comment collaborer lors d’incidents techniques Détecter et s’organiser Alerte & escalade

! Comment collaborer lors d’incidents techniques Alerting ▼ Datadog “Synthetics” ▼ Slack en journée, PagerDuty la nuit ▼ Encore trop peu de métriques métier ▼ Channel partagé et ouvert avec toutes les alertes les plus critiques

! Comment collaborer lors d’incidents techniques Propager l’information Publiquement, mais pas que

! Comment collaborer lors d’incidents techniques Communiquer via les canaux classiques Emails, réseaux sociaux, etc. Bon courage pour convaincre vos département légaux & “branding” !

! Comment collaborer lors d’incidents techniques Communication intégrée dans votre application Bannières, notiﬁcations, etc.

! Comment collaborer lors d’incidents techniques S’améliorer Sur les incidents eux-mêmes… mais aussi sur leur gestion

! Comment collaborer lors d’incidents techniques Mesurez MTTR (response / repair), moyens de détection, fréquence, temps passé, etc.

! Comment collaborer lors d’incidents techniques C’est vraiment cool :)

! Comment collaborer lors d’incidents techniques Take away Les choses à retenir

! Comment collaborer lors d’incidents techniques Take away ▼ Les incidents ne sont déﬁnitivement pas juste un “truc d’Ops” ▼ Faites conﬁance aux gens et à leur instinct & capacités. ▼ Ayez de l'empathie. Que ça soit pour vos clients ou vos collègues (techniques ou non). Particulièrement le support client, ils en ont besoin ! ▼ Ayez une forme d’ “incident commanders” sur les incidents. ▼ Considérez les incidents d'un point de vue produit, pas juste technique. Impliquez & sensibilisez vos Product Owners/Managers ! ▼ Allez-y pas à pas et améliorez itérativement chaque étape du cycle d’un incident.

! Comment collaborer lors d’incidents techniques Merci ! Et bon courage à ceux qui sont d’astreinte ce soir :)

! Comment collaborer lors d’incidents techniques Alerte, tout brûle ! Comment collaborer lors d’incidents techniques Alexis “Horgix” Chotard 04 dec. 2024 Merci ! Slides → https://bsky.app/proﬁle/Horgix.bsky.social Votre feedback compte <REDACTED> Il fallait être là pendant la conférence :)

Alerte, tout brûle ! Comment collaborer lors d'...

Alerte, tout brûle ! Comment collaborer lors d'incidents techniques — DevOps REX 2024 (2024-12-04)

More Decks by Horgix

Other Decks in Technology

Featured

Transcript