Alerte, tout brûle ! Comment gérer des incidents techniques — DevFest Dijon 2024 (2024-12-06)

1 06 dec. 2024 Alexis “@Horgix” Chotard Alerte, tout brûle
! Comment gérer des incidents techniques Alerte, tout brûle ! Comment gérer des incidents techniques Alexis “Horgix” Chotard 06 dec. 2024

! Comment gérer des incidents techniques “Staff” SRE & autres trucs ❤ Automatisation ❤ Rust ❤ Cloud Native ❤ Open Source @Horgix.bsky.social Horgix Alexis “Horgix” Chotard Horgix

! Comment gérer des incidents techniques Introduction Pourquoi ce talk ?

! Comment gérer des incidents techniques Ophélie “Customer success” (support client) @PayFit

! Comment gérer des incidents techniques Baloo Un client pas imaginaire … mais renommé !

! Comment gérer des incidents techniques Interaction entre le support client de PayFit et Baloo <Redacted> <Quelqu’un comme Ophélie> <Baloo> <Baloo>

! Comment gérer des incidents techniques Notre objectif ? Éviter ce genre de situation !

! Comment gérer des incidents techniques

! Comment gérer des incidents techniques 🚨 Alerte 🚨 Il n’y a plus de café au DevFest Dijon ☕ 😱 Léo

! Comment gérer des incidents techniques Spoiler : on va parler d’Incident.io Plusieurs fois. Mais plus tard pour de vrai.

! Comment gérer des incidents techniques La notion d’incident La notion d’incident → Humain & Organisation → Pratiques & Outils

! Comment gérer des incidents techniques "Un incident, c'est n'importe quoi qui vous éloigne de votre travail planiﬁé avec un certain degré d'urgence." https://incident.io/guide/foundations/deﬁning-an-incident

! Comment gérer des incidents techniques Incident vs Bug ? Un lien éventuel, mais pas toujours

! Comment gérer des incidents techniques Incident vs Maintenance planiﬁée ? Rien à voir !

! Comment gérer des incidents techniques Faites conﬁance aux gens et à leur instinct/feeling Si quelqu'un pense qu'il y a un incident, c'est que c'est sûrement le cas

! Comment gérer des incidents techniques Est-ce que notre incident en est vraiment un ? Léo

! Comment gérer des incidents techniques Est-ce que notre incident en est vraiment un ? Oui bien sûr ! Léo

! Comment gérer des incidents techniques Sévérité / Criticité “Si vous passez plus de temps à discuter de la sévérité de l'incident qu'à le résoudre, c'est un problème.” https://incident.io/guide/foundations/severities

! Comment gérer des incidents techniques Oubliez les matrices de sévérité & compagnie

! Comment gérer des incidents techniques Sévérité / Criticité SEV-1, SEV-2, SEV-3, SEV-4 Au jugé, favorisation à la hausse (+ revue)

! Comment gérer des incidents techniques Quelle est la sévérité de notre manque de café ? Votez ! Léo

! Comment gérer des incidents techniques Prévenir Le meilleur incident c'est celui que l'on a pas.

! Comment gérer des incidents techniques Tests de charge, Chaos Engineering, Canary release, … Mais aussi tests, mécanismes de retry, backpressure, … Le risque ne sera jamais à 0% pour autant :)

! Comment gérer des incidents techniques Humain & organisation La notion d’incident → Humain & Organisation → Pratiques & Outils

! Comment gérer des incidents techniques Incident Commander Celui qui déclare l’incident, puis souvent → l’Engineering Manager de l’équipe la plus proche du problème

! Comment gérer des incidents techniques Qui veut être commander sur notre incident ? Orchestrer les discussions Passer les annonces, informer Léo

! Comment gérer des incidents techniques Rotation d’astreinte En l’absence de “follow the sun”, il faut quelqu’un qui puisse se réveiller !

! Comment gérer des incidents techniques Rotation d’astreinte S’organiser

! Comment gérer des incidents techniques Astreinte Équipe centralisée : ~6 personnes, exclusivement des SRE. Un jour, certaines équipes produit ?

! Comment gérer des incidents techniques On pourrait faire un talk dédié à l’astreinte… Allez voir le talk de Damien Pacaud dont je parlais plus tôt ! (ou alors, venez discuter après le talk)

! Comment gérer des incidents techniques Pratiques et Outils (tech) Détection → Alerte → Communication & Troubleshooting → Résolution → Amélioration La notion d’incident → Humain & Organisation → Pratiques & Outils

! Comment gérer des incidents techniques Détecter et s’organiser Alerte & escalade

! Comment gérer des incidents techniques Alerting ▼ Datadog “Synthetics” ▼ Slack en journée, PagerDuty la nuit ▼ Encore trop peu de métriques métier ▼ Channel partagé et ouvert avec toutes les alertes les plus critiques

! Comment gérer des incidents techniques Propager l’information Publiquement, mais pas que

! Comment gérer des incidents techniques https://status.payﬁt.com

! Comment gérer des incidents techniques Communiquer via les canaux classiques Emails, réseaux sociaux, etc. Bon courage pour convaincre vos département légaux & “branding” !

! Comment gérer des incidents techniques Communication intégrée dans votre application Bannières, notiﬁcations, etc.

! Comment gérer des incidents techniques Communiquer en interne Peu importe les canaux.

! Comment gérer des incidents techniques S’améliorer Sur les incidents eux-mêmes… mais aussi sur leur gestion

! Comment gérer des incidents techniques Mesurez MTTR (response / repair), moyens de détection, fréquence, temps passé, etc

! Comment gérer des incidents techniques KCCNC → Hackathon → Live!

! Comment gérer des incidents techniques Demo ? :)

! Comment gérer des incidents techniques Take away Les choses à retenir

! Comment gérer des incidents techniques Take away ▼ Incident.io c'est génial. Foncez. ▼ Faites conﬁance aux gens et à leur instinct & capacités. ▼ Ayez de l'empathie. Que ça soit pour vos clients ou vos collègues (techniques ou non). Particulièrement le support client, ils en ont besoin ! ▼ Ayez une forme d’ “incident commanders” sur les incidents. ▼ Considérez les incidents d'un point de vue produit, pas juste technique. Impliquez & sensibilisez vos Product Owners/Managers ! ▼ Allez-y pas à pas et améliorez itérativement chaque étape du cycle d’un incident.

! Comment gérer des incidents techniques Votre café vous manque ? Rassurez-vous, Léo est toujours là :) Léo

! Comment gérer des incidents techniques Merci ! Et bon courage à ceux qui sont d’astreinte ce soir :)

! Comment gérer des incidents techniques Alerte, tout brûle ! Comment gérer des incidents techniques Alexis “Horgix” Chotard 08 nov. 2024 Q&A Votre feedback compte <REDACTED> Il fallait être là pendant la conférence :) Merci ! Slides → https://bsky.app/proﬁle/Horgix.bsky.social → Venez me voir après le talk / autour d’un verre

Alerte, tout brûle ! Comment gérer des incident...

Alerte, tout brûle ! Comment gérer des incidents techniques — DevFest Dijon 2024 (2024-12-06)

More Decks by Horgix

Other Decks in Technology

Featured

Transcript