Alerte, tout brûle ! Comment gérer des incidents techniques — BDX I/O 2024 (2024-11-08)

1 08 nov. 2024 Alexis “@Horgix” Chotard Alerte, tout brûle
! Comment gérer des incidents techniques Alerte, tout brûle ! Comment gérer des incidents techniques Alexis “Horgix” Chotard 08 nov. 2024

! Comment gérer des incidents techniques “Staff” SRE & autres trucs ❤ Automatisation ❤ Rust ❤ Cloud Native ❤ Open Source @Horgix.bsky.social Horgix Alexis “Horgix” Chotard Horgix

! Comment gérer des incidents techniques Introduction Pourquoi ce talk ?

! Comment gérer des incidents techniques Ophélie “Customer success” (support client) @PayFit

! Comment gérer des incidents techniques Baloo Un client pas imaginaire … mais renommé !

! Comment gérer des incidents techniques Interaction entre le support client de PayFit et Baloo <Redacted> <Quelqu’un comme Ophélie> <Baloo> <Baloo>

! Comment gérer des incidents techniques Notre objectif ? Éviter ce genre de situation !

! Comment gérer des incidents techniques

! Comment gérer des incidents techniques 🚨 Alerte 🚨 La cuvée secrète Château BDX I/O a été ouverte en avance et est toxique 😱

! Comment gérer des incidents techniques Spoiler : on va parler d’Incident.io Plusieurs fois. Mais plus tard pour de vrai.

! Comment gérer des incidents techniques La notion d’incident

! Comment gérer des incidents techniques "Un incident, c'est n'importe quoi qui vous éloigne de votre travail planiﬁé avec un certain degré d'urgence." https://incident.io/guide/foundations/deﬁning-an-incident

! Comment gérer des incidents techniques Incident vs Bug Un lien éventuel, mais pas toujours

! Comment gérer des incidents techniques Incident vs Maintenance planiﬁée Rien à voir !

! Comment gérer des incidents techniques Faites conﬁance aux gens et à leur instinct/feeling. Si quelqu'un pense qu'il y a un incident, c'est que c'est sûrement le cas

! Comment gérer des incidents techniques Est-ce que notre incident en est vraiment un ?

! Comment gérer des incidents techniques Est-ce que notre incident en est vraiment un ? Oui bien sûr !

! Comment gérer des incidents techniques Sévérité / Criticité “Si vous passez plus de temps à discuter de la sévérité de l'incident qu'à le résoudre, c'est un problème.” https://incident.io/guide/foundations/severities

! Comment gérer des incidents techniques Oubliez les matrices de sévérité & compagnie

! Comment gérer des incidents techniques Sévérité / Criticité SEV-1, SEV-2, SEV-3, SEV-4 Au jugé, favorisation à la hausse (+ revue)

! Comment gérer des incidents techniques Quelle est la sévérité de l’ouverture du Château BDX I/O en avance ? Votez !

! Comment gérer des incidents techniques Prévenir Le meilleur incident c'est celui que l'on a pas.

! Comment gérer des incidents techniques Tests de charge, Chaos Engineering, Canary release, … Le risque ne sera jamais à 0% pour autant :)

! Comment gérer des incidents techniques Humain & organisation

! Comment gérer des incidents techniques Incident Commander Celui qui déclare l’incident, puis souvent → l’Engineering Manager de l’équipe la plus proche du problème

! Comment gérer des incidents techniques Qui veut être commander sur notre incident ? Orchestrer les discussions Passer les annonces, informer

! Comment gérer des incidents techniques Rotation d’astreinte En l’absence de “follow the sun”, il faut quelqu’un qui puisse se réveiller !

! Comment gérer des incidents techniques Rotation d’astreinte S’organiser

! Comment gérer des incidents techniques Astreinte Équipe centralisée : ~6 personnes, exclusivement des SRE. Un jour, les équipes produit ?

! Comment gérer des incidents techniques On pourrait faire un talk dédié à l’astreinte… Allez voir le talk de Damien Pacaud dont je parlais plus tôt ! (ou alors, venez discuter après le talk)

! Comment gérer des incidents techniques Outils et (pratiques) tech

! Comment gérer des incidents techniques Outils et (pratiques) tech Détection → Alerte → Communication & Troubleshooting → Résolution → Amélioration

! Comment gérer des incidents techniques Détecter et s’organiser Alerte & escalade

! Comment gérer des incidents techniques Communiquer de l’information Publiquement, mais pas que

! Comment gérer des incidents techniques https://status.payﬁt.com

! Comment gérer des incidents techniques Communiquer via les canaux classiques. Emails, réseaux sociaux, etc. Bon courage pour convaincre vos département légaux & “branding” !

! Comment gérer des incidents techniques Communication intégrée dans votre application Bannières, notiﬁcations, etc.

! Comment gérer des incidents techniques Communiquer en interne Peu importe les canaux.

! Comment gérer des incidents techniques S’améliorer Sur les incidents eux-mêmes… mais aussi sur leur gestion

! Comment gérer des incidents techniques Mesurez MTRR (response / repair), fréquence, temps passé, etc

! Comment gérer des incidents techniques KCCNC → Hackathon → Live!

! Comment gérer des incidents techniques Demo ? :)

! Comment gérer des incidents techniques Ressources ▼ Anatomy of a Production Kubernetes Outage Oliver Beattie, Monzo Bank – KubeCon+CloudNativeCon EU 2018 @ Amsterdam https://www.youtube.com/watch?v=OUYTNywPk-s https://community.monzo.com/t/resolved-current-account-payments-may-fail-major-outage-27-10-2017/26296/95 ▼ Chaos management during a major incident Aish Raj Dahal, PagerDuty – dotScale 2017 @ Paris https://www.youtube.com/watch?v=8pPrtf1J1Z8 ▼ Mise à l'échelle d'une équipe d'astreinte dans un contexte de forte croissance Damien Pacaud, Teads – DevOps REX 2017 @ Paris https://www.youtube.com/watch?v=cwrOHZhUxcI https://www.slideshare.net/slideshow/devops-rex-2018-mise-lchelle-dune-quipe-dastreinte-dans-un-contexte-de-forte-croissance/121528582 ▼ Site Reliability Engineering – Antoine Leblanc, Google — Google Cloud Summit 2017 @ Paris https://www.youtube.com/watch?v=ZKbU5OIXuxs ▼ https://incident.io/guide <3

! Comment gérer des incidents techniques Take away Les choses à retenir

! Comment gérer des incidents techniques Take away ▼ Incident.io c'est génial. Foncez. ▼ Faites conﬁance aux gens et à leur instinct & capacités. ▼ Ayez de l'empathie. Que ça soit pour vos clients ou vos collègues (techniques ou non). Particulièrement le support client, ils en ont besoin ! ▼ Ayez une forme d’ “incident commanders” sur les incidents. ▼ Considérez les incidents d'un point de vue produit, pas juste technique. Impliquez & “éduquez” vos Product Owners/Managers ! ▼ Allez y pas à pas et améliorez itérativement chaque étape du cycle d’un incident.

! Comment gérer des incidents techniques Hâte d’aller boire un verre après la conférence ? Rassurez-vous, le Château BDX I/O n’est pas toxique :) Bon, en même temps il n’existe pas… encore 👀

! Comment gérer des incidents techniques Merci ! Et bon courage à ceux qui sont d’astreinte ce soir :)

! Comment gérer des incidents techniques Alerte, tout brûle ! Comment gérer des incidents techniques Alexis “Horgix” Chotard 08 nov. 2024 Q&A Votre feedback compte <REDACTED> Il fallait être là pendant la conférence :) Merci ! Slides → https://bsky.app/proﬁle/Horgix.bsky.social → Venez me voir après le talk / autour d’un verre

Alerte, tout brûle ! Comment gérer des incident...

Alerte, tout brûle ! Comment gérer des incidents techniques — BDX I/O 2024 (2024-11-08)

More Decks by Horgix

Other Decks in Technology

Featured

Transcript