Alerte, tout brûle ! Comment gérer des incidents techniques — BreizhCamp 2024 (2024-06-28)

1 28 juin 2024 Alexis “@Horgix” Chotard Alerte, tout brûle
! Comment gérer des incidents techniques Alerte, tout brûle ! Comment gérer des incidents techniques Alexis “Horgix” Chotard 28 juin 2024

! Comment gérer des incidents techniques SRE & autres trucs ❤ Automatisation ❤ Rust ❤ Cloud Native ❤ Open Source @Horgix Horgix Alexis “Horgix” Chotard Horgix

! Comment gérer des incidents techniques Introduction Pourquoi ce talk ?

! Comment gérer des incidents techniques Ophélie “Customer success” (support client) @PayFit

! Comment gérer des incidents techniques Baloo Un client pas imaginaire … mais renommé !

! Comment gérer des incidents techniques Interaction entre le support client de PayFit et Baloo <Redacted> <Quelqu’un comme Ophélie> <Baloo> <Baloo>

! Comment gérer des incidents techniques Notre objectif ? Éviter ce genre de situation !

! Comment gérer des incidents techniques

! Comment gérer des incidents techniques 🚨 Alerte 🚨 Il n’y a plus de café à Breizhcamp ☕ 😱 Nicolas

! Comment gérer des incidents techniques Spoiler : on va parler d’Incident.io Plusieurs fois. Mais plus tard pour de vrai.

! Comment gérer des incidents techniques La notion d’incident

! Comment gérer des incidents techniques "Un incident, c'est n'importe quoi qui vous éloigne de votre travail planiﬁé avec un certain degré d'urgence." https://incident.io/guide/foundations/deﬁning-an-incident Vibes de Martin Fowler un peu non ?

! Comment gérer des incidents techniques Faites conﬁance aux gens et à leur instinct/feeling. Si quelqu'un pense qu'il y a un incident, c'est que c'est sûrement le cas

! Comment gérer des incidents techniques Est-ce que notre incident en est vraiment un ? Oui bien sûr ! Nicolas

! Comment gérer des incidents techniques Incident vs Bug Un lien éventuel, mais pas toujours

! Comment gérer des incidents techniques Incident vs Maintenance planiﬁée Rien à voir !

! Comment gérer des incidents techniques Sévérité / Criticité “Si vous passez plus de temps à discuter de la sévérité de l'incident qu'à le résoudre, c'est un problème.”

! Comment gérer des incidents techniques Oubliez les matrices de sévérité & compagnie

! Comment gérer des incidents techniques Sévérité / Criticité SEV-1, SEV-2, SEV-3, SEV-4

! Comment gérer des incidents techniques Quelle est la sévérité de notre manque de café ? Votez ! Nicolas

! Comment gérer des incidents techniques Prévenir Le meilleur incident c'est celui que l'on a pas.

! Comment gérer des incidents techniques Tests de charge, Chaos Engineering, Canary release, … Le risque ne sera jamais à 0% pour autant :)

! Comment gérer des incidents techniques Humain & organisation

! Comment gérer des incidents techniques Qui veut être commander sur notre incident ? Orchestrer les discussions Passer les annonces, informer Nicolas

! Comment gérer des incidents techniques Rotation d’astreinte En l’absence de “follow the sun”, il faut quelqu’un qui puisse se réveiller !

! Comment gérer des incidents techniques Rotation d’astreinte S’organiser

! Comment gérer des incidents techniques On pourrait faire un talk dédié à l’astreinte… Allez voir le talk de Damien Pascaud dont je parlais plus tôt ! (ou alors, posez des questions à la ﬁn)

! Comment gérer des incidents techniques Outils et (pratiques) tech

! Comment gérer des incidents techniques Détecter et s’organiser Alerte & escalade

! Comment gérer des incidents techniques Communiquer de l’information Publiquement, mais pas que

! Comment gérer des incidents techniques https://status.payﬁt.com

! Comment gérer des incidents techniques Communication intégrée dans votre application Bannières, notiﬁcations, etc.

! Comment gérer des incidents techniques Communiquer en interne Peu importe les canaux.

! Comment gérer des incidents techniques S’améliorer Sur les incidents eux-mêmes… mais aussi sur leur gestion

! Comment gérer des incidents techniques Mesurez MTRR (response / repair), fréquence, temps passé, etc

! Comment gérer des incidents techniques KCCNC → Hackathon → Live!

! Comment gérer des incidents techniques Demo ? :)

! Comment gérer des incidents techniques Take away Les choses à retenir

! Comment gérer des incidents techniques Ressources ▼ Anatomy of a Production Kubernetes Outage Oliver Beattie, Monzo Bank – KubeCon+CloudNativeCon EU 2018 @ Amsterdam https://www.youtube.com/watch?v=OUYTNywPk-s https://community.monzo.com/t/resolved-current-account-payments-may-fail-major-outage-27-10-2017/26296/95 ▼ Chaos management during a major incident Aish Raj Dahal, PagerDuty – dotScale 2017 @ Paris https://www.youtube.com/watch?v=8pPrtf1J1Z8 ▼ Mise à l'échelle d'une équipe d'astreinte dans un contexte de forte croissance Damien Pacaud, Teads – DevOps REX 2017 @ Paris https://www.youtube.com/watch?v=cwrOHZhUxcI https://www.slideshare.net/slideshow/devops-rex-2018-mise-lchelle-dune-quipe-dastreinte-dans-un-contexte-de-forte-croissance/121528582 ▼ Site Reliability Engineering – Antoine Leblanc, Google — Google Cloud Summit 2017 @ Paris https://www.youtube.com/watch?v=ZKbU5OIXuxs ▼ https://incident.io/guide <3

! Comment gérer des incidents techniques Take away ▼ Ayez de l'empathie. Que ça soit pour vos clients ou vos collègues (techniques ou non). Particulièrement le support client, ils en ont besoin ! ▼ Faites conﬁance aux gens et à leur instinct & capacités ▼ Considérez les incidents d'un point de vue produit, pas juste technique. Éduquez vos Product Owners/Managers ! ▼ Incident.io c'est génial. Foncez. ▼ Allez y pas à pas. ▼ Allez à des conférences pour découvrir des choses qui vous seront utiles (Coucou !)

! Comment gérer des incidents techniques Votre café vous manque ? Rassurez-vous, Nicolas est bien là :) Nicolas

! Comment gérer des incidents techniques Merci ! Et allez voter dimanche :)

! Comment gérer des incidents techniques Alerte, tout brûle ! Comment gérer des incidents techniques Alexis “Horgix” Chotard 28 juin 2024 Q&A Votre feedback compte <3 Allez voter dimanche :) Merci ! <REDACTED> Il fallait être là pendant la conférence :)

Alerte, tout brûle ! Comment gérer des incident...

Alerte, tout brûle ! Comment gérer des incidents techniques — BreizhCamp 2024 (2024-06-28)

More Decks by Horgix

Other Decks in Technology

Featured

Transcript