Améliorer vos post-mortems grâce aux données

Les meilleures pratiques pour rassembler les données relatives aux personnes et les systèmes, et comment utiliser ces données pour formuler des plans de réponse exploitables afin d'éviter les échecs répétés.

Transcript

1. AMÉLIORER VOS POST-MORTEMS GRÂCE AUX DONNÉES “DATA-DRIVEN POST-MORTEMS”
2. MONITORING «SAAS» 1.000.000.000+ POINTS DE DONNÉES PAR JOUR NOUS EMBAUCHONS BIT.LY/DATADOG-JOBS
3. « LA SEULE ERREUR EST CELLE DONT ON N’APPREND RIEN DERRIÈRE » - Henry Ford
4. INSTRUMENT ALL THE THINGS TOUT INSTRUMENTALISER ! ▸ L’acte de récupérer des données ne coûte pas trop cher ▸ Ne pas l’avoir quand vous en avez besoin peut être très coûteux ▸ « Si ça bouge, nous le surveillons. Parfois nous allons suivre quelque chose au cas où il bouge soudainement. »
 - Ian Malpass (codeascraft.com)
5. THE BIG THREE LES TROIS TYPES DE DONNÉES À RÉCOLTER ▸ Métriques de travail ▸ Métriques de ressource ▸ Évènements
6. WORK METRICS MÉTRIQUES DE TRAVAIL ▸ Débit (flux) ▸ Succès ▸ Erreur ▸ Performance
7. RESOURCE METRICS MÉTRIQUES DE RESSOURCE ▸ Utilisation ▸ Saturation ▸ Erreur ▸ Disponibilité
8. EVENTS ÉVÈNEMENTS ▸ Déploiements ▸ Alertes ▸ Redimensionnement ▸ Pics de trafic
9. L’ÉLÉMENT HUMAIN LES PROBLÈMES TECHNIQUES ONT SOUVENT DES CAUSES ET DES RÉPERCUSSIONS HUMAINES
10. HUMAN DATA COLLECTION: WHO? LA COLLECTE DE DONNÉES : QUI ? ▸ Tout le monde ? Pas exactement… ▸ « Responder » ▸ Les intervenants (premier et ceux qui suivent) ▸ « Identifier » ▸ Les témoins (observateurs) ▸ « Affected Users » ▸ Les victimes (ceux qui sont touchés par l’évènement)
11. HUMAN DATA COLLECTION: WHAT? LA COLLECTE DE DONNÉES : QUOI ? ▸ Leurs perspectives, pensées, impressions, recollections, souvenirs ▸ Ce qu’ils ont fait ▸ Ce qu’ils pensaient ▸ Pourquoi ils ont pensé / réagit d’une telle manière
12. WRITE DOWN THE NARRATIVE ÉCRIRE, ET PRÉFÉRER LA NARRATION ▸ « L’écriture est la façon dont la nature vous montre à quel point votre pensée est bâclée. »
 - Richard Guindon ▸ « Une image vaut mille mots. »
 - Traditionelle
13. HUMAN DATA COLLECTION: WHEN? LA COLLECTE DE DONNÉES : QUAND ? ▸ Dès que possible ! ▸ La fiabilité de la mémoire diminue après 20 minutes (!) ▸ La susceptibilité à l’effet de « fausse mémoire » augmente après 2 jours
14. HUMAN DATA DEGRADATION DÉGRADATION DES DONNÉES HUMAINES ▸ Stress ▸ Manque de sommeil ▸ Épuisement (le « burnout ») ▸ Peur (notamment des punitions)
15. BIASES LES BIAIS ▸ Ancrage ▸ Sagesse rétrospective ▸ Résultat ▸ Disponibilité (récence) ▸ Effet de « train en marche »
 
 ▸ https://en.wikipedia.org/wiki/Bias
16. LES POST-MORTEMS CHEZ DATADOG DES LEÇONS DIFFICILES ÉVOLUER AU FIL DU TEMPS PARTAGE PARTAGE PARTAGE !
17. SHARING IS CARING PARTAGER AVEC TOUT LE MONDE, TOUJOURS ▸ Les post-mortems sont partagés avec l’ensemble de l’organisation ▸ Des réunions régulières sont programmées pour examiner les post-mortems récents ▸ Tout le monde est invité - les nouveaux employés sont particulièrement encouragés à participer
18. DATADOG POST-MORTEM TEMPLATE: SUMMARY MODÈLE POST-MORTEM : SOMMAIRE ▸ Un tour d’horizon de ce que s’est passé ▸ Impact sur les clients ▸ Gravité de la panne ▸ Composants touchés ▸ Résolution ultime
21. DATADOG POST-MORTEM TEMPLATE: DETECTION MODÈLE POST-MORTEM : DÉTECTION ▸ Nous avons détecté le problème rapidement ? Si non, pourquoi ? Nous le détecterions encore dans le futur ? ▸ Avons-nous une mesure qui montre la panne ? ▸ Y avait-il un alerte associé avec cette métrique ? ▸ Combien de temps nous a fallu pour déclarer une panne ?
24. DATADOG POST-MORTEM TEMPLATE: RESPONSE MODÈLE POST-MORTEM : RÉPONSE ▸ Qui était le chef (« owner ») de l’incident ? Qui d’autre était impliqué ? ▸ Archive de la communication en temps réel (ex. Slack) avec chronologie. ▸ Qu’est-ce qui s’est bien passé ? ▸ Qu’est-ce qui doit être amélioré ?
26. COMMUNICATIONS ARCHIVE ARCHIVES DES COMMUNICATIONS ▸ Slack, Hipchat, IRC, etc ▸ Ce n’est pas nécessaire (ni une bonne idée) de copier / coller les conversations entières directement dans le post-mortem ▸ Des captures d’écran suffit pour visualiser des instants particulièrement pertinent - pour la reste, des liens vers les archives
27. DATADOG POST-MORTEM TEMPLATE: WHY ? MODÈLE POST-MORTEM : POURQUOI ▸ Plonger dans la situation ▸ Accepter que la cause primaire (« root cause ») pourrait ne jamais être identifié ▸ Des exemples : ▸ http://bit.ly/dd-statuspage ▸ http://bit.ly/alq-postmortem
28. DATADOG POST-MORTEM TEMPLATE: PREVENTION MODÈLE POST-MORTEM : PRÉVENTION ▸ Actions à prendre ▸ Maintenant ▸ Prochainement ▸ Dans le futur ▸ Notes de suivi - n’oubliez pas les liens vers les tickets associés (ex. Github, Trello, etc)
30. DATADOG POST-MORTEM TEMPLATE: RECAP MODÈLE POST-MORTEM : RÉCAPITULATION ▸ Sommaire ▸ Détection ▸ Réponse ▸ Pourquoi ▸ Prévention ▸ Actions
31. DATADOG POST-MORTEM TEMPLATE: ADDITIONAL RESOURCES RESSOURCES ADDITIONNELLES (ANGLAIS) ▸ Modèle post-mortem : http://bit.ly/postmortem-template ▸ « The Infinite Hows » par John Allspaw : http://bit.ly/infinite-hows ▸ « Blameless Post-mortems » par John Allspaw : http://bit.ly/etsy-blameless ▸ « Blameless Post-mortems don’t work » par J. Paul Reed :
 http://bit.ly/blameless-dont-work ▸ « The Human Side of Post-mortems » par Dave Zweibeck :
 http://bit.ly/human-postmortem
32. DANIEL MAHER @PHRAWZTY DE LA PART DE DATADOG, MERCI À VOUS !