Aller au contenu

HumainPratique8 min de lecture

Le post-mortem sans blâme

Déclencher, préparer et animer un post-mortem qui produit des actions plutôt que des coupables, puis suivre ces actions et mesurer ce que l'organisation apprend.

Pour : ingénieurs et SRE · managers d’équipe · métiers et produit · direction et DSIPrérequis : Avoir déjà vécu un incident, de près ou de loin.

Mode de lecture

Vendredi soir, une mise en production fait tomber le paiement pendant quarante minutes. Lundi, la réunion commence par une question du responsable : « Qui a lancé le déploiement ? » La personne concernée raconte le strict minimum. Les autres se taisent. On conclut à une « erreur humaine », on rappelle qu’il faut être prudent. Chacun retourne à son travail. Trois mois plus tard, le même incident se reproduit avec quelqu’un d’autre.

Ce scénario est inventé, mais il est courant. Le post-mortem sans blâme sert à en sortir : il cherche ce qui a rendu l’erreur possible plutôt que la personne qui l’a commise, puis il produit quelques actions qu’on suit jusqu’au bout.

La leçon 5 du parcours DSI pose les règles de culture. Cette page est le guide pratique : quand lancer un post-mortem, comment mener la séance, quel document utiliser, comment suivre les actions et quoi mesurer.

L’argument est pratique avant d’être moral. Quelqu’un qui risque une sanction raconte moins, ou autrement. L’analyse s’arrête alors à « erreur humaine » et la faille qui a rendu l’erreur possible reste en place pour la personne suivante. John Allspaw a formulé cette idée pour Etsy dans un texte devenu une référence (Blameless PostMortems and a Just Culture), reprise ensuite dans le chapitre Postmortem Culture du livre Site Reliability Engineering.

Sans blâme ne veut pas dire sans responsabilité. Les actions ont des porteurs et des dates. Ce qui disparaît, c’est la chasse au coupable.

Un post-mortem mobilise plusieurs personnes pendant quelques heures. Pour qu’il ne dépende ni de l’humeur du moment ni de la gravité ressentie, les critères doivent être écrits et connus avant l’incident. Je reprends comme base ceux que propose le chapitre de Google cité plus haut : une panne ou un ralentissement visible des utilisateurs au-delà d’un seuil fixé à l’avance, une perte de données quelle qu’en soit l’ampleur, une intervention manuelle de l’astreinte pour rétablir le service (retour arrière, bascule du trafic), un rétablissement plus long qu’un délai convenu, ou un incident découvert autrement que par la supervision, ce qui révèle un angle mort.

Toute personne concernée peut aussi demander un post-mortem hors de ces critères. J’ajoute une recommandation : un incident qui consomme une part importante du budget d’erreur d’un SLO (la marge d’erreur qu’on s’autorise sur un objectif de qualité de service, part que vous fixez vous-même) mérite un post-mortem même si personne ne s’est plaint.

À la fin de l’incident, le responsable désigne un rédacteur et un animateur, si possible extérieurs à la réponse. Dans les jours qui suivent, le rédacteur rassemble les faits : l’heure de chaque alerte et de chaque décision, des captures de tableaux de bord, les messages échangés pendant l’incident. Il prépare un brouillon, relu par ceux qui sont intervenus, en laissant vide la partie actions.

La séance dure environ une heure. Y participent ceux qui sont intervenus, l’équipe propriétaire du service et, quand l’incident l’a touché, le métier concerné. Elle aboutit à des causes partagées et à des actions attribuées. Le document est ensuite diffusé en interne et les actions rejoignent la liste de travail de l’équipe, où elles sont suivies jusqu’à leur clôture.

Je recommande de fixer un délai entre la fin de l’incident et la séance, assez court pour que les souvenirs soient frais. Le bon délai dépend de votre rythme ; l’essentiel est qu’il soit écrit et suivi.

L’animateur est le gardien de la règle. Quand quelqu’un dit « il aurait dû », il reformule : « qu’est-ce qui rendait ce choix raisonnable à ce moment-là ? ». Quand la discussion glisse vers les personnes, il la ramène vers les conditions : un outil, une procédure, un signal qui manquait, la pression du temps. Il veille aussi à ce que les moins gradés parlent en premier.

Je recommande de consacrer le premier tiers de la séance à se mettre d’accord sur la chronologie. Beaucoup de désaccords sur les causes viennent en fait de désaccords non dits sur ce qui s’est passé.

Un document trop long finit rarement rempli : celui-ci tient sur deux pages. Deux parties comptent plus que les autres.

La partie « Détection » relie le post-mortem à l’observabilité : si c’est un client qui a signalé l’incident plutôt qu’une alerte, il y a une mesure à ajouter. La partie « Où nous avons eu de la chance » fait apparaître les risques qui ne se sont pas réalisés cette fois-ci. Ce sont souvent les plus instructifs.

Le gabarit à copier
# Post-mortem : <titre factuel, sans nom de personne>
Statut : brouillon | relu | publié
Date de l'incident : AAAA-MM-JJ Durée : de HH:MM à HH:MM
Rédacteur : Animateur :
Services touchés : SLO concernés :
## Résumé
Trois phrases : ce qui s'est passé, l'impact, comment on a rétabli.
## Impact
- Utilisateurs ou clients touchés, sur quelle période
- Budget d'erreur consommé
- Impact métier établi avec le métier concerné (commandes, délais, image)
## Chronologie
HH:MM événement (source : alerte, canal, tableau de bord)
Détection, premier diagnostic, décisions, rétablissement.
## Détection
Comment l'incident a été détecté. Combien de temps après son début.
La supervision l'a-t-elle vu ? Sinon, quel signal aurait suffi ?
## Causes et facteurs contributifs
Ce qui a déclenché l'incident. Ce qui l'a rendu possible.
Ce qui l'a aggravé ou prolongé.
## Ce qui a bien fonctionné
## Où nous avons eu de la chance
## Actions
| Action | Type (prévenir, détecter, atténuer) | Porteur | Échéance | Critère de fin |
## Enseignements
Ce que les autres équipes devraient savoir.

Un post-mortem dont les actions ne sont jamais faites est pire que pas de post-mortem du tout : il apprend aux équipes que le rituel ne sert à rien.

À mon avis, il vaut mieux trois actions réalisées que douze en attente. Les idées qu’on ne retient pas peuvent rester dans le document, dans une rubrique « pistes », sans porteur. Chaque action retenue a un porteur, une date et un critère qui dit quand elle est terminée. « Améliorer la supervision » n’est pas une action ; « ajouter une alerte sur le taux d’erreur du service de paiement, liée à son SLO » en est une.

Les actions vivent dans la liste de travail de l’équipe, pas dans le document : elles sont priorisées comme le reste. Une fois par mois, une courte revue passe sur les actions encore ouvertes pour les fermer, les relancer ou les abandonner explicitement. Un abandon décidé et expliqué vaut mieux qu’une action qu’on laisse pourrir.

Le chapitre Postmortem Culture du Site Reliability Workbook compare un post-mortem faible et sa version améliorée. Je le recommande à toute personne qui va animer des séances.

Ces indicateurs disent si le rituel fonctionne. Ils ne servent pas à classer les équipes : un grand nombre de post-mortems peut signaler une équipe qui déclare ses incidents honnêtement plutôt qu’un système fragile.

IndicateurCe qu’il révèle
Part des incidents éligibles ayant un post-mortem publiési les critères de déclenchement sont appliqués
Délai entre la fin de l’incident et la publicationsi le rituel est tenu ou repoussé
Part des actions closes à leur échéancesi le post-mortem change réellement le système
Âge des actions ouvertesce qu’on a appris sans encore le mettre en pratique
Incidents qui se répètent (même cause qu’un incident déjà analysé)si les actions traitaient la bonne cause
Part des incidents détectés par la supervision plutôt que par un utilisateurce que le post-mortem apporte à l’observabilité
Lectures ou partages des post-mortems publiéssi l’apprentissage dépasse l’équipe concernée

Les incidents qui se répètent et la part détectée par la supervision ont leur place dans le tableau de bord de direction : ils traduisent l’apprentissage en chiffres qu’un comité comprend.

Le plus destructeur est la séance qui tourne au tribunal : un responsable qui demande « qui a fait ça ? » annule la règle pour longtemps. L’animateur doit pouvoir l’arrêter. Vient ensuite la recherche d’une cause unique. Dans un système fait de nombreux services, un incident a rarement une seule cause ; je préfère parler de facteurs qui ont contribué.

« Erreur humaine » n’est jamais une conclusion. C’est un point de départ : qu’est-ce qui rendait l’erreur facile à commettre et difficile à repérer ? Enfin, un document que personne ne lit ne sert à rien. Un résumé de trois phrases, largement diffusé, fait plus qu’un rapport complet rangé dans un dossier.

  • Les critères de déclenchement sont écrits et connus avant l’incident
  • L’animateur n’a pas participé à la réponse
  • La chronologie est validée avant toute discussion des causes
  • Le titre et le document ne nomment personne comme coupable
  • La partie Détection dit si la supervision a vu l’incident
  • Chaque action a un porteur, une échéance et un critère de fin
  • Les actions sont dans la liste de travail de l’équipe
  • Les actions ouvertes sont revues chaque mois
  • Le métier concerné est invité quand l’incident l’a touché
  • Les post-mortems demandent une astreinte soutenable : une équipe épuisée n’a plus l’énergie d’analyser.
  • Le business case du MTTR relie le temps de détection et de rétablissement au coût d’un incident.
  • Le parcours DSI, leçon 5 propose de rejouer un post-mortem pour mesurer la maturité de la culture d’équipe.