Aller au contenu

HumainPratique9 min de lecture

Une astreinte soutenable

Dimensionner un tour d'astreinte, mesurer combien d'alertes réveillent les gens, compenser et n'appeler un humain que lorsque les utilisateurs souffrent vraiment.

Pour : ingénieurs et SRE · managers d’équipePrérequis : Savoir ce qu'est une alerte suffit. Les notions de SLO et de budget d'erreur sont expliquées dans la page.

Mode de lecture

Il est trois heures du matin. Le téléphone de Léa vibre : le disque d’un serveur est rempli à 80 %. Elle se lève, allume son ordinateur, vérifie. Il n’y a rien à faire, le disque sera nettoyé automatiquement dans la matinée. À quatre heures et demie, la même alerte revient. Le lendemain, Léa travaille au ralenti. C’est sa troisième semaine d’astreinte du trimestre, parce que l’équipe ne compte que quatre personnes. Quelques mois plus tard, elle accepte une offre ailleurs. Avec elle part la personne qui connaissait le mieux le service de paiement.

Ce scénario est inventé, mais beaucoup d’équipes s’y reconnaîtront. L’astreinte, c’est le médecin de garde appliqué à l’informatique : une personne reste joignable en dehors des heures de bureau pour intervenir si un service tombe. Elle ne tient pas grâce au courage de l’équipe. Elle tient quand quatre choses sont réunies : un tour de garde assez large pour que chacun soit rarement de garde, peu d’alertes et toutes utiles, une compensation reconnue et une mesure régulière de la charge réelle. Quand l’une manque, les autres finissent par céder.

Cette page rassemble les repères publiés, une façon de mesurer la charge et les règles que je recommande. Elle complète la leçon 5 du parcours DSI, qui aborde le sujet du point de vue de la direction.

Le livre Site Reliability Engineering de Google consacre un chapitre à l’astreinte (Being On-Call). Le SRE, ou ingénierie de la fiabilité, est la discipline qui traite l’exploitation d’un service comme un problème d’ingénieur. Ce chapitre donne des ordres de grandeur souvent repris.

Selon le livre, un ingénieur ne devrait pas passer plus de 25 % de son temps d’astreinte. Au moins 50 % de son temps devrait aller à l’ingénierie, c’est-à-dire à améliorer le système plutôt qu’à le faire tourner. Une période d’astreinte de 12 heures ne devrait pas compter plus de deux incidents. Enfin, un tour de garde sur un seul site devrait réunir au moins huit personnes ; réparti sur deux sites, au moins six personnes par site.

Ces chiffres décrivent le fonctionnement d’une organisation précise. Je recommande de les traiter comme des points de comparaison et non comme des normes. Fixez vos propres seuils, écrivez-les et mesurez-les.

On parle de rotation pour désigner le tour de garde : la liste des personnes qui se passent le téléphone d’astreinte, souvent chaque semaine. Une rotation trop petite fatigue les gens mécaniquement, même avec d’excellentes alertes.

Commencez par compter. Avec quatre personnes qui se relaient chaque semaine, chacune est d’astreinte une semaine sur quatre, soit environ trois semaines par trimestre (exemple illustratif). Avec huit personnes, c’est une semaine sur huit.

Demandez-vous ensuite qui est en second. Un second niveau désigné, qui sait qu’il peut être appelé, évite que la personne d’astreinte reste seule face à un incident qui dure. Le chapitre cité plus haut décrit ce principe d’une astreinte primaire et secondaire.

Regardez enfin ce qui se passe pendant les congés et les arrêts. Si la rotation ne tient que lorsque tout le monde est présent, elle est trop petite.

Une équipe répartie sur plusieurs fuseaux horaires peut faire « suivre le soleil » (follow the sun) : l’astreinte passe d’un pays à l’autre au fil de la journée, si bien que chacun la tient pendant ses heures de jour. Les appels de nuit disparaissent. En contrepartie, il faut une passation écrite à chaque changement de fuseau.

Cette passation, je la recommande partout, à chaque fin de période. C’est la relève entre deux équipes à l’hôpital : les incidents en cours, les alertes bruyantes repérées, les changements prévus, les points de vigilance. Cinq lignes dans un canal partagé suffisent. Ces notes servent aussi de matière à la revue mensuelle décrite plus bas.

On ne réduit pas ce qu’on ne mesure pas. Les indicateurs ci-dessous se calculent à partir de l’historique de votre outil d’alerte et d’une question posée à la personne d’astreinte en fin de semaine. Une alerte « actionnable » est une alerte qui a vraiment demandé un geste humain ; celles qui n’en demandent aucun sont du bruit.

IndicateurComment le calculerCe qu’il révèle
Appels par période d’astreintealertes ayant déclenché une notification humaine, par période de 12 heuresla charge brute, à comparer au repère de deux incidents
Appels hors heures ouvréesmême décompte, limité à la nuit et au week-endl’atteinte au sommeil, le facteur d’épuisement le plus direct
Part d’alertes actionnablesalertes ayant donné lieu à une action humaine, rapportées au totalle bruit ; une alerte sans action est candidate à la suppression
Alertes récurrentesnombre d’alertes déclenchées plus de trois fois dans le mois avec la même causece qu’un correctif durable supprimerait
Temps d’interruptionheures passées à traiter des alertes et des demandes pendant l’astreintele temps qui n’a pas été consacré à l’ingénierie
Charge ressentienote de 1 à 5 donnée par la personne en fin de périodela dérive, avant qu’elle se voie dans les chiffres

Le simulateur de fatigue d’alerte estime cette charge à partir de quelques paramètres et dit si une semaine type reste soutenable.

Je recommande aussi une revue de trente minutes chaque mois, consacrée aux dix alertes les plus fréquentes. Pour chacune, l’équipe choisit : la supprimer, corriger ce qui la déclenche ou la transformer en ticket non urgent. Une alerte qui revient trois mois de suite sans décision relève de la gouvernance plus que de la technique : personne ne s’est senti chargé de trancher.

Le voyant d’une voiture s’allume quand le moteur surchauffe, pas chaque fois que le régime monte dans une côte. Les alertes devraient suivre la même logique. Un symptôme, c’est ce que l’utilisateur subit : une page qui ne charge pas, un paiement refusé. Une cause, c’est ce qui se passe à l’intérieur : un processeur chargé, un disque qui se remplit.

À mon avis, la principale source de bruit est l’alerte posée sur une cause plutôt que sur un symptôme. Un processeur (CPU) à 90 %, un disque à 80 % ou un pod redémarré (le pod est l’unité dans laquelle tourne une application sur Kubernetes) ne disent pas si les utilisateurs souffrent. Le chapitre Monitoring Distributed Systems du même livre recommande d’alerter sur les symptômes visibles des utilisateurs et de réserver les causes aux tableaux de bord et au diagnostic. Il pose aussi que chaque appel doit demander une action et justifier une réaction urgente.

Les SLO donnent un critère précis pour décider. Un SLO (objectif de niveau de service) est une promesse chiffrée, par exemple « 99,9 % des paiements réussissent sur trente jours ». Le budget d’erreur est la marge qui reste : les 0,1 % d’échecs qu’on s’autorise sur la période. Pensez à un budget de courses mensuel. Si la moitié est partie le 3 du mois, il faut réagir tout de suite. Si vous êtes un peu au-dessus du rythme habituel, il suffit d’en parler en fin de semaine.

Le chapitre Alerting on SLOs du Site Reliability Workbook applique ce raisonnement. Il décrit des alertes sur la vitesse de consommation du budget d’erreur (le burn rate), évaluées sur plusieurs fenêtres de temps. Une consommation rapide et soutenue, qui épuiserait le budget en quelques jours, appelle un humain. Une consommation lente, qui l’épuiserait avant la fin de la période sans qu’il y ait urgence, crée un ticket traité en heures ouvrées. Tout le reste alimente les tableaux de bord, sans notification.

Le workbook propose des seuils précis pour ces fenêtres. Le simulateur de budget d’erreur montre comment ce schéma réduit les appels sans retarder la détection d’un vrai incident.

flowchart LR
  S["Signal"] --> Q1{"Symptôme visible<br/>des utilisateurs ?"}
  Q1 -->|"non"| D["Tableau de bord,<br/>diagnostic"]
  Q1 -->|"oui"| Q2{"Budget d'erreur<br/>consommé vite ?"}
  Q2 -->|"oui"| P["Appel de l'astreinte"]
  Q2 -->|"lentement"| T["Ticket en<br/>heures ouvrées"]
  Q2 -->|"non"| D

Dernière règle, la plus simple pour empêcher le bruit de revenir : chaque alerte qui réveille quelqu’un a une équipe propriétaire et une procédure. La procédure (on dit souvent runbook) est une fiche, même courte, qui dit quoi vérifier et quoi faire, comme la fiche réflexe d’un pilote. Je recommande de refuser en revue toute nouvelle alerte d’appel qui n’a ni l’une ni l’autre.

En France, l’article L3121-9 du Code du travail définit l’astreinte et prévoit qu’elle fait l’objet d’une contrepartie, financière ou en repos. La durée d’une intervention pendant l’astreinte est un temps de travail effectif. Les articles suivants du même code renvoient les modalités à un accord collectif ou, à défaut, à l’employeur après consultation des représentants du personnel. Le texte est consultable sur Légifrance. Je recommande d’associer les RH dès la conception de la rotation, pas après les premières plaintes.

Après une nuit d’intervention, je recommande un temps de récupération accordé sans justification. Il est écrit dans la règle d’astreinte plutôt que laissé à l’appréciation de chaque manager.

Une personne qui n’est pas d’astreinte n’est pas appelée. Les exceptions sont nommées, écrites et compensées.

Enfin, la personne d’astreinte doit avoir le droit de rendre une alerte : désactiver temporairement une alerte manifestement bruyante, à condition de le signaler dans la passation. Sans ce droit, le bruit s’installe parce que personne ne se sent autorisé à le couper.

  • La rotation compte assez de personnes pour tenir pendant les congés
  • Un second niveau est désigné et le sait
  • Les seuils de charge acceptables sont écrits (appels par période, appels de nuit)
  • La charge d’alerte est mesurée chaque mois avec les indicateurs ci-dessus
  • Chaque alerte d’appel porte sur un symptôme, a un propriétaire et une procédure
  • Les alertes d’appel sont dérivées des SLO quand un SLO existe
  • La compensation est définie avec les RH, conformément au droit applicable
  • La récupération après une intervention de nuit est écrite dans la règle
  • La passation de fin de période est systématique
  • La personne d’astreinte peut désactiver une alerte bruyante en le signalant