TechniqueDécouverte7 min de lecture (+1 technique)
SLO et alerting
Quand un paiement lent mérite-t-il de réveiller quelqu'un ? SLI, SLO et SLA en mots simples, le budget d'erreur et son calcul, l'alerte sur ce que vivent les utilisateurs et sur la vitesse de consommation du budget, puis comment choisir un premier SLO.
Pour : ingénieurs et SRE · architectes · managers d’équipe · métiers et produitPrérequis : Avoir lu L'observabilité en 10 minutes ou savoir ce qu'est une métrique. La partie repliée sur le burn rate suppose d'être à l'aise avec les pourcentages.
Lundi, 3 h du matin. Le téléphone de la personne d’astreinte sonne : un serveur du service de paiement tourne à 90 % de processeur. Elle se lève, ouvre son ordinateur, regarde les tableaux de bord. Les paiements passent normalement. Elle se recouche. Le jeudi suivant, en pleine journée, les paiements deviennent lents parce que la banque répond mal. Aucune alerte ne sonne : aucun serveur n’est chargé. Ce sont les clients qui préviennent le support.
Ce scénario est inventé, mais beaucoup d’équipes le reconnaîtront. Les alertes regardent les machines alors que la question qui compte est ailleurs : à partir de quand un paiement lent est-il un problème qui mérite de réveiller quelqu’un ? Les SLO donnent une réponse chiffrée.
Le vocabulaire et la méthode de cette page viennent des deux livres de Google sur le SRE (Site Reliability Engineering), cités en sources. Le SRE est une façon d’exploiter les systèmes qui traite la fiabilité comme un sujet d’ingénierie, avec des mesures et des objectifs.
Une mesure, une promesse, un contrat
Section intitulée « Une mesure, une promesse, un contrat »Pensez à un train. La compagnie compte les trains arrivés à l’heure : c’est sa mesure. Elle se fixe en interne un objectif, par exemple 95 % de trains à l’heure sur le mois : c’est sa promesse. Et elle a peut-être signé avec la région un contrat qui prévoit des pénalités en dessous de 90 % : c’est son engagement. Trois choses différentes, qu’on confond souvent.
Le SRE leur donne trois noms.
Le SLI (service level indicator, indicateur de niveau de service) est la mesure de ce que vit l’utilisateur. On l’écrit le plus souvent comme une proportion : les bons événements divisés par tous les événements. Pour notre exemple, c’est la part des paiements qui aboutissent en moins de 2 secondes.
Le SLO (service level objective, objectif de niveau de service) est la cible fixée pour ce SLI, sur une période : 99,9 % des paiements aboutissent en moins de 2 secondes, sur 30 jours glissants. C’est un objectif interne, la promesse que l’équipe se fait à elle-même.
Le SLA (service level agreement, accord de niveau de service) est un engagement contractuel envers un client, avec des conséquences s’il n’est pas tenu, par exemple des pénalités : disons 99,5 % par mois (chiffre illustratif). Le SLA est en général moins exigeant que le SLO. L’écart laisse le temps de réagir avant de manquer à un contrat.
Un bon SLI se mesure au plus près de l’utilisateur. Le taux de réussite vu par le service checkout, celui qui reçoit la commande, vaut mieux que l’état de santé d’un serveur.
Le budget d’erreur
Section intitulée « Le budget d’erreur »Viser 99,9 %, c’est accepter 0,1 % d’échecs. Cette part tolérée s’appelle le budget d’erreur (error budget). On peut le voir comme un forfait : un certain nombre de minutes de panne, ou d’échecs, que l’équipe a le droit de « dépenser » sur la période.
Le calcul est simple. Une période de 30 jours compte 30 × 24 × 60 = 43 200 minutes. 0,1 % de 43 200 minutes font 43,2 minutes. Un SLO de 99,9 % sur 30 jours laisse donc environ 43 minutes de panne totale, ou l’équivalent en panne partielle.
| SLO sur 30 jours | Budget d’erreur | Équivalent en temps |
|---|---|---|
| 99 % | 1 % | 7 h 12 min |
| 99,5 % | 0,5 % | 3 h 36 min |
| 99,9 % | 0,1 % | 43 min |
| 99,95 % | 0,05 % | 21 min 36 s |
| 99,99 % | 0,01 % | 4 min 19 s |
Ces valeurs sont calculées. Chaque « 9 » supplémentaire divise le budget par dix.
Quand le SLI compte des requêtes plutôt que du temps, le budget se lit en requêtes. Sur un million de paiements, 99,9 % autorise 1 000 échecs.
Le budget sert surtout à décider. Tant qu’il en reste, l’équipe peut livrer et prendre des risques. Quand il est épuisé, elle donne la priorité à la fiabilité. Cette règle doit être écrite et acceptée à l’avance par l’équipe, le produit et la direction : c’est la politique de budget d’erreur.
Alerter sur les symptômes, pas sur les causes
Section intitulée « Alerter sur les symptômes, pas sur les causes »Revenons à la nuit de lundi. Le processeur à 90 % est une cause possible de problème : un état technique, comme un disque presque plein ou un redémarrage. Les paiements lents du jeudi sont un symptôme : ce que vit l’utilisateur.
Le livre Site Reliability Engineering recommande d’alerter sur les symptômes et de garder les causes pour le diagnostic (Monitoring Distributed Systems). Un processeur à 90 % qui ne ralentit aucun paiement ne mérite pas de réveiller quelqu’un. À l’inverse, des paiements lents méritent une alerte, même si tous les serveurs semblent sains.
Dans notre exemple, la banque répond lentement et aucune machine n’est saturée. Une alerte sur le processeur ne se serait jamais déclenchée. Une alerte sur le SLO de paiement, si.
Alerter sur la vitesse à laquelle le budget se vide
Section intitulée « Alerter sur la vitesse à laquelle le budget se vide »Alerter dès qu’une erreur apparaît réveillerait l’astreinte sans cesse. Attendre que le budget soit épuisé serait trop tard. La solution consiste à regarder la vitesse à laquelle on consomme le budget, comme on surveille la jauge d’essence pendant un trajet : ce n’est pas le niveau qui inquiète, c’est le rythme auquel il baisse.
Cette vitesse s’appelle le burn rate (taux de consommation). À 1, le budget s’épuise exactement à la fin de la période. À 2, il s’épuise en deux fois moins de temps, soit 15 jours sur une période de 30 jours. Plus le burn rate est élevé, plus l’alerte est urgente.
Le chapitre Alerting on SLOs du Site Reliability Workbook compare plusieurs méthodes d’alerte et aboutit à des alertes dites multi-fenêtres et multi-burn rate. L’idée est la suivante. Une consommation très rapide appelle l’astreinte, une consommation lente mais durable ouvre un ticket traité en heures ouvrées. Pour chaque vitesse, on mesure le burn rate sur une fenêtre de temps assez longue pour ignorer un pic isolé. On le vérifie aussi sur une fenêtre plus courte, pour que l’alerte s’arrête vite une fois le problème réglé.
flowchart TD
E["Taux d'erreur du SLI"] --> R["Burn rate sur<br/>fenêtres longue et courte"]
R --> Q{"Les deux fenêtres<br/>dépassent le seuil ?"}
Q -->|"burn rate élevé"| P["Appel de l'astreinte"]
Q -->|"burn rate faible mais durable"| T["Ticket"]
Q -->|"non"| D["Tableau de bord seulement"]
Le simulateur de budget d’erreur applique ces règles à un incident que vous réglez vous-même. Il montre qu’une panne franche déclenche l’appel en quelques minutes et qu’une dégradation lente ouvre seulement un ticket.
Pour les équipes techniques : les paramètres recommandés par le workbook
Pour un SLO de 99,9 % sur 30 jours, le workbook propose ces paramètres comme point de départ. La fenêtre courte vaut environ un douzième de la longue.
| Action | Fenêtre longue | Fenêtre courte | Burn rate | Budget consommé à l’alerte |
|---|---|---|---|---|
| Appel | 1 heure | 5 minutes | 14,4 | 2 % |
| Appel | 6 heures | 30 minutes | 6 | 5 % |
| Ticket | 3 jours | 6 heures | 1 | 10 % |
Pour lire la première ligne : à un burn rate de 14,4, une heure consomme 14,4 / 720 = 2 % du budget de 30 jours (720 heures). À ce rythme, le budget entier tient environ deux jours.
Choisir un premier SLO
Section intitulée « Choisir un premier SLO »Voici la démarche que je recommande pour un premier SLO. Elle reste volontairement modeste.
- Choisir un seul parcours, important pour les utilisateurs et le métier. Le paiement est un bon candidat. La page d’accueil d’un outil interne l’est moins.
- Écrire le SLI en mots simples : « la part des paiements qui aboutissent en moins de 2 secondes ». Si la phrase n’est pas claire pour le métier, le SLI ne l’est pas non plus.
- Mesurer avant de viser. Regarder la fiabilité réelle sur les dernières semaines. Une cible tirée au hasard sera soit intenable, soit sans intérêt.
- Fixer une cible un peu en dessous du constaté. Si le service tient 99,95 %, viser 99,9 % laisse une marge. Viser 100 % n’a pas de sens : aucun budget, donc aucune livraison possible.
- Écrire la politique de budget. Qui décide de ralentir les mises en production quand le budget est épuisé ? On le décide avant l’incident, pas pendant.
- Brancher les alertes sur le burn rate de ce SLO, puis retirer les alertes sur les causes qui font doublon, comme celle qui a réveillé l’astreinte lundi.
- Réviser après un trimestre. Le premier SLO est rarement le bon et c’est normal.
Pour aller plus loin
Section intitulée « Pour aller plus loin »- Simulateur de budget d’erreur : régler un SLO, simuler un incident, voir les alertes se déclencher.
- Une astreinte soutenable : ce que les alertes sur SLO changent pour les personnes d’astreinte.
- Simulateur de fatigue d’alerte : estimer la charge d’une semaine d’astreinte.
- SLO de qualité : appliquer la même logique à la qualité des réponses d’un service d’IA.
- L’observabilité en 10 minutes et OpenTelemetry de bout en bout : les signaux sur lesquels reposent les SLI.
- Le glossaire définit SLI, SLO, budget d’erreur et burn rate.
- Beyer, Jones, Petoff et Murphy (dir.), Site Reliability Engineering, O’Reilly, 2016 : chapitre 4, Service Level Objectives et chapitre 6, Monitoring Distributed Systems.
- Beyer, Murphy, Rensin, Kawahara et Thorne (dir.), The Site Reliability Workbook, O’Reilly, 2018 : chapitre 2, Implementing SLOs et chapitre 5, Alerting on SLOs (tableau des paramètres recommandés pour un SLO de 99,9 % sur 30 jours).
- Les budgets du tableau « SLO sur 30 jours » sont calculés à partir d’une période de 43 200 minutes.