Aller au contenu

TechniquePratique3 min de lecture

Combien de temps d'arrêt pouvez-vous vous permettre ?

Réglez un objectif de fiabilité (SLO), simulez un incident, regardez le budget d'erreur se consommer et les alertes se déclencher, ou pas, selon la vitesse de consommation.

Pour : ingénieurs et SRE · managers d’équipePrérequis : Notions de base sur les SLO. Le simulateur rappelle l'essentiel.

Mode de lecture

Scénario illustratif : un jeudi, le responsable produit veut mettre en ligne une nouvelle fonction. L’équipe d’exploitation hésite : le service a déjà connu deux incidents ce mois-ci. Faut-il livrer ou attendre ? Sans règle commune, la discussion tourne à l’affrontement. Avec un budget d’erreur, elle se règle en regardant un chiffre.

Le point de départ est une promesse chiffrée, le SLO (service level objective, objectif de niveau de service). Par exemple : 99,9 % des requêtes réussissent sur 30 jours. Cette promesse autorise donc 0,1 % d’échecs sur la période. C’est le budget d’erreur. Pensez à un forfait de téléphone : tant qu’il reste des données, on s’en sert librement pour livrer et expérimenter. Quand le forfait est épuisé, on arrête les nouveautés et on fiabilise.

Reste à savoir à quelle vitesse on consomme ce forfait. C’est le burn rate. À 1, le budget s’épuise exactement à la fin de la période. À 14,4, il s’épuise en deux jours environ sur une période de 30 jours. Le simulateur aide à trancher deux questions. Notre objectif est-il réaliste ? Nos alertes réveillent-elles l’astreinte au bon moment ?

Paramètres

Résultat

Budget d'erreur
requêtes en erreur autorisées, soit l'équivalent de
Budget restant en fin de fenêtre
Budget d'erreur restant au fil de la fenêtre

Alertes burn rate

AlerteRègleDéclenchée

Règles pour un SLO sur 30 jours. Trois viennent du tableau recommandé du SRE Workbook de Google, chapitre « Alerting on SLOs » (14,4 sur 1 h, 6 sur 6 h, 1 sur 3 jours) ; la règle 3 sur 24 h vient des fenêtres par défaut d'outils comme Sloth (10 % du budget en un jour) et n'apparaît dans le Workbook que dans un exemple de configuration. Simplification : seule la fenêtre longue de chaque règle est évaluée, au pas horaire ; en production, une fenêtre courte confirme l'alerte et évite qu'elle reste active après la fin de l'incident.

  1. Simulez un incident franc : 20 % d’erreurs pendant 1 heure. L’alerte rapide se déclenche dans l’heure. C’est le cas où il faut réveiller quelqu’un.
  2. Simulez une dégradation lente : 0,3 % d’erreurs pendant 5 jours. Aucune alerte rapide ne sonne, mais le budget fond quand même. Seules les alertes lentes la voient. C’est voulu : personne n’a besoin d’être réveillé, mais quelqu’un doit s’en occuper dans la journée.
  3. Testez un bruit de fond trop élevé : mettez la durée d’incident à 0 et le taux d’erreur de fond à 0,08 %. Sans aucun incident, vous consommez déjà 80 % du budget. Soit l’objectif est mal choisi, soit le service doit être fiabilisé.
  4. Essayez un objectif plus exigeant : passez à 99,99 %. Le budget est divisé par dix et le bruit de fond suffit à l’épuiser. Avant de promettre un « 9 » de plus, vérifiez ce que le service fait aujourd’hui.

Une seule règle du type « taux d’erreur supérieur à X » est soit trop sensible, soit trop lente. Trop sensible, elle réveille quelqu’un pour un pic de cinq minutes. Trop lente, elle rate une dégradation qui dure des jours.

Les règles multi-fenêtres règlent ce problème comme le ferait un détecteur de fumée doublé d’un relevé de compteur. Chaque règle associe une vitesse de consommation (le facteur de burn rate) à une durée d’observation. Plus le budget brûle vite, plus la fenêtre est courte et plus l’alerte est urgente. Une consommation lente, elle, se mesure sur une longue fenêtre et ouvre un ticket plutôt que de réveiller.

À mon avis, le plus utile n’est pas le réglage fin des seuils, mais la politique écrite qui va avec : qui décide de geler les mises en production et à partir de quel niveau de budget restant.

Pour aller plus loin : le simulateur de fatigue d’alerte, qui chiffre le coût des réveils inutiles, puis la page SLO et alerting.