Aller au contenu
MTTL, Mean Time To Learn

TechniqueExpert

Partie VIII. Anti-patterns

Pour : ingénieurs et SRE · architectesPrérequis : Avoir lu les parties I à IV de la méthode.

Le catalogue des pièges courants est au chapitre 9 du guide. Cette partie ne garde que les pièges absents du guide.

  1. Alerter sur la latence brute uniquement. Rate toutes les défaillances silencieuses. Correction : alerter sur qualité, coût et dérive, pas seulement sur la latence et les erreurs.
  2. Évals déconnectées de la production. Un dataset de test artificiel donne un faux sentiment de sécurité. Correction : échantillonner depuis la production, de façon représentative et stratifiée.
  3. SLO de qualité sans intervalle de confiance. Fausse précision sur petit échantillon. Correction : comparer la borne inférieure de l’intervalle à la cible, dimensionner l’échantillon (partie IV).
  4. Un seul fournisseur sans repli. Indisponibilité subie au moindre rate-limit. Correction : repli multi-fournisseur testé, dégradation gracieuse.
  5. Auto-approbation des outils MCP. Surface d’exploitation majeure. Correction : validation humaine dans la boucle sur les outils sensibles, moindre privilège.
  6. Mélange des rétentions contenu et métadonnées. Non-conformité et surcoût. Correction : politiques de rétention distinctes, frontières d’accès séparées (partie VI).

Pièges traités dans le guide

Section intitulée « Pièges traités dans le guide »
  • Prompts en labels de métriques : voir le guide, 9.6 (attributs à forte cardinalité sur les métriques). Les labels restent à faible cardinalité (modèle, opération, type d’erreur).
  • Capturer tout le contenu par défaut : voir le guide, 9.3 (stocker prompts et réponses sans caviardage). Règle du site : pas de capture par défaut, activation explicite (opt-in), masquage au collecteur et, en production, contenu stocké hors de la télémétrie avec une référence sur le span, comme le recommandent les conventions sémantiques OpenTelemetry GenAI ; détail dans l’article Observer un système LLM, §2 et en partie I.
  • Juge non versionné : voir le guide, 9.10 (évaluer sans calibrer) ; la méta-observabilité du juge est en partie IV.
  • Tableaux de bord sans décision associée : voir le guide, 9.5 (des tableaux de bord sans alertes).

Révisé le 4 octobre 2026 : les pièges déjà décrits au chapitre 9 du guide (anciens 1, 4, 5 et 9) sont remplacés par des renvois, les autres sont renumérotés de 1 à 6 ; la règle de capture du contenu est alignée sur la spécification OpenTelemetry.