Aller au contenu

TechniqueExpert3 min de lecture

Partie VIII. Anti-patterns

Les pièges coûteux propres à la méthode et la façon de les corriger ; les pièges communs sont au chapitre 9 du guide.

Pour : ingénieurs et SRE · architectesPrérequis : Avoir lu les parties I à IV de la méthode.

Un anti-pattern est une solution qui a l’air raisonnable et qui se retourne contre vous, comme un raccourci qui rallonge le trajet. Le catalogue des pièges courants de l’observabilité IA est au chapitre 9 du guide. Cette partie ne garde que les six pièges absents du guide, ceux qui découlent directement de la méthode. Les numéros servent de référence ailleurs sur le site.

C’est l’équipe dont les tableaux de bord sont verts pendant que l’assistant se trompe, comme dans le scénario de la partie I. Une alerte sur la latence et les erreurs rate par construction toutes les défaillances silencieuses. La correction consiste à alerter aussi sur la qualité, le coût et la dérive.

2. Des évaluations déconnectées de la production

Section intitulée « 2. Des évaluations déconnectées de la production »

Un jeu de test fabriqué à la main ressemble à un examen dont on connaît les questions : on le réussit, puis la réalité pose d’autres questions. Il donne un faux sentiment de sécurité. Je recommande d’échantillonner depuis la production, de façon représentative et stratifiée.

3. Un SLO de qualité sans intervalle de confiance

Section intitulée « 3. Un SLO de qualité sans intervalle de confiance »

Annoncer 96 % de bonnes réponses sur trente réponses notées, c’est afficher une précision qu’on n’a pas. La correction est celle de la partie IV : comparer la borne inférieure de l’intervalle à la cible et dimensionner l’échantillon.

Au moindre rate-limit, c’est-à-dire au moindre plafonnement du nombre d’appels par le fournisseur, l’indisponibilité est subie sans recours. La correction associe un repli vers un autre fournisseur testé à l’avance et une dégradation gracieuse : le service rend moins mais continue de répondre.

Laisser un agent appeler ses outils sans validation ouvre une large surface d’attaque, comme le montrent les chiffres de MCPTox cités en partie III. Je recommande une validation humaine dans la boucle sur les outils sensibles et le moindre privilège : chaque outil n’a accès qu’à ce dont il a besoin.

6. Mélanger les rétentions du contenu et des métadonnées

Section intitulée « 6. Mélanger les rétentions du contenu et des métadonnées »

Garder les prompts aussi longtemps que les métadonnées des traces coûte cher et pose un problème de conformité. La correction tient en deux règles : des politiques de rétention distinctes et des frontières d’accès séparées (partie VI).

Quatre pièges que la méthode cite souvent sont décrits en détail dans le guide.

Mettre les prompts dans les labels des métriques relève du guide, 9.6 (attributs à forte cardinalité sur les métriques). Les labels restent à faible cardinalité : modèle, opération, type d’erreur.

Capturer tout le contenu par défaut relève du guide, 9.3 (stocker prompts et réponses sans caviardage). La règle du site est la suivante : pas de capture par défaut, activation explicite (opt-in), masquage au collecteur. En production, le contenu est stocké hors des traces avec une référence sur le span, comme le recommandent les conventions sémantiques OpenTelemetry GenAI. Le détail est dans l’article Observer un système LLM, §2 et en partie I.

Un juge non versionné relève du guide, 9.10 (évaluer sans calibrer) ; la surveillance du juge, ou méta-observabilité, est décrite en partie IV.

Des tableaux de bord sans décision associée relèvent du guide, 9.5 (des tableaux de bord sans alertes).

Relisez vos alertes actuelles. Si aucune ne porte sur la qualité, le coût ou la dérive, vous êtes dans le piège 1 et c’est le premier à corriger. Vérifiez ensuite si vos agents approuvent seuls leurs appels d’outils sensibles.


Révisé le 4 octobre 2026 : les pièges déjà décrits au chapitre 9 du guide (anciens 1, 4, 5 et 9) sont remplacés par des renvois, les autres sont renumérotés de 1 à 6 ; la règle de capture du contenu est alignée sur la spécification OpenTelemetry.

Révisé le 25 octobre 2026 : page réécrite pour un public plus large (chaque piège illustré et rédigé en prose), sans changement de fond ni de numérotation.