Aller au contenu

TechniquePratique5 min de lecture

9. Anti-modèles et pièges courants

Douze pièges courants, décrits comme des scénarios types, qui produisent des données inutilisées, des tableaux de bord ignorés ou des plateformes auxquelles personne ne se fie, avec leurs remèdes.

Pour : ingénieurs et SRE · architectes · managers d’équipePrérequis : Avoir lu les chapitres 1 à 4 du guide.

Un anti-modèle est une solution qui paraît raisonnable sur le moment et qui se retourne contre vous plus tard. Les douze qui suivent sont décrits comme des scénarios types : aucun n’est le récit d’un cas réel, mais chacun produit le même résultat, des données que personne n’utilise, des tableaux de bord que personne ne lit ou une plateforme à laquelle personne ne se fie. Les éviter coûte moins cher que les corriger.

Pour chaque piège, le premier paragraphe décrit ce qu’on observe, le second le remède.

L’arbre de traces est exhaustif, avec des centaines d’attributs par span. Pourtant, personne ne sait répondre à « quel est le score de fidélité par locataire ? », parce que les attributs utiles n’ont jamais été indexés.

Le remède est l’étape 1 du chapitre 4 : écrivez d’abord les questions, instrumentez ensuite.

L’équipe accumule un gros volume de journaux structurés dans Loki ou Splunk, sans aucun span ni aucune évaluation. Le coût est élevé et tirer de la valeur de ces journaux reste un travail manuel.

Passez au niveau 2, le traçage structuré. Les journaux sont un canal de secours, pas le signal principal.

Une trace de production contient une clé d’API qu’un utilisateur a collée dans la conversation. Cette trace est désormais conservée dans un backend qu’on peut interroger et auquel beaucoup de monde a accès.

Caviardez dans le collecteur, avant tout exportateur. Ne comptez jamais sur l’application pour nettoyer les données.

Le coût en jetons de l’évaluation dépasse celui des appels LLM de production. Pire, les données d’évaluation sont si bruitées que personne n’agit dessus.

Hiérarchisez les évaluateurs. Par exemple, des évaluateurs à base de règles, peu coûteux, sur 100 % des traces ; des juges LLM moyens sur 10 % ; des juges coûteux sur 1 % plus les traces signalées. N’utilisez l’auto-cohérence que là où elle compte (voir le chapitre 5).

L’équipe a construit de beaux tableaux Grafana que personne ne regarde. Les régressions sont découvertes par les utilisateurs.

Chaque panneau qui représente un vrai SLO, un objectif chiffré de service, doit avoir son alerte. Les tableaux de bord servent au diagnostic, les alertes à l’exploitation.

9.6 Des attributs à forte cardinalité sur les métriques

Section intitulée « 9.6 Des attributs à forte cardinalité sur les métriques »

Le backend de métriques manque de mémoire, les requêtes ralentissent et les coûts explosent d’un coup à l’arrivée d’un nouveau locataire.

Le remède est une hygiène des attributs. Les clés qui prennent beaucoup de valeurs différentes vont sur les traces. Les dimensions des métriques restent bornées (voir la section 7.3).

9.7 Aucun versionnage des prompts et des configurations

Section intitulée « 9.7 Aucun versionnage des prompts et des configurations »

Une régression de qualité est détectée, mais personne ne sait quel changement l’a causée : plusieurs choses ont été livrées cette semaine-là.

Versionnez chaque artefact, enregistrez la version sur chaque span et reliez les déploiements aux changements de version (voir le chapitre 8).

9.8 Traiter la dérive comme un défaut à corriger

Section intitulée « 9.8 Traiter la dérive comme un défaut à corriger »

Une alarme de dérive se déclenche. L’équipe reconstruit l’index ou change de modèle. La dérive revient la semaine suivante.

La dérive est un signal, pas un défaut : elle indique que le monde a changé. La bonne réponse est d’investiguer et la bonne action est souvent de ne rien faire, car seule une partie des dérives s’accompagne d’une perte de qualité.

L’équipe souscrit à un produit commercial d’observabilité LLM et l’intègre. Elle découvre ensuite qu’il ne peut pas être déployé dans la juridiction requise ou qu’il ne tient pas la cardinalité.

Le choix entre auto-hébergement et service géré est une décision stratégique, à prendre au regard des contraintes de souveraineté, de coût et d’intégration (voir le chapitre 6). Prenez-la avant d’évaluer des produits.

Dans ce scénario illustratif, les scores de fidélité semblent stables autour de 0,85. Mais des vérifications ponctuelles montrent que le juge contredit souvent le jugement humain. Plus personne ne se fie à la métrique.

Constituez un jeu de calibration dont la bonne réponse a été établie par des humains. Mesurez l’accord avec un indicateur corrigé du hasard, comme le kappa de Cohen. Retravaillez le prompt du juge jusqu’à atteindre le seuil fixé à l’avance et recalibrez à chaque changement de modèle juge.

Les évaluations tournent, les scores sont stockés et rien ne change. La plateforme produit des données, mais aucune amélioration.

Instaurez la revue hebdomadaire et tenez-la. Les traces en échec deviennent des entrées du jeu de non-régression. Sans ce rituel, l’observabilité se réduit à un stockage coûteux en lecture seule.

Une équipe MLOps porte la stack d’observabilité de l’IA. Elle tente d’instrumenter la couche d’inférence LLM comme elle instrumente l’entraînement des modèles. Les notions ne correspondent pas.

L’observabilité de l’IA relève de l’observabilité de production. Elle est portée par l’équipe plateforme, avec les équipes ML et sécurité. Le MLOps gère le cycle de vie des modèles, pas celui des requêtes.

Si vous reconnaissez votre équipe dans plusieurs de ces pièges, commencez par le 9.1 et le 9.11 : ce sont eux qui décident si la plateforme sert à quelque chose.

Suite : Annexe.

Révisé le 25 octobre 2026 : introduction de la notion d’anti-modèle, symptômes et remèdes rédigés en prose sans libellés en gras, renvois vers les chapitres concernés.