Aller au contenu

TechniquePratique6 min de lecture

8. Versionnage, rejeu et expérimentation

Versionner chaque élément qui influence la réponse, rejouer d'anciennes traces, mode fantôme, tests A/B, déploiements canari et blocage des régressions en intégration continue.

Pour : ingénieurs et SRE · architectesPrérequis : Avoir lu les chapitres 3 à 5 du guide.

Scénario illustratif. Un mardi, la fidélité des réponses de l’assistant de la mutuelle baisse nettement. La semaine précédente, trois choses ont changé : l’équipe a retouché le prompt, l’index documentaire a été reconstruit et le fournisseur a peut-être mis à jour son modèle. Laquelle est en cause ? Si personne n’a noté quelle version de chaque élément a servi à chaque réponse, la question n’a pas de réponse.

Une fois la plateforme au niveau 3, trois capacités deviennent accessibles : le versionnage, le rejeu (replay) et l’expérimentation. Chacune démultiplie la valeur des données d’observabilité déjà collectées.

Tout élément qui influence la réponse doit être versionné et sa version enregistrée comme attribut de span. C’est le principe de la recette de cuisine datée : si le gâteau rate, on veut savoir quelle version de la recette, quelle farine et quel four ont servi. Sans cela, impossible de répondre à la question du scénario : le changement de version du prompt a-t-il causé la régression ?

  • Les gabarits de prompts (système et utilisateur), par empreinte du contenu et par version sémantique (un numéro lisible comme v17).
  • L’identité du modèle, y compris la version réellement servie renvoyée par le fournisseur, pas seulement le nom demandé.
  • L’index de recherche, par instantané ou par identifiant de construction.
  • Le modèle de reclassement et ses poids.
  • Les schémas d’outils exposés à l’agent.
  • Les prompts des évaluateurs, quand un LLM juge est utilisé.
  • La configuration complète de la fonctionnalité, sous forme d’une empreinte de configuration unique.
acme.prompt.version = "rag-answer-v17"
acme.prompt.hash = "sha256:..."
acme.retriever.index = "kb-prod-2026-05-12"
acme.retriever.version = "hybrid-v3"
acme.reranker.model = "bge-rerank-v2"
acme.config.hash = "sha256:..."
gen_ai.response.model = "provider-model-2026-03-15"

Quand une régression apparaît, la première requête consiste à regrouper les traces par acme.prompt.version et à calculer la fidélité moyenne de chaque groupe. Si les versions sont enregistrées, la réponse est à une requête de distance. Sinon, elle est hors d’atteinte.

Rejouer, c’est faire passer une ancienne requête dans une autre version du système pour comparer les réponses, comme on repasse un vieux match au ralenti avec de nouvelles règles d’arbitrage. C’est le fondement des déploiements sûrs.

Le rejeu permet de tester une nouvelle version de prompt sur le trafic de la semaine précédente avant de la déployer. Il permet aussi de comparer un nouveau modèle au modèle de production sur des entrées identiques. On peut réévaluer des traces anciennes avec un évaluateur mis à jour, pour voir la tendance selon la nouvelle grille. Enfin, on peut reproduire une réclamation client pour vérifier qu’un correctif fonctionne.

Il faut d’abord avoir capturé le prompt complet et les arguments d’outils au moment de la trace d’origine, ce qui suppose la capture du contenu activée (voir le chapitre 4). Il faut ensuite un moyen de court-circuiter les appels externes dont le résultat varie, en figeant les réponses MCP et les résultats de recherche. Il faut enfin un chemin d’exécution séparé, qui ne mélange pas ses traces avec celles de la production.

Le premier piège est d’oublier que les résultats de recherche ont changé depuis la trace d’origine. Rejouez sur un index figé, ou acceptez que les écarts de recherche fassent partie de la comparaison.

Le deuxième est de rejouer avec la température d’origine. La température règle la part de hasard dans la réponse. Avec la température d’origine, ce bruit d’échantillonnage couvre les petits écarts de score. Utilisez une température nulle ou l’auto-cohérence. Une température nulle réduit la variabilité sans la supprimer : elle n’est pas déterministe chez tous les fournisseurs et certains modèles de raisonnement n’acceptent pas ce paramètre. Dans ce cas, l’auto-cohérence ou plusieurs exécutions par trace sont la seule option.

Le troisième est de laisser les traces de rejeu entrer dans les tableaux de bord de production. Marquez-les explicitement comme rejeu et excluez-les des alertes opérationnelles.

Le rejeu travaille sur le passé. Pour tester un changement sur le trafic réel, trois modes de déploiement existent, du plus prudent au plus exposé.

En mode fantôme, le nouveau système tourne en parallèle de la production, comme un pilote en formation qui suit le vol sur un simulateur branché sur l’avion réel. Sa réponse n’est pas renvoyée à l’utilisateur. Les deux réponses sont enregistrées avec un identifiant de trace commun, les évaluateurs notent les deux et un tableau de bord de comparaison montre les écarts. C’est le mode adapté aux déploiements à forte confiance, où le nouveau système doit égaler ou dépasser la production.

Dans un test A/B, une fraction du trafic est envoyée vers le nouveau système et l’utilisateur voit la réponse expérimentale. L’attribut de trace acme.experiment.variant indique la branche à laquelle la requête a été affectée. Les métriques et les scores des évaluateurs sont agrégés par variante.

Avant de retenir une variante, il faut que l’écart soit statistiquement significatif, c’est-à-dire peu susceptible d’être dû au hasard. Un écart de 1 % de fidélité sur 1 000 traces ne l’est pas.

Le canari tire son nom des oiseaux qu’on descendait dans les mines pour détecter le gaz : une petite exposition prévient d’un danger avant qu’il ne touche tout le monde. C’est un test A/B qui commence sur une petite fraction du trafic (1 à 5 %), puis s’élargit progressivement. Le retour arrière est automatique si les évaluateurs en ligne détectent une régression de qualité. Il convient particulièrement aux fonctionnalités à fort trafic, où le signal statistique arrive vite.

8.4 Blocage des régressions en intégration continue

Section intitulée « 8.4 Blocage des régressions en intégration continue »

Dernière étape de maturité : bloquer un déploiement sur la base des résultats d’évaluation hors ligne, comme un contrôle technique qu’il faut passer avant de reprendre la route. L’intégration continue est la chaîne automatique qui construit et teste chaque changement.

  1. Entretenir un jeu de non-régression qui couvre les modes de défaillance observés en production.
  2. Exécuter le prompt ou le modèle candidat sur ce jeu à chaque construction en intégration continue.
  3. Noter chaque sortie avec les évaluateurs pertinents.
  4. Faire échouer la construction si un score d’évaluateur passe sous le meilleur score précédent.
  5. Traiter le jeu de non-régression comme un artefact vivant : chaque défaillance de production triée devient une nouvelle entrée.

Si vous ne deviez faire qu’une chose après ce chapitre, ajoutez la version du prompt et la version du modèle réellement servi sur chaque span. Le reste peut venir ensuite.

Suite : 9. Anti-modèles et pièges courants.

Révisé le 25 octobre 2026 : ouverture sur un scénario illustratif, notions expliquées par des images (recette datée, simulateur de vol, canari, contrôle technique), température et significativité expliquées, listes rédigées en prose.