Aller au contenu

TechniquePratique7 min de lecture

Annexe : glossaire, références, prochaines étapes

Glossaire de l'observabilité de l'IA, documentation de référence et prochaine étape recommandée selon le niveau de maturité de départ.

Pour : ingénieurs et SRE · architectesPrérequis : Connaître les niveaux de maturité du chapitre 3.

Cette annexe sert de mémo. Le glossaire reprend les termes expliqués au fil du guide, les références renvoient aux sources primaires et la dernière section dit quoi faire ensuite selon votre niveau actuel.

Ancrage (grounding) : le fait qu’une réponse s’appuie sur une source vérifiable plutôt que sur ce que le modèle a retenu de son entraînement (ses connaissances paramétriques).

Attribut : paire clé-valeur attachée à un span, qui sert à filtrer et à agréger. Exemple : gen_ai.request.model = "provider-model".

Calibration : mesure de l’accord entre les scores d’un LLM juge et le jugement humain, sur un jeu préparé à cet effet. C’est un préalable avant de se fier à une métrique issue d’un LLM juge.

Cardinalité : nombre de combinaisons de valeurs distinctes que prennent les étiquettes d’une métrique. Une forte cardinalité sur les métriques fait gonfler le stockage ; elle a sa place sur les traces.

Caviardage (redaction) : masquage ou suppression des données sensibles avant stockage, par expressions régulières, reconnaissance d’entités nommées ou LLM.

Dérive (drift) : changement dans le temps qui peut dégrader les réponses d’un système d’IA. On distingue trois familles. La dérive des données, quand les entrées changent : dérive des entrées ou covariate shift, dérive des plongements, prior shift, virtual drift. La dérive de concept, quand la réalité que le système décrit change (concept drift). La dérive de pipeline, quand un composant change : modèle ou fournisseur modifié en silence, gabarit de prompt, découpage du RAG. La dérive des sorties n’est pas une quatrième famille : c’est le symptôme que révèlent les évaluations, dont la cause relève de l’une des trois. La taxonomie et sa table de correspondance sont dans le module 3 des labs, qui fait référence.

Échantillonnage en queue (tail sampling) : décision de garder ou non une trace, prise à la fin de la trace selon des règles. Il faut garder les traces complètes en mémoire le temps de décider, mais on peut choisir selon le résultat (erreur, lenteur).

Échantillonnage en tête (head sampling) : décision prise au début de la trace, par hachage ou par probabilité. Sans état et peu coûteux, il ne peut pas choisir selon le résultat.

Fidélité (faithfulness) : la réponse est-elle ancrée dans le contexte fourni ? Une réponse fidèle peut être fausse si le contexte est faux. La fidélité est donc distincte de l’exactitude factuelle.

Hallucination : réponse qui affirme des faits que ni les données d’entraînement, ni le contexte fourni, ni aucune source vérifiable ne soutiennent.

Jeton (token) : unité de découpage du texte par un modèle de langage, souvent un morceau de mot. Les fournisseurs facturent au jeton, en entrée et en sortie.

Jeu de non-régression (regression set) : jeu de questions qui ont échoué par le passé, utilisé pour valider les changements futurs. Il s’enrichit à mesure qu’on trie les nouvelles défaillances.

Jeu de référence (gold set) : jeu de questions dont la réponse idéale est connue, utilisé pour l’évaluation hors ligne.

LLM (large language model) : grand modèle de langage, qui produit du texte à partir d’un texte d’entrée, le prompt.

LLM juge (LLM-as-judge) : méthode d’évaluation dans laquelle un modèle note la réponse d’un autre modèle selon une grille. C’est une approche courante pour la qualité sémantique, à calibrer contre un jugement humain.

MCP (Model Context Protocol) : protocole qui normalise la façon dont un modèle de langage appelle des outils, quel que soit le fournisseur.

OpenInference : conventions sémantiques et bibliothèques d’instrumentation issues d’Arize, conçues pour le traçage de l’IA. Elles exportent en OTLP, mais avec leurs propres attributs (openinference.span.kind, llm.*) et non les attributs gen_ai.* d’OpenTelemetry : il faut convertir les attributs (processeur transform du Collector) ou choisir une seule convention.

OpenTelemetry GenAI : conventions sémantiques qui étendent OpenTelemetry aux opérations des modèles de langage. Elles sont encore au statut « en développement » et maintenues depuis juin 2026 dans un dépôt dédié.

Plongement (embedding) : traduction d’un texte en une liste de nombres, telle que deux textes de sens proche donnent des listes proches. C’est ce qui permet la recherche par le sens.

RAG (retrieval-augmented generation) : génération augmentée par recherche. Avant de répondre, le système cherche des passages utiles dans une base documentaire et les fournit au modèle avec la question.

Span : opération unique et chronométrée, par exemple un appel LLM, une recherche, une invocation d’outil. Les spans s’imbriquent pour former des arbres de traces.

Trace : chemin complet d’une requête, composé de spans reliés par leurs identifiants parents. C’est l’unité de base de l’observabilité de l’IA.

A.3 Prochaines étapes selon votre niveau de départ

Section intitulée « A.3 Prochaines étapes selon votre niveau de départ »

Les délais ci-dessous sont des ordres de grandeur, à ajuster à votre contexte. Repérez votre niveau grâce aux signes du chapitre 3, puis lisez seulement la section qui vous concerne.

Visez le niveau 1 en deux semaines. Ajoutez une journalisation structurée autour de chaque appel LLM. Capturez le prompt, la réponse, le modèle, le nombre de jetons, la latence, l’erreur et un identifiant de requête. Agrégez la consommation de jetons dans un tableau de bord de coûts élémentaire. Ne commencez ni par OpenTelemetry ni par l’évaluation : livrez d’abord les journaux.

Visez le niveau 2 en un à deux mois. Adoptez les conventions OpenTelemetry GenAI et faites migrer votre journalisation maison vers des attributs de span. Déployez un OpenTelemetry Collector et un backend de traces. Si vous voulez une interface propre à l’IA sans intégration supplémentaire, un outil comme Phoenix ou Langfuse auto-hébergé est un bon point de départ ; si vous exploitez déjà Tempo ou Jaeger, commencez par lui. Vérifiez que vous savez répondre aux questions de l’étape 1 du chapitre 4.

Visez le niveau 3 en deux à trois mois. Ajoutez l’évaluation en ligne sur le parcours le plus critique. Commencez par trois évaluateurs : conformité de format, toxicité et un évaluateur métier. Branchez les scores sur des alertes. Instaurez une revue hebdomadaire des traces en échec et à faible score.

Visez le niveau 4 en trois mois. Ajoutez la surveillance de la dérive des plongements. Faites remonter les retours utilisateurs dans le magasin de traces. Constituez et entretenez un jeu de référence pour l’évaluation du RAG. Lancez l’évaluation hors ligne en intégration continue pour conditionner les changements de modèle et de prompt.

Visez le niveau 5 en un trimestre. Formalisez le jeu de non-régression, l’ensemble d’exemples few-shot et le contrôle des mises à niveau. Automatisez la réindexation en cas de dérive. Faites de la plateforme d’observabilité la source de vérité pour l’itération sur les modèles et les prompts.

Retour à la présentation.

Révisé le 2 octobre 2026 : lien des conventions GenAI vers le dépôt semantic-conventions-genai, liens Phoenix et DeepEval mis à jour, rachats de Langfuse et de Traceloop, attributs propres d’OpenInference précisés, première version du guide citée.

Révisé le 4 octobre 2026 : définition de la dérive alignée sur les trois familles du site (données, concept, pipeline), avec renvoi au module 3 des labs.

Révisé le 25 octobre 2026 : glossaire complété par les termes de base expliqués dans le guide (LLM, RAG, MCP, plongement, jeton, cardinalité, caviardage), définitions reformulées, introduction des prochaines étapes.