TechniquePratique

Observabilité des LLM : les labs

Pour : ingénieurs et SRE · architectesPrérequis : Avoir déjà appelé une API de LLM, connaître un outil d'observabilité classique et savoir lire un script Python.

Mode de lecture

Où se situe ce contenu

1. DécouvrirL’IA en coupeles cinq couches, où chercher
2. ComprendreComprendre l’observabilité de l’IA générativeconcepts et définitions
3. PratiquerObservabilité des LLM : les labs (vous êtes ici)les mains dans le cambouis, sur une pile autohébergée
4. Mettre en productionLes playbooks, puis VictoriaMetrics pour les LLMpile de production, conventions OpenTelemetry, licences
5. MaîtriserMéthode d’observabilité GenAISLO de qualité, impact chiffré, conformité, RACI
6. Aller au-delàAu-delà du LLM : GPU et qualité des modèlesinfrastructure GPU, ML classique, dérive statistique

Périmètre : le LLM et le RAG, pratiqués en labs ; les agents et MCP sont traités dans l’article Observer un système LLM et dans la méthode d’observabilité GenAI. Prérequis : les notions du guide Comprendre l’observabilité de l’IA générative (signaux, maturité, évaluateurs).

Les outils classiques surveillent l’infrastructure (CPU, mémoire, latence, taux d’erreur HTTP), mais rien de ce qu’ils mesurent ne porte sur le sens de ce que dit votre modèle. Un assistant RH qui annonce une durée de congé obsolète, ou un assistant commercial qui invente le prix d’un produit retiré du catalogue, ne fait bouger aucun tableau de bord. L’infrastructure reste verte pendant que le modèle dérive.

La formation s’adresse aux équipes plateforme et data. Elle montre comment observer ce que produit le modèle, repérer les trois familles de dérive, tenir le coût et fixer en production un niveau de qualité qui se mesure.

Ce que vous saurez faire en sortant des labs

distinguer l’observabilité d’un LLM de celle d’une application classique ;
instrumenter une application LLM avec les conventions sémantiques OpenTelemetry GenAI ;
construire les tableaux de bord qualité, coût et performance d’inférence ;
détecter les dérives de données, de concept et de pipeline avec des indicateurs reproductibles ;
mettre en place une évaluation continue (LLM juge, métriques RAG, retours utilisateurs) ;
définir des SLO et des alertes adaptés aux charges génératives ;
déployer l’ensemble sur une pile autohébergée, dont chaque brique peut être remplacée.

Programme

Étape	Contenu	Durée indicative
Module 1	pourquoi un LLM ne s’observe pas comme une application classique	1 h 30
Module 2	les conventions OpenTelemetry GenAI	1 h 45
Lab 1	instrumenter une application LLM	1 h 45
Lab 2	un pipeline RAG observé de bout en bout	1 h 30
Module 3	les trois dérives	1 h 30
Module 4	l’évaluation continue en production	1 h 45
Lab 3	détecter une dérive automatiquement	1 h 30
Lab 4	coût, performance, SLO et alertes	1 h 35
Module 5	industrialiser : plan à 30, 60 et 90 jours, AI Act	30 min

Prérequis

avoir déjà appelé une API de LLM (Mistral, OpenAI, Claude) ou un modèle local via Ollama ;
connaître au moins un outil d’observabilité classique (Prometheus, Grafana, Elastic) ;
savoir lire et modifier un script Python ;
idéalement, connaître les bases d’OpenTelemetry.

La pile utilisée

Brique	Version du kit	Licence	Rôle
OpenTelemetry (SDK Python et Collector contrib)	SDK 1.28.2, Collector 0.108.0	Apache 2.0	instrumentation, conventions GenAI, routage
VictoriaMetrics	v1.110.0	Apache 2.0	stockage des métriques
Tempo	2.6.0	AGPL 3.0	stockage des traces
Grafana	11.2.0	AGPL 3.0	tableaux de bord, exploration, alertes
Arize Phoenix	5.9.1	Elastic License 2.0 (source disponible)	exploration des conversations, évaluation
Qdrant	v1.12.0	Apache 2.0	base vectorielle du RAG
Ollama	0.3.12	MIT	LLM local (Mistral 7B) et modèle d’embeddings

Toutes les briques sont open source sauf Phoenix, dont la licence Elastic License 2.0 rend le code disponible sans être une licence open source. L’ensemble tourne sur un poste de travail avec Docker (16 Go de mémoire conseillés). Chaque brique a des équivalents, open source ou commerciaux : le module 1 en donne un aperçu et le chapitre 6 du guide dresse le paysage complet des outils et de leurs licences.

État du kit de labs

Le kit (dossier labs/llm-observability/, sous licence Apache 2.0) n’est pas encore publié : il le sera sur la forge Labs & Trainings. D’ici là, les leçons de lab se lisent comme des énoncés.

Le 2 octobre 2026, le kit a été corrigé sur les points suivants, qui l’empêchaient de produire ce que les leçons annoncent :

dépendances Python non épinglées, alors que la version récente du client Qdrant n’a plus la méthode search() utilisée par les labs 2 à 4 : dépendances épinglées et passage à query_points() ;
noms de métriques sans les suffixes _seconds et _total ajoutés par l’exportateur : panneaux de latence et de coût vides, requêtes corrigées ;
sources Grafana sans uid : les cinq alertes et le lien de la trace vers la métrique visaient une source inexistante ;
calcul de coût du Collector qui ne s’appliquait jamais et filtre défini hors pipeline : retirés, le coût est calculé côté application ;
Phoenix au centre du schéma mais sans aucun export : pipeline de traces ajouté vers Phoenix ;
extensions maison rangées sous gen_ai.* et attribut déprécié gen_ai.system : passage à mttl.* et à gen_ai.provider.name ;
métriques promises absentes (hallucinations, client sur le score de dérive, découpage par fonctionnalité) : ajoutées ;
scénario de dérive de concept impossible (réindexation à chaque lancement) et alertes impossibles à déclencher avec le lab 4 : réindexation explicite et simulateur paramétrable ;
grille de prix illustrative dans le lab 4 : retirée. Les prix changent vite et varient selon les contrats : ce guide n’en donne pas ; utilisez la grille datée de votre fournisseur. Le budget et les SLO du lab sont en jetons et le coût en euros n’est calculé qu’avec une grille datée que vous fournissez.

Révisé le 2 octobre 2026 : durée totale corrigée (13 heures), versions et licences de la pile indiquées, état du kit et liste des corrections ajoutés, AI Act décrit en termes de surveillance et de journaux ; prix retirés.

Révisé le 4 octobre 2026 : titre « Observabilité des LLM : les labs », phrase de périmètre (LLM et RAG en labs ; agents et MCP renvoyés à l’article et à la méthode ; prérequis : le guide), encart de progression ajouté, page passée en MDX.

Révisé le 5 octobre 2026 : durée du lab 4 alignée sur ses étapes (1 h 35), d’où une durée totale d’environ 13 h 20.

PasserellesCe que cette page change au-delà de l'équipe technique.

BusinessValeur, coût, risque: Le lab 4 mesure les jetons de chaque requête et de chaque client et les convertit en euros avec votre propre grille de prix : de quoi discuter marge et tarification avec le produit et la finance.
OrganisationQui décide, qui possède: Le module 5 fixe qui regarde quoi (astreinte, produit, finance, comité qualité) et prépare la surveillance et la conservation des journaux que demande l'AI Act.
HumainÉquipes, astreinte, compétences: Un SLO de qualité change le métier de l'astreinte : on n'y redémarre pas une hallucination, on revient à la version précédente.
MétiersProduit, finance, risque, relation client: Les trois dérives (données, concept, pipeline) se détectent avec les métiers : ce sont eux qui savent qu'une règle ou un prix a changé.

Pourquoi des passerelles →