Aller au contenu

TechniquePratique7 min de lecture

Module 1 : pourquoi un LLM ne s'observe pas comme une application classique

Un LLM répond différemment à la même question, se trompe sans déclencher d'erreur et coûte à chaque requête. Ce module pose les trois questions à lui poser (qualité, coût, performance), les points où l'instrumenter et le choix d'une stack.

Pour : ingénieurs et SRE · architectesPrérequis : Avoir déjà appelé une API de LLM et connaître un outil d'observabilité classique.

Prenons un assistant de support client branché sur un LLM (scénario illustratif). Son tableau de bord APM, l’outil qui suit la santé d’une application (temps de réponse, erreurs, débit), affiche une latence parfaite et zéro erreur depuis une semaine. Pendant ce temps, une partie des clients reçoit des réponses fausses. Personne ne le voit, parce que rien de ce que mesure l’APM ne porte sur le contenu des réponses.

Ce module explique pourquoi et pose le cadre des labs qui suivent.

Une application classique ressemble à une calculatrice : elle est déterministe, la même entrée donne toujours la même sortie. Un LLM ressemble plutôt à un collègue à qui l’on pose deux fois la même question : il est statistique et sa formulation change d’une fois sur l’autre, parfois son contenu aussi.

Les erreurs ne se voient pas de la même façon. Une application classique qui échoue renvoie une erreur visible : un code HTTP 4xx ou 5xx, une exception dans les journaux. Un LLM se trompe poliment, avec un code 200 OK : la requête a réussi, seule la réponse est fausse. Sur une application classique, les métriques d’infrastructure suffisent souvent. Sur une application LLM, elles peuvent rester vertes pendant que la qualité se dégrade.

La garantie de qualité change aussi. On sécurise une application classique avec des tests unitaires, écrits une fois pour toutes. Un LLM demande une évaluation continue en production, parce que ses réponses varient et que le monde autour de lui bouge.

Le coût, enfin, ne suit pas la même logique. Une application classique coûte surtout son infrastructure (processeur, mémoire, disque). Un LLM coûte à la requête, selon la taille du contexte, c’est-à-dire la quantité de texte qu’on lui envoie et qu’il produit. Cette quantité se compte en jetons (tokens), des morceaux de mots qui servent d’unité de facturation chez la plupart des fournisseurs.

Pour savoir si un système LLM va bien, je recommande de lui poser trois questions et de lire les réponses ensemble : la qualité, le coût et la performance. Ce ne sont pas des signaux au sens technique. Pour y répondre, on mobilise les cinq signaux définis au chapitre 1 du guide : journaux, métriques, traces, évaluations et retours utilisateurs.

AxeQuestionMétriques typiquesSignaux mobilisés
Qualitéla réponse est-elle pertinente, fidèle au contexte, correcte ?faithfulness, context recall, taux d’hallucination, retours utilisateursévaluations, retours utilisateurs ; traces pour le diagnostic
Coûtcombien par requête, par client, par fonctionnalité, par modèle ?jetons en entrée et en sortie, euros par requête, coût mensuel, taux de cachemétriques (jetons), traces (usage de chaque requête)
Performancel’utilisateur reçoit-il sa réponse à temps et sans erreur ?temps au premier jeton (TTFT), latence p95 et p99, taux d’erreur, débitmétriques, traces (latence par étape), journaux (erreurs)

Quelques termes du tableau, que les modules suivants reprennent. La faithfulness (fidélité) mesure si la réponse s’appuie sur les documents fournis au modèle. Le context recall mesure si ces documents contenaient l’information nécessaire. Une hallucination est une affirmation inventée, présentée avec aplomb. Le temps au premier jeton (TTFT, time to first token) est le délai avant que le premier mot n’apparaisse à l’écran : c’est lui que l’utilisateur ressent. La latence p95 est le temps sous lequel passent 95 % des requêtes.

Regarder un axe seul induit en erreur. Une baisse de coût peut venir d’un contexte tronqué, qui dégrade la qualité. Une hausse de latence peut venir d’un meilleur modèle, qui l’améliore.

Un appel à un LLM ressemble à une chaîne de montage en cinq postes : le client qui pose la question, la préparation (le prompt, autrement dit le texte envoyé au modèle, puis la recherche de documents pour le RAG), le modèle lui-même, le post-traitement (lecture de la réponse, garde-fous) et la réponse finale, évaluée et journalisée. Chaque poste produit ses propres mesures : des spans (un span est une étape chronométrée d’une trace, comme une ligne sur le bordereau de suivi d’un colis), des métriques et des journaux, chacun avec ses attributs.

Client Pré-traitement Modèle Post-traitement Réponse
app, API, --> prompt, --> inférence --> parsing, --> évaluation,
agent récupération RAG LLM garde-fous journal
tenant_id rag_stage model guardrail_action quality_score
feature top_k tokens parser_status hallucination
user_id docs_retrieved latency

Observer un appel, c’est couvrir ces cinq postes. Si l’on n’instrumente que l’appel au modèle, les quatre autres restent dans l’ombre, alors que c’est la préparation (notamment la recherche de documents) qui décide de ce que le modèle a sous les yeux.

Pour les labs, il suffit de situer leur stack parmi trois familles d’outils, auxquelles s’ajoute une couche d’instrumentation commune. Les deux premières familles sont des produits qu’on achète ou qu’on installe d’un bloc ; la troisième est un assemblage de briques ; la couche d’instrumentation, elle, ne stocke rien : ce sont les bibliothèques qui produisent les données dans votre code.

FamilleExemples
Plateformes d’observabilité généralistes en SaaSDatadog LLM Observability, New Relic AI Monitoring, Grafana Cloud
Plateformes spécialisées LLM, en SaaS ou autohébergéesLangfuse, Arize Phoenix ou Arize AX, LangSmith, Helicone
Stack autohébergée assembléeOpenTelemetry Collector, VictoriaMetrics, Prometheus ou Mimir, Tempo ou Jaeger, Grafana, Loki
Couche d’instrumentation (bibliothèques, pas des produits de stockage)SDK et instrumentations OpenTelemetry avec les conventions GenAI, OpenLLMetry (Traceloop), OpenInference (Arize)

Le paysage complet des outils, les critères de choix (souveraineté des données, coût, intégration) et les licences sont traités au chapitre 6 du guide. Les versions et licences des briques du kit figurent dans la présentation. Retenez que Phoenix est sous Elastic License 2.0 : son code est disponible, sans que ce soit une licence open source.

Ces labs retiennent une stack autohébergée, complétée par Phoenix, pour une raison pédagogique : on voit chaque maillon. Le choix reste réversible. OpenTelemetry, le standard ouvert de collecte des traces, métriques et journaux, rend l’instrumentation portable : les mêmes spans et métriques peuvent partir vers n’importe laquelle des familles ci-dessus.

flowchart TB
  APP["Application LLM<br/>Python, SDK OTel,<br/>conventions GenAI"] -->|"OTLP"| COL["OTel Collector<br/>réception, enrichissement,<br/>routage"]
  COL -->|"métriques"| VM["VictoriaMetrics"]
  COL -->|"traces"| TP["Tempo"]
  COL -->|"traces"| PX["Phoenix<br/>exploration, évaluation"]
  VM --> GR["Grafana<br/>tableaux de bord, alertes"]
  TP --> GR

L’application n’est instrumentée qu’une fois. Elle envoie tout au Collector par OTLP, le protocole d’OpenTelemetry. Le Collector joue ensuite le rôle d’un centre de tri postal : les métriques partent vers VictoriaMetrics, les mêmes traces vers Tempo et vers Phoenix. Grafana sert de point de lecture pour les métriques, les traces et les alertes. Phoenix a sa propre interface pour explorer et évaluer les conversations.

Un LLM échoue en silence, avec des erreurs de sens plutôt que des erreurs techniques. Avant le module 2, faites l’exercice sur votre propre application : quel tableau de bord vous dirait aujourd’hui qu’une réponse est fausse ? Si la réponse est « aucun », c’est le point de départ. Instrumentez les cinq postes de la chaîne, pas seulement l’appel au modèle. Lisez ensuite qualité, coût et performance ensemble. Avec OpenTelemetry au centre, le choix des outils de stockage reste réversible.

Révisé le 2 octobre 2026 : les familles d’outils sont comparées sur les mêmes critères (mise en route, coût, localisation des données, exploitation), les bibliothèques d’instrumentation sont séparées des produits de stockage, les licences sont précisées (Phoenix sous Elastic License 2.0, source disponible) et Phoenix reçoit désormais les traces du Collector.

Révisé le 4 octobre 2026 : les trois axes sont présentés comme des questions et rattachés aux cinq signaux du guide ; la section « Choisir une stack » est réduite à ce dont les labs ont besoin et renvoie au chapitre 6 du guide pour le paysage des outils et les licences.