Quiz : observabilité des LLM

Mode de lecture

IngénieurDécideur

Dix questions pour vérifier ce que vous retenez de la formation. Chaque réponse est corrigée immédiatement, avec une explication et un lien vers la leçon concernée. Rien n’est envoyé : votre meilleur score reste dans ce navigateur.

1. Question 1 sur 10Pourquoi un tableau de bord d'APM classique peut-il afficher une latence parfaite et zéro erreur alors que l'assistant répond faux à une partie des utilisateurs ?Une seule réponse

   • Parce que les sondes d'APM ne savent pas mesurer la latence d'un appel en streaming.
   • Parce que les erreurs d'un LLM sont sémantiques : le modèle se trompe poliment, avec un 200 OK.
   • Parce que les fournisseurs de LLM masquent volontairement leurs codes d'erreur 5xx.

   Valider

2. Question 2 sur 10Quels sont les trois axes d'observation d'un LLM qu'il faut mesurer ensemble ?Plusieurs réponses possibles

   • La qualité (pertinence, fidélité, hallucinations)
   • Le taux d'occupation des GPU
   • Le coût (jetons, euros par requête, taux de cache)
   • La performance (TTFT, latence p95 et p99, taux d'erreur)

   Valider

3. Question 3 sur 10Les conventions OpenTelemetry GenAI ont toutes le statut Development. Quelles pratiques le module 2 recommande-t-il ?Plusieurs réponses possibles

   • Traduire les attributs dans le Collector plutôt que dans les tableaux de bord et les alertes.
   • Placer le prompt et la réponse complets dans un attribut de span pour faciliter le diagnostic.
   • Ranger les extensions maison dans votre propre espace de noms, par exemple app.*.
   • Attendre la version stable avant d'instrumenter quoi que ce soit.

   Valider

4. Question 4 sur 10Sur un pipeline RAG, la fidélité (faithfulness) est basse alors que le context recall est haut. Où se situe probablement le problème ?Une seule réponse

   • Dans la génération : le contexte contenait l'information, mais la réponse ne s'y tient pas.
   • Dans la récupération : les bons documents n'ont pas été trouvés.
   • Dans l'étape d'embedding, parce qu'elle prend environ 150 ms.

   Valider

5. Question 5 sur 10Lors d'un nettoyage de code, top_k passe de 5 à 1 et le contexte devient insuffisant. De quelle dérive s'agit-il et où trouver sa cause ?Une seule réponse

   • Une dérive de données, visible dans la distribution des questions posées.
   • Une dérive de concept, visible en comparant la fidélité à une vérité terrain.
   • Une dérive de pipeline, visible dans les attributs du span de récupération.

   Valider

6. Question 6 sur 10Passerelle : métiersUne convention collective a évolué et l'assistant RH cite toujours l'ancienne version, alors que toute l'infrastructure est verte. Qui est le mieux placé pour repérer cette dérive de concept ?Une seule réponse

   • L'astreinte, grâce aux alertes de latence et de taux d'erreur.
   • Les métiers, qui savent qu'une règle ou un prix a changé, avec l'appui des retours utilisateurs et d'un juge sur échantillon.
   • Le fournisseur du modèle, qui met à jour ses connaissances à chaque version.

   Valider

7. Question 7 sur 10Le LLM juge a des biais connus (verbosité, auto-préférence, position, aplomb). Quelles parades le module 4 propose-t-il ?Plusieurs réponses possibles

   • Utiliser comme juge le modèle évalué lui-même, pour économiser des jetons.
   • Un prompt d'évaluation structuré et un format de sortie rigide.
   • Un juge différent du modèle évalué.
   • Un échantillonnage croisé avec des annotations humaines.

   Valider

8. Question 8 sur 10Passerelle : businessPour discuter marge et tarification avec le produit et la finance, comment le lab 4 établit-il le coût de chaque requête ?Une seule réponse

   • Il attend la facture mensuelle du fournisseur et la répartit au prorata du nombre de requêtes.
   • Il compte les jetons consommés côté client et ne les convertit en euros qu'avec une grille de prix datée fournie par l'utilisateur.
   • Il considère qu'un modèle autohébergé ne coûte rien et l'exclut de l'analyse.

   Valider

9. Question 9 sur 10Passerelle : organisationD'après le module 5, qui regarde quoi et à quelle fréquence ?Plusieurs réponses possibles

   • L'astreinte suit en continu les alertes de latence, d'erreurs et de budget de jetons.
   • La finance suit chaque mois le coût par client et par fonctionnalité.
   • Le comité qualité IA consulte chaque jour la charge GPU.
   • L'équipe produit suit chaque semaine le score qualité, les retours utilisateurs et la dérive.

   Valider

10. Question 10 sur 10Passerelle : humainDans l'exemple de SLO du lab 4 pour un assistant de support, quelle ligne change le métier de l'astreinte et distingue un SLO de LLM d'un SLO classique ?Une seule réponse

    • Le taux d'erreur, 2 % au plus sur 15 min.
    • La latence p95, 3 s au plus.
    • Le score qualité, au moins 0,6 de fidélité moyenne sur 1 h.

    Valider

Recommencer

Pour aller plus loin

• Présentation de la formation
• Observer un système LLM
• Glossaire
• Passerelles

PasserellesCe que cette page change au-delà de l'équipe technique.

BusinessValeur, coût, risque

Chaque requête consomme des jetons, mesurés par client et par fonctionnalité et convertis en euros avec votre propre grille de prix datée : la marge par client et par fonctionnalité devient discutable avec le produit et la finance.

OrganisationQui décide, qui possède

L'astreinte, le produit, la finance et le comité qualité IA regardent chacun leurs indicateurs à leur rythme et la journalisation et la surveillance que demande l'AI Act se préparent dès l'instrumentation.

HumainÉquipes, astreinte, compétences

Un SLO de qualité change le métier de l'astreinte : face à une hallucination, on ne redémarre pas, on revient à la version précédente.

MétiersProduit, finance, risque, relation client

Les dérives de données, de concept et de pipeline se détectent avec les métiers, qui savent quand une règle ou un prix a changé.

Pourquoi des passerelles →