Quiz : observabilité de l'IA

Mode de lecture

IngénieurDécideur

Dix questions pour vérifier ce que vous retenez du guide. Chaque réponse est corrigée immédiatement, avec une explication et un lien vers la leçon concernée. Rien n’est envoyé : votre meilleur score reste dans ce navigateur.

1. Question 1 sur 10L'observabilité classique compte trois signaux : journaux, métriques, traces. Quels sont les deux signaux que l'observabilité de l'IA y ajoute ?Plusieurs réponses possibles

   • Les journaux structurés
   • Les évaluations
   • Les plongements
   • Les retours utilisateurs

   Valider

2. Question 2 sur 10Passerelle : métiersUne fonctionnalité d'IA est disponible et répond dans son budget de latence. Quelles affirmations sont justes ?Plusieurs réponses possibles

   • Une réponse 200 OK garantit l'absence d'hallucination.
   • Le système peut être disponible, rapide et faux : il faut un second axe, la qualité des sorties.
   • Cent réponses parfaites garantissent que la cent unième le sera aussi.
   • La qualité propre à un domaine exige des évaluateurs sur mesure, dont la grille doit être écrite par ceux qui savent ce qu'est une bonne réponse.

   Valider

3. Question 3 sur 10Selon la feuille de route de maturité, quel niveau constitue un objectif réaliste pour un programme de six mois ?Une seule réponse

   • Le niveau 1 : télémétrie de base
   • Le niveau 5 : boucle fermée
   • Le niveau 3 : évaluation en ligne
   • Le niveau 2 : traçage structuré

   Valider

4. Question 4 sur 10Quelle est la première des sept étapes de mise en œuvre ?Une seule réponse

   • Écrire les questions auxquelles la plateforme doit répondre
   • Instrumenter tous les appels avec un maximum d'attributs
   • Déployer un OpenTelemetry Collector
   • Choisir un produit commercial d'observabilité LLM

   Valider

5. Question 5 sur 10Dans l'OpenTelemetry Collector, où placer le processeur redaction par rapport au processeur batch ?Une seule réponse

   • Après batch, pour caviarder des lots entiers d'un coup
   • Avant batch : caviarder d'abord, regrouper ensuite
   • L'ordre est indifférent, du moment que le dorsal caviarde aussi

   Valider

6. Question 6 sur 10Quelles traces faut-il évaluer à 100 %, quel que soit le palier d'échantillonnage de l'évaluation ?Plusieurs réponses possibles

   • Les traces ayant obtenu un score élevé
   • Les traces en erreur
   • Les traces ayant reçu un retour utilisateur négatif
   • Un échantillon aléatoire de 10 % du trafic

   Valider

7. Question 7 sur 10Vous avez fixé à l'avance un seuil de kappa de Cohen de 0,7. Sur votre jeu de calibration, votre LLM juge n'obtient qu'un kappa de 0,45 avec le jugement humain. Que recommande le guide ?Une seule réponse

   • Mettre le juge en production et surveiller la tendance
   • Évaluer davantage de traces de production pour lisser le bruit
   • Passer à l'auto-cohérence et considérer le problème réglé
   • Retravailler le prompt du juge ou changer de modèle juge, puis recalibrer

   Valider

8. Question 8 sur 10Passerelle : businessDans l'exemple à 100 requêtes par seconde du chapitre 7, combien de jetons un seul évaluateur LLM juge, sur 10 % des traces et à 1 500 jetons par jugement, consomme-t-il par jour ?Une seule réponse

   • Environ 13 millions de jetons
   • Environ 1,3 milliard de jetons
   • Environ 1 To

   Valider

9. Question 9 sur 10Passerelle : organisationDans la répartition des responsabilités proposée, que porte l'équipe ML ?Plusieurs réponses possibles

   • Les règles de caviardage et les politiques d'accès
   • Le catalogue d'évaluateurs
   • Les collecteurs, les dorsaux et le routage des alertes
   • Les seuils de qualité et le jeu de non-régression

   Valider

10. Question 10 sur 10Passerelle : humainLes évaluations tournent, les scores sont stockés, mais rien ne s'améliore. Quel remède le guide propose-t-il ?Une seule réponse

    • Ajouter des attributs sur chaque span
    • Construire des tableaux de bord plus détaillés
    • Formaliser une revue hebdomadaire où les traces en échec deviennent des entrées du jeu de non-régression
    • Remplacer la pile par un outil commercial

    Valider

Recommencer

Pour aller plus loin

• Présentation du guide
• Glossaire
• Passerelles
• Observer un système LLM : playbooks de déploiement (LLM, RAG, MCP)

PasserellesCe que cette page change au-delà de l'équipe technique.

BusinessValeur, coût, risque

Vous savez partir des questions de la finance, du produit et de la direction et repérer que le LLM juge, plus que le stockage, pèse sur le budget.

OrganisationQui décide, qui possède

Vous savez qui porte quoi : la plateforme la pile, le ML les évaluateurs et les seuils, la sécurité le caviardage et l'audit, tous ensemble la revue hebdomadaire.

HumainÉquipes, astreinte, compétences

Vous savez que la boucle fermée est un rituel d'équipe : sans revue régulière des traces en échec, la plateforme n'est qu'une archive.

MétiersProduit, finance, risque, relation client

Vous savez qu'un système peut être disponible, rapide et faux et que seuls les métiers peuvent écrire la grille qui dit ce qu'est une bonne réponse.

Pourquoi des passerelles →