Quiz : Méthode d'observabilité GenAI

Mode de lecture

IngénieurDécideur

Dix questions pour vérifier ce que vous retenez de la formation. Chaque réponse est corrigée immédiatement, avec une explication et un lien vers la leçon concernée. Rien n’est envoyé : votre meilleur score reste dans ce navigateur.

1. Question 1 sur 10Selon le modèle de la défaillance silencieuse, quelle est la question pertinente à se poser pour un signal que l'on ne mesure pas ?Une seule réponse

   • Le service tombe-t-il ?
   • Combien de temps la défaillance s'accumule-t-elle avant qu'on la voie ?
   • Combien de métriques peut-on exporter vers le backend ?
   • Quel fournisseur de modèle est le plus rapide ?

   Valider

2. Question 2 sur 10Un serveur MCP de confiance modifie la définition d'un de ses outils entre deux appels (rug pull). Quel signal de la grille MCP rend ce changement visible ?Une seule réponse

   • La latence et les erreurs par outil et par serveur
   • Le taux de hit du cache
   • La détection des mutations de serveur et l'épinglage d'outil par hachage

   Valider

3. Question 3 sur 10Parmi ces pratiques, lesquelles correspondent à la façon dont la méthode définit et surveille un SLO de qualité ?Plusieurs réponses possibles

   • Comparer à la cible la borne inférieure de l'intervalle de confiance à 95 pour cent (borne de Wilson), pas la valeur ponctuelle
   • Sur-échantillonner les segments à risque, comme les requêtes sensibles et les nouveaux flux
   • Mesurer la qualité sur 100 pour cent du trafic, exactement comme la disponibilité
   • Utiliser une fenêtre longue (24 h à 7 j) avec un burn rate modéré pour détecter la dérive lente

   Valider

4. Question 4 sur 10Le taux d'accord entre votre juge LLM et le golden set chute nettement. Que faut-il en conclure ?Une seule réponse

   • Rien de particulier, tant que le SLI de qualité reste au-dessus de la cible
   • Qu'il faut agrandir le golden set à chaque fenêtre de mesure
   • Que le modèle de production a forcément changé de version
   • Que les mesures de qualité produites par ce juge ne sont plus fiables et qu'il faut le recalibrer

   Valider

5. Question 5 sur 10Passerelle : businessPour défendre un budget d'observabilité devant une direction financière, comment la méthode estime-t-elle la valeur d'un signal ?Une seule réponse

   • Taux d'accumulation de la défaillance multiplié par l'écart entre le délai de détection sans le signal et avec le signal
   • Le nombre de tableaux de bord produits multiplié par leur nombre de panneaux
   • Le coût de licence de l'outil d'observabilité divisé par le volume de requêtes

   Valider

6. Question 6 sur 10Passerelle : businessDans l'exemple chiffré de la partie V (50 000 appels par jour), que représente un taux de hit de cache atteignable de 30 pour cent laissé inexploité ?Une seule réponse

   • Environ 9 600 appels par mois
   • Environ 1 800 millions de tokens d'entrée par mois
   • Environ 450 000 appels évitables par mois, soit 30 pour cent du coût de base
   • Rien, puisqu'aucune alerte de latence ni d'erreur ne se déclenche

   Valider

7. Question 7 sur 10Passerelle : organisationDans le RACI de la méthode, qui est redevable (A) des SLO de qualité ?Une seule réponse

   • Plateforme / SRE
   • ML / Data Science
   • Produit
   • Conformité / DPO

   Valider

8. Question 8 sur 10Passerelle : humainVotre équipe met en place une astreinte qualité. Quelles actions font partie du playbook de mitigation décrit par la méthode ?Plusieurs réponses possibles

   • Revenir à la version précédente du prompt ou du modèle
   • Redémarrer le service, comme pour une panne de disponibilité
   • Désactiver la fonctionnalité dégradée plutôt que servir une qualité fausse
   • Rédiger les procédures de repli après le premier incident, à partir de son retour d'expérience

   Valider

9. Question 9 sur 10Passerelle : métiersLe service conformité vous demande comment vous démontrez la sécurité de votre chaîne d'approvisionnement au titre de NIS2. Quel signal la matrice de preuve associe-t-elle à cette obligation ?Une seule réponse

   • Le taux de passage à l'humain et les points de validation
   • Les SLO de qualité et la détection de dérive
   • Le masquage au collecteur et le contenu opt-in
   • L'épinglage des outils, la détection de mutation et les échecs d'authentification

   Valider

10. Question 10 sur 10Où et comment traiter le contenu des échanges (prompts, réponses) dans la télémétrie, pour éviter deux anti-patterns coûteux ?Plusieurs réponses possibles

    • Le placer en label de métrique pour pouvoir filtrer les tableaux de bord par prompt
    • Le tenir hors des labels de métrique, limités à des dimensions de faible cardinalité (modèle, opération, type d'erreur) et, si sa capture est activée (opt-in), le placer hors des attributs indexés des spans (événement ou journal dédié), masqué
    • Ne pas le capturer par défaut, le masquer au collecteur et, s'il faut le conserver, le stocker en externe chiffré avec une référence sur le span

    Valider

Recommencer

Pour aller plus loin

• Présentation de la formation
• Le calculateur d’exposition économique
• Le glossaire
• Les passerelles entre les plans

---

Révisé le 4 octobre 2026 : explications des questions sur les tableaux de bord et le contenu mises à jour (renvois au chapitre 9 du guide, règle de capture du contenu alignée sur la spécification OpenTelemetry).

PasserellesCe que cette page change au-delà de l'équipe technique.

BusinessValeur, coût, risque

Vous savez chiffrer un angle mort (taux d'accumulation multiplié par délai de détection) et justifier l'observabilité en euros devant une direction financière.

OrganisationQui décide, qui possède

Vous savez qui possède quoi : le RACI répartit huit capacités entre plateforme, data science, sécurité, produit et conformité.

HumainÉquipes, astreinte, compétences

Vous savez pourquoi une astreinte qualité diffère d'une astreinte SRE classique et pourquoi ses playbooks s'écrivent avant l'incident.

MétiersProduit, finance, risque, relation client

Vous savez relier une obligation AI Act, NIS2 ou RGPD au signal de télémétrie qui en apporte la preuve.

Pourquoi des passerelles →