Quiz : VictoriaMetrics pour les LLM

Mode de lecture

IngénieurDécideur

Dix questions pour vérifier ce que vous retenez de la formation. Chaque réponse est corrigée immédiatement, avec une explication et un lien vers la leçon concernée. Rien n’est envoyé : votre meilleur score reste dans ce navigateur.

1. Question 1 sur 10Où VictoriaMetrics en mode Single reçoit-il directement des métriques OTLP ?Une seule réponse

   • Sur un port dédié 4318.
   • Sur le chemin /opentelemetry/v1/metrics de son port HTTP habituel, 8428.
   • Nulle part : il faut obligatoirement passer par un OTel Collector.
   • Sur le port gRPC 4317.

   Valider

2. Question 2 sur 10Quelles pratiques le guide recommande-t-il pour éviter l'explosion de cardinalité ?Plusieurs réponses possibles

   • Ne jamais étiqueter les métriques par trace_id, request_id ou session_id.
   • Ajouter tenant_id sur les métriques de latence pour comparer les clients.
   • Au-delà de 1 000 tenants, utiliser tenant_tier sur les métriques à haute fréquence et réserver tenant_id aux métriques de coût.
   • Porter run_id comme label sur les métriques temps réel d'un pipeline d'évaluation.

   Valider

3. Question 3 sur 10Passerelle : businessLe décorateur d'instrumentation calcule le coût à partir d'une grille de prix par token. Pourquoi le guide demande-t-il de versionner et de dater cette grille ?Une seule réponse

   • Parce que VictoriaMetrics refuse les métriques de coût sans date d'effet.
   • Pour réduire la cardinalité de llm_cost_usd_total.
   • Parce que les tarifs changent et qu'une grille non datée rend les séries de coûts historiques impossibles à auditer.

   Valider

4. Question 4 sur 10La première version de ce guide utilisait anomaly_score(...) dans une requête MetricsQL pour détecter la dérive d'un index RAG. Qu'en est-il réellement ?Une seule réponse

   • anomaly_score est une métrique écrite par vmanomaly (Enterprise) ; en open source, on calcule un z-score par rapport à une référence de 7 jours.
   • C'est une fonction MetricsQL native, disponible dans la version open source.
   • C'est une fonction de Grafana appliquée au moment de l'affichage.

   Valider

5. Question 5 sur 10Pourquoi le guide recommande-t-il des règles d'enregistrement pour les métriques de coût ?Une seule réponse

   • Pour allonger la rétention des séries de coût.
   • Pour précalculer en tâche de fond des agrégations comme increase(llm_cost_usd_total[24h]), que les tableaux de bord recalculeraient sinon à chaque rafraîchissement.
   • Pour remplacer les règles d'alerte de vmalert.
   • Pour obtenir une résolution plus fine que les données brutes.

   Valider

6. Question 6 sur 10Votre SLO de disponibilité est de 99,5 % sur 30 jours. Quel est le budget d'erreur correspondant ?Une seule réponse

   • 0,05 %, soit environ 22 minutes par mois.
   • 0,5 %, soit environ 36 minutes par mois.
   • 0,5 %, soit 3 h 36 min d'indisponibilité tolérée par mois.
   • 5 %, soit environ 36 heures par mois.

   Valider

7. Question 7 sur 10Le guide associe à l'alerte LLMSlowBurn, évaluée sur 6 heures, une seconde condition sur 30 minutes. À quoi sert cette fenêtre courte ?Une seule réponse

   • À déclencher l'alerte avant que la fenêtre longue ne confirme la tendance.
   • À réduire la cardinalité des séries d'erreur.
   • À calculer le budget d'erreur mensuel.
   • À faire retomber l'alerte rapidement une fois le problème corrigé.

   Valider

8. Question 8 sur 10Passerelle : humainQuelles pratiques présentées dans la formation aident à préserver l'équipe d'astreinte face aux alertes LLM ?Plusieurs réponses possibles

   • Joindre à chaque alerte une action à mener et un lien de procédure (runbook_url), comme pour RAGIndexDrift.
   • Router les alertes par équipe avec Alertmanager, par exemple les alertes de budget vers l'équipe billing.
   • Envoyer toutes les alertes, avertissements compris, vers PagerDuty.
   • Revoir les seuils d'alerte avec les équipes après la mise en production pour repérer les faux positifs.

   Valider

9. Question 9 sur 10Passerelle : organisationVos obligations comptables imposent de conserver les métriques de coût trois ans, alors que les métriques GPU n'ont besoin que de trois mois. Avec VictoriaMetrics open source, quelle mise en œuvre le guide recommande-t-il ?Une seule réponse

   • Régler un -retentionPeriod différent pour chaque métrique dans la même instance.
   • Utiliser -retentionFilter sur l'instance open source.
   • Faire tourner plusieurs instances, chacune avec son propre -retentionPeriod et y router les séries avec vmagent.
   • Conserver les coûts dans les traces OTel, qui sont gardées plus longtemps.

   Valider

10. Question 10 sur 10Passerelle : métiersLa direction et la finance veulent suivre les dépenses d'IA. Que prévoit la formation pour elles ?Une seule réponse

    • Un accès administrateur à Grafana pour qu'elles construisent leurs propres vues.
    • Des utilisateurs Grafana en lecture seule, avec SSO, sur les mêmes données que l'exploitation.
    • Une copie des données dans une base séparée, réservée à la finance.
    • Un accès direct à l'API d'écriture de VictoriaMetrics.

    Valider

Recommencer

Pour aller plus loin

• Présentation de la formation
• Glossaire du site
• Les passerelles entre les plans
• Les labs

PasserellesCe que cette page change au-delà de l'équipe technique.

BusinessValeur, coût, risque

Vous savez rendre les coûts d'IA auditables : grille de prix datée, règles d'enregistrement et rétention longue des métriques de coût.

OrganisationQui décide, qui possède

Vous savez traiter la rétention et le choix entre instance unique et cluster comme des décisions de gouvernance, avec les limites de la version open source.

HumainÉquipes, astreinte, compétences

Vous savez concevoir des alertes qui préservent l'astreinte : procédure jointe, routage par équipe, seuils revus avec les équipes.

MétiersProduit, finance, risque, relation client

Vous savez ouvrir à la direction et à la finance des tableaux de bord en lecture seule, sur les mêmes données que l'exploitation.

Pourquoi des passerelles →