TechniquePratique11 min de lecture
Pourquoi VictoriaMetrics, architecture et mode de déploiement
Ce que les métriques d'une application LLM ont de particulier, comment VictoriaMetrics se compare à Prometheus, Thanos et Mimir, l'architecture complète avec OpenTelemetry et le choix entre les modes Single et Cluster.
Pour : ingénieurs et SRE · architectesPrérequis : Bases de Prometheus (types de métriques, PromQL).
Module 1 : pourquoi VictoriaMetrics pour les charges LLM
Section intitulée « Module 1 : pourquoi VictoriaMetrics pour les charges LLM »Prenons une équipe plateforme qui héberge un assistant interne. Le scénario est illustratif. Au départ, un Prometheus suffit : quelques services, une poignée de métriques. Puis l’assistant s’ouvre à six équipes métier, qui utilisent trois modèles chez deux fournisseurs. La finance demande le coût par équipe et par mois sur l’exercice entier. Six mois plus tard, le disque local de Prometheus est plein, la mémoire grimpe à chaque nouveau client interne et personne ne sait où garder deux ans d’historique de coûts.
Ce module explique pourquoi ce scénario arrive vite avec des charges LLM, puis compare les options de stockage pour y répondre.
1.1 La difficulté propre aux métriques LLM
Section intitulée « 1.1 La difficulté propre aux métriques LLM »Une métrique se lit comme un tableau de suivi : chaque combinaison de labels (les critères qui précisent la mesure, comme le modèle ou le client) ouvre une ligne qu’on appelle une série temporelle. Le nombre de séries s’appelle la cardinalité ; la page La cardinalité expliquée la détaille avec cette image du tableau.
Les applications LLM en production remplissent ce tableau d’une façon inhabituelle, qui pousse les backends de supervision classiques dans leurs retranchements.
| Caractéristique LLM | Effet sur le backend de métriques |
|---|---|
| Forte cardinalité | modèle x fournisseur x tenant x pipeline donne vite des milliers de séries temporelles et chaque intervalle d’histogramme multiplie ce nombre. |
| Histogrammes de tokens | Distributions très larges (de 10 à 100 000 tokens par requête), avec des intervalles (buckets) très étalés. |
| Métriques de coût en USD | Métriques financières qui exigent une précision en virgule flottante et des agrégations par période comptable. |
| Rétention longue | Audits de coûts et SLA contractuels : une rétention d’un à trois ans peut être exigée. |
| Pics d’ingestion | Un lot de complétions peut multiplier le débit d’écriture normal en quelques secondes ; l’ampleur du pic dépend de la taille du lot et de l’intervalle de collecte. |
| Métriques de qualité RAG | Flottants, distributions, scores : beaucoup d’écritures, lectures fréquentes pour l’alerte. |
Un tenant désigne ici un client interne isolé des autres (une équipe, une filiale). Un histogramme range chaque mesure dans des intervalles (« moins de 100 tokens », « moins de 1 000 »…) et chaque intervalle est une série de plus. Le RAG (retrieval-augmented generation) est le schéma où l’application cherche des documents avant d’interroger le modèle.
1.2 VictoriaMetrics face à Prometheus, Thanos et Mimir
Section intitulée « 1.2 VictoriaMetrics face à Prometheus, Thanos et Mimir »Prometheus seul range ses données sur le disque local d’une seule machine. Pour garder l’historique longtemps, survivre à la panne d’une instance ou séparer plusieurs clients (le multi-tenant), on lui adjoint en général un stockage distant : Thanos, Grafana Mimir (dérivé de Cortex) ou VictoriaMetrics. La comparaison utile oppose donc ces options entre elles, sur des critères qu’on peut vérifier.
| Critère | Prometheus seul | Prometheus + Thanos | Grafana Mimir | VictoriaMetrics |
|---|---|---|---|---|
| Déploiement | Binaire unique | Prometheus plus plusieurs composants Thanos (sidecar ou receive, querier, store gateway, compacteur) | Microservices, ou mode monolithique en un seul binaire | Binaire unique (Single), ou trois composants (vminsert, vmselect, vmstorage) en Cluster |
| Stockage et rétention longue | Disque local, non répliqué (rétention par défaut : 15 jours) | Stockage objet (S3, GCS, Azure…) ; sous-échantillonnage par le compacteur | Stockage objet | Disque local ou bloc, rétention par instance (-retentionPeriod) ; sauvegardes vers un stockage objet avec vmbackup ; sous-échantillonnage réservé à l’édition Enterprise |
| Haute disponibilité | Deux instances identiques, sans dédoublonnage natif | Dédoublonnage au moment de la requête | Réplication à l’ingestion | Deux instances alimentées par vmagent (Single) ; facteur de réplication en Cluster |
| Multi-tenant | Non | Oui, avec Receive | Natif | Natif en Cluster (accountID) |
| Langage de requête | PromQL | PromQL | PromQL | MetricsQL, largement compatible avec PromQL, avec des extensions (median_over_time, rollup_candlestick, outliers_mad…) |
| Réception OTLP | Récepteur OTLP (expérimental depuis 2.47, intégré à Prometheus 3.x) | Via Prometheus ou un Collector | Point OTLP natif | Point OTLP sur le port HTTP : /opentelemetry/v1/metrics sur le port 8428 (Single), /insert/<accountID>/opentelemetry/v1/metrics sur vminsert (Cluster) |
| Licence | Apache 2.0 | Apache 2.0 | AGPL 3.0 | Apache 2.0 (Single et Cluster) ; édition Enterprise sous licence commerciale (filtres de rétention, sous-échantillonnage, vmanomaly, mTLS de vmauth…) |
| Compatibilité | Référence | API de requête Prometheus | API de requête et d’écriture Prometheus | API de requête et d’écriture Prometheus : la plupart des tableaux de bord existants fonctionnent sans modification |
Le sous-échantillonnage (downsampling) consiste à ne garder, pour les vieilles données, qu’un point toutes les cinq minutes ou toutes les heures au lieu de chaque relevé. OTLP est le protocole d’envoi d’OpenTelemetry.
Les offres hébergées (Grafana Cloud, Amazon Managed Service for Prometheus, Google Cloud Managed Service for Prometheus, l’offre cloud de VictoriaMetrics, entre autres) reprennent ces moteurs ou des API compatibles. La question devient alors celle du coût par série et du pays où les données sont stockées.
Côté chiffres, la documentation de Prometheus indique un stockage moyen de 1 à 2 octets par échantillon (prometheus.io, Storage, consulté le 2 octobre 2026). Selon l’éditeur, VictoriaMetrics consomme « jusqu’à 7 fois moins de RAM » que Prometheus, Thanos ou Cortex en forte cardinalité (des millions de séries uniques) et demande « jusqu’à 7 fois moins d’espace disque » que ces mêmes outils (documentation VictoriaMetrics, consultée le 2 octobre 2026). Ces deux chiffres viennent d’un banc d’essai publié par l’éditeur lui-même, qui comparait Prometheus 2.22.2 et VictoriaMetrics 1.47.0 sur des métriques node_exporter (article de l’éditeur). Ce sont des maxima obtenus sur une charge précise, avec des versions anciennes. Je recommande de mesurer sur votre propre charge, avec les versions que vous comptez exploiter, avant tout dimensionnement.
Module 2 : architecture complète VM + OTel pour les LLM
Section intitulée « Module 2 : architecture complète VM + OTel pour les LLM »2.1 Vue d’ensemble
Section intitulée « 2.1 Vue d’ensemble »On peut se représenter la chaîne comme un circuit postal. Les applications déposent leur courrier, des centres de tri le reçoivent et l’étiquettent, un entrepôt le range, un service vérifie en continu que rien d’anormal n’arrive et des guichets le présentent aux lecteurs. L’architecture couvre ce chemin complet, des sources LLM jusqu’aux tableaux de bord et aux alertes. Elle peut tourner dans un environnement totalement isolé d’internet (air-gap).
| Étape | Composants | Ce qui se passe |
|---|---|---|
| Sources | Application LLM (SDK OTel), vLLM, Ollama, LiteLLM, DCGM exporter | Émettent métriques et traces, ou exposent un point /metrics |
| Collecte | OTel Collector, vmagent | Reçoivent OTLP, collectent les points Prometheus, enrichissent, dérivent des métriques à partir des traces |
| Stockage | VictoriaMetrics (Single ou Cluster) | Stocke les séries, sert MetricsQL, héberge vmui |
| Règles | vmalert, éventuellement vmanomaly | Évalue les règles d’alerte et d’enregistrement, réécrit les résultats |
| Consommation | Grafana, Alertmanager | Tableaux de bord, routage des alertes |
Concrètement, les sources instrumentées envoient leurs données à l’OTel Collector en OTLP, en gRPC sur le port 4317 ou en HTTP sur le port 4318. Le Collector filtre, ajoute les labels Kubernetes, fabrique des métriques à partir des traces grâce au connecteur spanmetrics, puis exporte. VictoriaMetrics reçoit les données par remote write Prometheus (le protocole d’écriture à distance de Prometheus) et accepte aussi OTLP en direct sur HTTP, en mode Single comme en mode Cluster.
En aval, vmalert évalue les règles MetricsQL et envoie les alertes à Alertmanager. Grafana lit VictoriaMetrics comme source de données, avec le plugin VictoriaMetrics ou la source Prometheus standard. vmanomaly, composant Enterprise et facultatif, ajoute la détection d’anomalies sur les métriques LLM.
2.2 Composants et rôles
Section intitulée « 2.2 Composants et rôles »| Composant | Port(s) | Rôle pour l’observabilité LLM |
|---|---|---|
| OTel Collector | 4317 (gRPC), 4318 (HTTP) | Normalise et route toutes les métriques. Le connecteur spanmetrics dérive des métriques des traces RAG. |
| VictoriaMetrics Single | 8428 | Stockage TSDB, API MetricsQL, remote write, OTLP direct, vmui intégré |
| vmagent | 8429 | Collecte de type Prometheus. Adapté au DCGM exporter, au /metrics de vLLM, à LiteLLM |
| vmalert | 8880 | Évalue les règles MetricsQL d’alerte et d’enregistrement, dialogue avec Alertmanager |
| Alertmanager | 9093 | Routage des alertes (Slack, PagerDuty, e-mail, webhook), déduplication et mise en sourdine |
| Grafana | 3000 | Tableaux de bord, avec le plugin VictoriaMetrics ou la source Prometheus standard |
| vmanomaly (Enterprise) | voir sa documentation | Détection d’anomalies sur les métriques LLM par modèles statistiques et d’apprentissage. Facultatif. |
Une TSDB (time series database) est une base conçue pour des valeurs datées. vmui est l’interface web intégrée à VictoriaMetrics, où l’on tape des requêtes à la main.
Module 3 : Single ou Cluster, choisir son mode de déploiement
Section intitulée « Module 3 : Single ou Cluster, choisir son mode de déploiement »Le mode Single ressemble à une petite boutique où la même personne reçoit la marchandise, la range et sert les clients. C’est un binaire unique qui ingère, stocke et interroge. Le mode Cluster ressemble à un entrepôt avec trois équipes distinctes : vminsert reçoit (ingestion), vmstorage range (stockage) et vmselect répond aux questions (requêtes). Chaque équipe peut grandir et être doublée indépendamment des autres.
3.1 Critères de décision dans un contexte LLM
Section intitulée « 3.1 Critères de décision dans un contexte LLM »La documentation de l’éditeur recommande la version Single pour une ingestion inférieure à environ un million de points par seconde et invite à « réfléchir à deux fois » avant de choisir la version Cluster, plus complexe à configurer et à exploiter (documentation du mode Cluster, consultée le 2 octobre 2026). Les charges LLM décrites dans ce guide restent en général très en deçà de ce débit. Le choix du Cluster tient alors surtout à la haute disponibilité et au multi-tenant.
| Critère | Mode Single | Mode Cluster |
|---|---|---|
| Débit d’ingestion | Recommandé sous environ un million de points par seconde (documentation de l’éditeur) | Au-delà, ou quand une seule machine ne suffit plus |
| Haute disponibilité | Non native (deux instances alimentées par vmagent, ou solutions externes) | Native : réplicas par composant, facteur de réplication |
| Multi-tenant | Non natif (instances séparées ou vmauth) | Natif (accountID dans les chemins d’API) |
| Déploiement | 1 conteneur, 1 binaire | Trois types de composants à déployer |
| Rétention | Une rétention globale par instance | Une rétention globale par vmstorage ; la rétention par tenant ou par série exige la version Enterprise (-retentionFilter) |
| Complexité d’exploitation | Faible | Plus élevée : plusieurs composants à dimensionner et à superviser |
| Licence | Open source (Apache 2.0) | Open source (Apache 2.0) |
Quand passer de Single à Cluster ?
Section intitulée « Quand passer de Single à Cluster ? »Revenons à l’équipe du début. Si son problème est un disque trop petit, une machine plus grosse et une rétention réglée suffisent souvent. Le Cluster devient intéressant quand l’ingestion approche le million de points par seconde, quand les ressources d’une seule machine ne suffisent plus malgré un dimensionnement vertical, ou quand on exige un SLA de haute disponibilité ou un isolement natif entre tenants. Les requêtes, l’API compatible Prometheus et les tableaux de bord Grafana restent identiques après le passage.