Aller au contenu

TechniquePratique4 min de lecture (+2 technique)

Comment les données sont-elles triées avant d'être stockées ?

Des métriques, traces et logs traversent les étapes de tri du Collector : désactivez-en une et voyez en direct ce qui arrive dans le stockage, avec la configuration YAML correspondante.

Pour : ingénieurs et SRE · architectesPrérequis : Savoir à quoi sert un Collector OpenTelemetry.

Mode de lecture

Scénario illustratif : lors d’un contrôle de routine, la déléguée à la protection des données trouve des adresses e-mail de clients en clair dans les journaux techniques. Le même mois, la facture de stockage grimpe sans raison apparente. Les deux problèmes ont la même origine : rien n’a trié les données entre le moment où les applications les envoient et celui où elles sont stockées.

Ce tri se fait dans le Collector OpenTelemetry, un logiciel qui reçoit les signaux des applications et les transmet aux bases de stockage. Imaginez un centre de tri postal. Les colis passent sur un tapis, devant une suite de postes : l’un écarte les prospectus, un autre noircit les informations confidentielles, un troisième met de côté les envois à archiver. Dans le Collector, ces postes s’appellent des processeurs. C’est le dernier endroit où vous décidez du sort d’une donnée avant qu’elle devienne une ligne de facture, une donnée personnelle exposée ou une preuve d’audit.

Dans le schéma, chaque point est un signal. Sa couleur indique son type (métrique, trace ou log), sa lettre ce qu’il contient. Cliquez sur un processeur pour le désactiver et regardez ce qui arrive au bout de la chaîne.

métriquetracelogerreur (cercle rouge)Hhealth checkDlog de debug@contient un e-mail*e-mail masquéUlabel user_idAaudit / conformité

Cliquez sur un processeur (ou Tab puis Entrée) pour le désactiver.

Configuration du Collector

Ordre recommandé : memory_limiter en premier ; filtrage et expurgation tôt, pour que rien de sensible ni d'inutile ne traverse la suite ; tail_sampling après l'expurgation ; batch en dernier, juste avant l'export, ou, à la place, le regroupement dans l'exportateur (sending_queue.batch).

Ce qui arrive dans les stockages

Volume stocké
0
des signaux émis
Données sensibles exposées
0
e-mails en clair ou user_id
Erreurs conservées
0
sur les erreurs émises
Logs d'audit au froid
0
sur les logs d’audit émis
Requêtes d'export
0
appels vers les backends
Refusés / perdus
0
mémoire saturée ou OOM
DestinationReçusBruitSensiblesErreurs

Simulation illustrative : proportions de signaux, échantillonnage à 10 % et seuil mémoire sont des hypothèses. Les signaux refusés par memory_limiter sont en réalité réessayés par l'émetteur, dans la limite de sa propre file d'attente.

  1. Désactivez filter, le poste qui écarte les prospectus. Les points marqués H (les vérifications automatiques de bon fonctionnement, ou health checks) et D (les logs de débogage) atteignent Tempo et VictoriaLogs, les bases des traces et des logs. La colonne « Bruit » du tableau grimpe : le volume stocké augmente sans rien apporter au diagnostic.
  2. Désactivez transform, le poste qui noircit les informations sensibles. Les adresses e-mail (@) arrivent en clair et les métriques gardent l’identifiant de l’utilisateur, le label user_id (U). Le compteur de données sensibles exposées passe au rouge. Cet identifiant pose aussi un problème de coût : sur une métrique, il multiplie le nombre de lignes à stocker. Le simulateur de facture des métriques le chiffre.
  3. Désactivez memory_limiter, puis cliquez sur « Pic de trafic ». Ce poste joue le rôle d’un vigile à l’entrée : il refuse du monde quand la salle est pleine. Sans lui, la mémoire du Collector déborde, le système l’arrête brutalement (on parle d’OOM, out of memory) et tous les signaux en cours de traitement sont perdus. Réactivez-le et relancez le pic : le Collector refuse une partie des envois, que les applications renvoient un peu plus tard, mais il reste debout.
  4. Désactivez tail_sampling, puis routing. Le premier choisit les traces à garder une fois qu’elles sont complètes : toutes les erreurs, une partie seulement des requêtes normales. Sans lui, toutes les traces normales sont stockées, alors que les erreurs étaient déjà toutes conservées. Le second met de côté les logs d’audit (A) pour l’archivage. Sans lui, ils restent dans le stockage chaud, rapide mais conservé peu de temps : le taux « Logs d’audit au froid » tombe à zéro.

Dans un centre de tri, on vérifie la place disponible avant de déballer les colis. On écarte les prospectus avant de les peser et on ferme les cartons juste avant le départ du camion, pas avant le tri. Le Collector suit la même logique. Le vigile (memory_limiter) passe en premier, pour refuser une donnée avant d’avoir dépensé de la mémoire à la traiter. Le filtrage et le masquage viennent tôt : ce qui est écarté tôt ne coûte rien plus loin et aucune donnée sensible ne doit continuer sa route. Le choix des traces à garder se fait ensuite, sur des traces déjà nettoyées. Le regroupement en lots pour l’envoi (batch) arrive en dernier : grouper des données qu’on va jeter, c’est du travail perdu.

Pour les équipes techniques : ordre des processeurs, routage et versions

Les processeurs s’exécutent dans l’ordre où ils sont listés dans service.pipelines, pas dans l’ordre de la section processors.

  • memory_limiter en premier : il doit pouvoir refuser une donnée avant que le Collector ait dépensé de la mémoire pour la traiter.
  • Filtrage et expurgation tôt : ce qui est écarté tôt ne coûte rien plus loin et aucune donnée sensible ne doit traverser l’échantillonnage, le regroupement ou un exportateur.
  • tail_sampling après l’expurgation : la décision est prise sur la trace complète (toutes les erreurs, une fraction du nominal). Elle suppose que tous les spans d’une trace arrivent au même Collector, d’où un exportateur loadbalancing en amont dès qu’il y a plusieurs instances.
  • batch en dernier, juste avant l’export. L’alternative est de regrouper dans l’exportateur lui-même (sending_queue avec batch: {}, désactivé par défaut) : c’est la direction prise par le projet pour remplacer le processeur (proposition de dépréciation), mais au 2 octobre 2026 le processeur batch reste au statut bêta et n’est pas formellement déprécié.

Le routage vers le stockage froid passe par le connecteur routing : l’ancien processeur routing a été retiré au profit du connecteur. La syntaxe exacte de sa table de routage a évolué selon les versions du Collector contrib : la configuration affichée suit la v0.162 (condition OTTL préfixée, log.attributes[...], sans champ context) ; vérifiez la documentation de votre version avant de la reprendre. L’exportateur awss3 vise ici un stockage compatible S3 hors AWS, d’où endpoint et s3_force_path_style.

Le centre de tri doit lui-même être surveillé : combien de colis entrent, combien sont refusés, combien partent, si la file d’attente déborde, si l’entrepôt manque de place. Le Collector publie ses propres métriques pour répondre à ces questions.

Deux contrôles ne passent pas par ces métriques. Pour les données sensibles, je recommande une recherche régulière dans les logs et les traces stockés, qui cherche un motif d’adresse e-mail et déclenche une alerte si elle trouve quelque chose. Pour l’audit, comparez le nombre de logs d’audit émis au nombre d’objets écrits dans le stockage froid.

Pour les équipes techniques : les métriques internes du Collector

Le Collector expose ses métriques par défaut au format Prometheus sur le port 8888, configurable dans service.telemetry. Préfixe otelcol_ :

QuestionMétrique interne du Collector (préfixe otelcol_)
Combien de signaux entrent ?receiver_accepted_spans, receiver_accepted_log_records, receiver_accepted_metric_points
Combien sont refusés à l’entrée ?receiver_refused_* : refus de memory_limiter ou d’un exportateur saturé
Combien sortent, combien échouent ?exporter_sent_*, exporter_send_failed_*
La file d’export sature-t-elle ?exporter_queue_size rapporté à exporter_queue_capacity
Le Collector manque-t-il de mémoire ?process_memory_rss, process_runtime_heap_alloc_bytes et les redémarrages du conteneur côté Kubernetes

Les noms exacts varient légèrement selon la version (suffixes _total, nouveaux noms de processeurs) : partez de la page /metrics de votre Collector. La recherche de motifs d’adresse e-mail se fait par une requête régulière dans VictoriaLogs ou Tempo.

Pour aller plus loin : le glossaire, la vue technique et côté coût la page business.

Révisé le 2 octobre 2026 : configuration alignée sur le Collector contrib v0.162 (syntaxe trace_conditions et log_conditions du filtre, instructions préfixées de transform, exportateurs otlp_grpc et otlp_http, endpoint du stockage S3) et mention du regroupement dans l’exportateur.