Aller au contenu

OrganisationPratique9 min de lecture (+1 technique)

Gouverner les données d'observabilité

Une fiche par donnée collectée, vérifiée automatiquement, des plafonds de volume, des durées de conservation par type de donnée et une revue chaque trimestre : décider ce qu'on collecte avant que la facture ou l'auditeur ne le fassent.

Pour : ingénieurs et SRE · architectes · managers d’équipe · finance, risque et conformitéPrérequis : Aucun prérequis technique. La page [La cardinalité expliquée](/technical/cardinality/) aide à comprendre la partie sur les plafonds de volume.

Mode de lecture

Scénario illustratif. La facture de l’outil d’observabilité a doublé en un an. En cherchant pourquoi, l’équipe plateforme découvre qu’une seule mesure, ajoutée par une équipe produit pour un besoin ponctuel, porte l’identifiant de chaque client. Le même mois, un audit trouve des adresses électroniques dans des journaux applicatifs conservés depuis plus d’un an. Personne n’avait décidé de les garder. Personne n’avait décidé de les supprimer non plus.

Sans gouvernance, les métriques (les mesures chiffrées suivies dans le temps), les journaux (les logs, ces lignes de texte que les applications écrivent au fil de l’eau) et les traces (le trajet d’une requête d’un service à l’autre) suivent une pente naturelle. Chaque équipe ajoute des mesures, des attributs et des journaux. Personne n’en retire. La durée de conservation reste celle réglée par défaut. Le résultat se voit d’abord sur la facture, ensuite dans les requêtes qui ralentissent, parfois dans un audit.

Gouverner ces données, c’est décider à l’avance ce qui peut être collecté, en quelle quantité, pour combien de temps et vers où, puis vérifier automatiquement que ces décisions sont respectées. Je m’appuie pour cela sur quatre outils : le contrat de données, le budget de cardinalité, la politique de rétention et une revue trimestrielle.

Pensez à la fiche que tient un entrepôt pour chaque article qu’il stocke : qui l’a commandé, à quoi il sert, combien on en garde au maximum, dans quel rayon il va. Le contrat de données joue ce rôle pour chaque signal, c’est-à-dire chaque métrique, journal ou trace qu’une application émet.

Le glossaire le définit comme une règle écrite, vérifiée en intégration continue, qui fixe pour un signal les attributs autorisés, le budget de cardinalité, la rétention et la destination. L’intégration continue est la chaîne automatique qui teste chaque modification de code avant qu’elle soit acceptée. Les attributs sont les étiquettes qui accompagnent une mesure, comme le nom du service ou le code de réponse. Je recommande d’ajouter au contrat deux champs : un propriétaire et la mention des données personnelles que le signal peut contenir.

Trois choix méritent d’être expliqués. Le premier est le champ « usage ». Chaque signal doit servir à quelque chose : un SLO (un objectif de qualité de service chiffré), une alerte, un tableau de bord, une décision. Un signal sans usage déclaré est le premier candidat à la suppression lors de la revue. C’est la règle de sobriété proposée dans la leçon 3 du parcours DSI.

Le deuxième concerne les noms d’attributs. Les conventions sémantiques OpenTelemetry fournissent des noms et des significations standardisés ; OpenTelemetry est le standard ouvert le plus répandu pour produire ces signaux. Je recommande d’utiliser ces noms plutôt que d’inventer un vocabulaire maison. Les contrats restent alors lisibles d’une équipe à l’autre et d’un outil à l’autre.

Le troisième, ce sont les attributs interdits. La documentation Prometheus, l’un des outils de métriques les plus utilisés, déconseille explicitement de porter par des labels des dimensions à forte cardinalité comme des identifiants d’utilisateur ou des adresses électroniques. Écrire ces interdits dans le contrat les rend vérifiables.

Pour les équipes techniques : un exemple de contrat

Voici à quoi peut ressembler un contrat pour une métrique. Le format est un exemple illustratif, à adapter à votre outillage ; il ne correspond pas au schéma d’un outil précis.

signal: http.server.request.duration
type: histogramme
proprietaire: equipe-paiement
usage: [slo-paiement, tableau-de-bord-paiement]
attributs_autorises:
- service.name
- http.request.method
- http.response.status_code
- http.route # route normalisée, jamais le chemin brut
attributs_interdits:
- user.id # non borné : à porter par les traces
- url.full
budget_cardinalite: 5000 # séries actives maximum pour ce signal
donnees_personnelles: non
retention: classe-exploitation
destination: stockage-metriques-chaud

Un contrat qui n’est vérifié qu’à l’œil, en revue, finit par être ignoré. Je recommande des vérifications automatiques, de la plus simple à la plus complète. La première contrôle le nommage et le format des mesures. La deuxième vérifie que les attributs respectent les conventions sémantiques. La troisième compare ce que le code émet aux contrats et refuse un attribut interdit ou un signal sans propriétaire ni usage.

À mon avis, cette troisième vérification est la plus utile. C’est aussi celle qu’aucun outil générique ne fournit telle quelle, puisqu’elle dépend de vos contrats. Elle peut commencer petit : un script qui refuse une fusion (l’intégration d’une modification dans le code commun) lorsqu’un nouveau signal n’a pas de contrat.

Pour les équipes techniques : les vérifications et les outils possibles
VérificationCe qu’elle bloqueOutils possibles
Nommage et formatnoms non conformes, unités absentespromtool check metrics pour les métriques au format Prometheus
Conformité aux conventionsattributs inconnus ou mal typésOTel Weaver, qui valide un registre de conventions sémantiques
Contratattributs interdits, signal sans propriétaire ni usageun test maison qui compare l’instrumentation déclarée aux contrats

Imaginez un tableau de suivi des ventes. Une ligne par magasin, c’est lisible. Une ligne par magasin et par produit, le tableau grossit déjà beaucoup. Une ligne par magasin, par produit et par client, il devient ingérable. La cardinalité, c’est ce nombre de lignes : le nombre de séries temporelles distinctes qu’une métrique produit, une série par combinaison de valeurs de ses étiquettes. Elle se multiplie à chaque étiquette ajoutée, ce que le simulateur d’explosion de cardinalité rend visible. La page La cardinalité expliquée raconte le phénomène en détail.

Un budget de cardinalité fixe un plafond de séries actives par signal, par service ou par équipe. Je recommande de le poser à deux niveaux. Par signal d’abord, dans le contrat, pour arrêter en revue l’attribut qui ferait exploser une métrique. Par équipe ensuite, comme une enveloppe globale, pour que l’équipe arbitre elle-même entre ses signaux.

Le budget doit aussi être appliqué pendant que les applications tournent, parce qu’une erreur finit toujours par passer la revue. Les outils de collecte savent refuser ou nettoyer ce qui dépasse le plafond avant que la facture n’enfle. Le simulateur du coût au Collector chiffre l’effet de ces leviers.

Reste la question des exceptions. Un budget sans dérogation possible est contourné. Je recommande un circuit court et écrit : l’équipe demande, justifie l’usage et propose une durée ; l’équipe plateforme estime l’impact ; la décision est notée dans le contrat avec une date de fin. Une dérogation sans date de fin devient la règle.

Pour les équipes techniques : appliquer le budget à l'exécution

Côté Prometheus, les paramètres de collecte sample_limit et label_limit font échouer la collecte d’une cible qui dépasse un plafond (configuration Prometheus). Dans un OpenTelemetry Collector, les processeurs de filtrage et de transformation suppriment ou recodent les attributs interdits avant l’export.

À la maison, on jette un ticket de caisse au bout de quelques semaines, on garde ses relevés de compte quelques années et ses bulletins de salaire bien plus longtemps. Les données d’observabilité fonctionnent de la même façon : toutes n’ont pas la même durée de vie utile. La rétention est cette durée de conservation. Je recommande de définir un petit nombre de classes de rétention et de rattacher chaque signal à une classe dans son contrat.

Le stockage « chaud » est rapide et cher, le « froid » lent et bon marché, le « tiède » entre les deux. Une trace « nominale » est celle d’une requête qui s’est bien passée ; on n’en garde souvent qu’un échantillon.

ClasseExemples de signauxDuréeStockage
Diagnostictraces nominales échantillonnées, logs de debug autorisésquelques jourschaud
Exploitationmétriques d’exploitation, logs applicatifs, traces en erreurquelques semaineschaud puis tiède
Tendancemétriques agrégées (par service, à résolution réduite)plusieurs mois à quelques annéesfroid ou compressé
Preuvejournaux d’audit, traces à valeur probantefixée par la politique de conservation et les textes applicablesfroid, immuable si nécessaire

Les durées de ce tableau sont des ordres de grandeur illustratifs. Celles de la classe Preuve ne se choisissent pas en fonction du coût : elles viennent de la politique de conservation de l’entreprise et des textes sectoriels, comme l’explique la leçon 2 du parcours DSI. Pour l’intégrité de ces journaux, voir l’intégrité des journaux d’audit.

Les données personnelles demandent une attention à part. Le RGPD pose les principes de minimisation des données et de limitation de la conservation (règlement (UE) 2016/679, article 5). Appliqués aux journaux et aux traces, ils signifient qu’un identifiant d’utilisateur, une adresse IP ou un contenu de requête ne devraient être collectés que s’ils servent un usage déclaré. Ils ne devraient pas non plus être conservés plus longtemps que cet usage ne l’exige. Le champ « données personnelles » du contrat rend ce choix explicite et vérifiable par le DPO.

Les contrats et les budgets vieillissent. Je recommande une revue d’une heure chaque trimestre. Elle réunit l’équipe plateforme, les référents des équipes produit et un représentant FinOps (la fonction qui pilote les dépenses d’infrastructure avec les équipes). La sécurité et le DPO y participent au moins une fois par an.

Un ordre du jour type tient en sept points :

  1. Évolution du volume et de la cardinalité par équipe depuis la revue précédente.
  2. Les dix signaux les plus coûteux et leur usage déclaré.
  3. Les signaux sans usage constaté sur le trimestre : supprimer ou justifier.
  4. Les dérogations arrivées à échéance : clore ou renouveler avec une nouvelle date.
  5. Les incidents où un signal a manqué : ajouter, avec un contrat.
  6. Les écarts de rétention et de données personnelles relevés.
  7. Les décisions, avec un porteur et une date.

Le point 5 compte autant que les autres. La gouvernance ne sert pas seulement à réduire. Un post-mortem qui conclut à un trou d’observabilité doit pouvoir ajouter un signal rapidement. Voir le post-mortem sans blâme.

Ces indicateurs disent si la gouvernance tient dans les faits. Une « série active » est une série qui reçoit encore des valeurs.

IndicateurCe qu’il révèle
Part des signaux couverts par un contratl’étendue réelle de la gouvernance
Part des signaux avec un usage déclaré et constatéla sobriété de la collecte
Séries actives par équipe, rapportées à leur budgetla tenue des budgets de cardinalité
Nombre de fusions bloquées par les vérifications de contratsi les règles sont appliquées ou contournées
Dérogations ouvertes et dérogations échuesla discipline du circuit de dérogation
Signaux contenant des données personnelles hors contratle risque de conformité
Coût par équipe et coût par transaction métierle lien avec le pilotage FinOps de la leçon 4
  • Un format de contrat de données est choisi et documenté
  • Chaque nouveau signal arrive avec un contrat, un propriétaire et un usage
  • Les noms d’attributs suivent les conventions sémantiques OpenTelemetry
  • L’intégration continue bloque un signal sans contrat
  • Un budget de cardinalité existe par équipe et il est appliqué à l’exécution
  • Le circuit de dérogation est écrit et chaque dérogation a une date de fin
  • Chaque signal est rattaché à une classe de rétention
  • La présence de données personnelles est déclarée et revue avec le DPO
  • La revue trimestrielle a lieu et produit des décisions tracées