Aller au contenu

TechniquePratique7 min de lecture (+1 technique)

La stack d'observabilité HPC IA

Métriques, logs et traces à chaque couche du cluster, une stack souveraine en trois étages (collecte, stockage, visualisation) et eBPF pour observer sans modifier le code.

Pour : ingénieurs et SRE · architectesPrérequis : Avoir lu le chapitre 2 de la formation ; bases de Prometheus et de Linux.

Scénario illustratif. Un entraînement sur 32 GPU ralentit depuis une heure. L’ingénieur d’astreinte doit répondre à trois questions : quel rang traîne, sur quel nœud et à cause de quoi ? Puis l’équipe sécurité en pose une quatrième : ce processus Python qui tourne depuis la veille, a-t-il ouvert une connexion vers une adresse inconnue ? Les deux équipes regardent le même cluster. À mon avis, elles devraient aussi regarder la même stack.

Ce chapitre décrit cette stack : ce qu’on collecte, où on le stocke, comment on l’affiche et comment on observe ce que le code ne dit pas de lui-même.

Métriques, logs et traces dans un cluster d’entraînement

Section intitulée « Métriques, logs et traces dans un cluster d’entraînement »

Les trois signaux de l’observabilité ont chacun leur rôle. Les métriques sont le tableau de bord de la voiture : des chiffres qui évoluent dans le temps et déclenchent un voyant quand ils sortent des clous. Les logs sont le carnet de bord : des événements écrits, avec leur contexte. Les traces suivent une opération de bout en bout, comme le suivi d’un colis d’entrepôt en entrepôt : elles disent où le temps s’est perdu.

SignalContenuStockageUsage
Métriquesutilisation des SM, bande passante HBM, durée de pas, latence NCCL, retransmissions InfiniBandbase de séries temporelles compatible Prometheus : Prometheus avec Thanos ou Mimir, ou VictoriaMetricsalertes, tendances
Logserreurs CUDA, avertissements NCCL, interruptions Slurm, arrêts pour mémoire insuffisanteLoki ou VictoriaLogscontexte qualitatif que les métriques ne capturent pas
Tracesparcours de bout en bout sur tous les nœuds et processusTempo ou Jaegersavoir sur quel nœud et dans quelle fonction le temps est perdu ; indispensable pour les traînards

Dans notre scénario, les métriques montrent que la durée de pas augmente, les logs signalent peut-être un avertissement NCCL et la trace désigne le rang qui arrive en retard à l’AllReduce.

La stack se lit de bas en haut, comme une chaîne de production. Sur chaque nœud, des collecteurs relèvent les signaux. Un étage central les stocke et décide des alertes. Grafana, en haut, les affiche dans des tableaux de bord par thème.

flowchart TB
  subgraph C["Collecte (par nœud)"]
    direction LR
    D["dcgm-exporter (NVIDIA)<br/>ou AMD Device Metrics<br/>Exporter, GPU"]
    NE["node-exporter<br/>CPU, RAM, disque"]
    O["OTel Collector<br/>traces, logs"]
    F["Falco / Tetragon<br/>événements noyau"]
    S["slurm-exporter<br/>jobs, files"]
    I["ibstat + scripts<br/>InfiniBand"]
  end
  subgraph St["Stockage (centralisé)"]
    direction LR
    VM["Prometheus + Thanos ou Mimir,<br/>ou VictoriaMetrics<br/>métriques, 90 j"]
    L["Loki ou VictoriaLogs<br/>logs, 30 j"]
    T["Tempo / Jaeger<br/>traces, 7 j"]
    AM["Alertmanager"]
  end
  subgraph V["Visualisation (Grafana)"]
    direction LR
    V1["Cluster GPU"]
    V2["Réseau et stockage"]
    V3["Entraînement"]
    V4["Sécurité"]
    V5["Jobs Slurm"]
  end
  C --> St --> V

Les durées de rétention indiquées (90, 30 et 7 jours) sont des valeurs de départ, à ajuster à vos obligations d’audit. Aucun composant n’est propriétaire : tout est open source, autohébergé et auditable. Les données ne quittent pas l’infrastructure.

À chaque étage, plusieurs composants open source remplissent le même rôle ; la figure en cite quelques-uns sans en recommander un par défaut. Pour les métriques, Prometheus avec Thanos ou Mimir et VictoriaMetrics se départagent sur les mêmes critères. Le premier est la tenue de la cardinalité, c’est-à-dire du nombre de séries distinctes, qui monte vite avec une série par GPU et par rang. Suivent la rétention longue, la haute disponibilité, le coût d’exploitation et les compétences de l’équipe. Des offres commerciales, comme Grafana Cloud, Datadog ou Dynatrace, couvrent aussi ces besoins ; elles sortent du cadre autohébergé de cette architecture, mais se jugent avec la même grille.

C’est la pièce qui manque le plus souvent. Savoir que le GPU 3 du nœud 12 chauffe ne suffit pas : il faut savoir quel job l’occupait, pour quel utilisateur et sur quel compte. Sans ce lien, pas de refacturation, pas de diagnostic rapide, pas de réponse à l’auditeur.

Revenons à la question de l’équipe sécurité. Le code d’entraînement ne journalise pas ses connexions réseau et personne ne veut le modifier pour ça. eBPF répond à ce besoin. C’est une technologie du noyau Linux (le cœur du système d’exploitation) qui permet d’y poser de petits programmes d’observation, vérifiés par le noyau avant d’être chargés. L’image la plus juste est celle d’un compteur posé sur une canalisation : on mesure ce qui passe sans ouvrir le mur.

Ces programmes s’attachent à des milliers de points d’instrumentation : appels système, fonctions du noyau, événements réseau, accès aux fichiers. Grâce aux uprobes, ils s’attachent aussi aux fonctions des bibliothèques en espace utilisateur, c’est-à-dire hors du noyau ; les kprobes, elles, visent les fonctions du noyau. Le surcoût est faible et le code d’entraînement n’est pas modifié.

Pour les équipes techniques : trois exemples bpftrace et leurs limites

Tracer les allocations mémoire CUDA d’un processus (fonction de la bibliothèque libcuda, donc une uprobe et non une kprobe) :

Fenêtre de terminal
# Le chemin de libcuda dépend de la distribution et du pilote.
bpftrace -e 'uprobe:/usr/lib/x86_64-linux-gnu/libcuda.so.1:cuMemAlloc_v2
/pid == $1/ { printf("alloc %lu octets\n", arg1); }' <PID>

Détecter les connexions sortantes inattendues d’un processus Python :

Fenêtre de terminal
bpftrace -e 'kprobe:tcp_connect /comm == "python3" || comm == "pt_main_thread"/ {
$sk = (struct sock *)arg0;
printf("%s -> %s\n", comm, ntop($sk->__sk_common.skc_daddr));
}'

Les versions 2.3 et 2.4 de PyTorch renomment le thread principal pt_main_thread (ajout par la PR 121170, retrait avant la 2.5 par la PR 134066) : avec ces versions, un filtre sur python3 seul ne voit pas les processus d’entraînement. Filtrez de préférence par PID (/pid == $1/) ou par cgroup du job (cgroup) plutôt que par nom de processus. Le champ skc_daddr ne couvre que l’IPv4 ; pour l’IPv6, il faut lire skc_v6_daddr.

Surveiller les ouvertures de fichiers dans le répertoire des points de reprise :

Fenêtre de terminal
bpftrace -e 'tracepoint:syscalls:sys_enter_openat
/strncmp(str(args->filename), "/checkpoints", 12) == 0/ {
printf("[%s] ouvre %s\n", comm, str(args->filename));
}'

Ce filtre ne voit que les chemins absolus : un fichier ouvert par un chemin relatif, par exemple checkpoints/step_100.pt depuis le répertoire de travail, lui échappe.

En production, on ne lance pas ces scripts à la main : deux outils s’appuient sur eBPF. Falco détecte les comportements suspects et alerte en temps réel : accès inhabituels à des fichiers, connexions inattendues, modification de binaires. Tetragon (projet Cilium) va plus loin. Il applique des politiques d’appels système par processus et peut bloquer une opération non autorisée avant qu’elle aboutisse, qu’il s’agisse d’un ioctl CUDA (un appel direct au pilote du GPU), d’une connexion réseau ou d’une lecture de points de reprise.

Le tableau récapitule le rôle de chaque outil cité dans ce chapitre.

OutilRôle
Prometheus avec Thanos ou Mimir, ou VictoriaMetricsstockage des métriques compatible Prometheus ; à départager sur la tenue de la cardinalité (par GPU, par rang), la rétention et le coût d’exploitation
dcgm-exportermétriques des GPU NVIDIA via DCGM : SM, HBM, ECC, NVLink, énergie ; point d’entrée pour les GPU NVIDIA, avec le label hpc_job pour le rattachement au job
AMD Device Metrics Exporteréquivalent pour les GPU AMD (ROCm), avec une intégration Slurm
OpenTelemetrytraces et logs, SDK Python pour PyTorch, protocole OTLP, Collector
Grafanatableaux de bord corrélant métriques, logs et traces
Loki ou VictoriaLogsagrégation de logs indexée par labels, efficace pour Slurm, NCCL et Python
Falcodétection comportementale par eBPF
Tetragonapplication de politiques d’appels système par eBPF
Slurmordonnanceur ; prolog et epilog pour l’instrumentation par job

Révisé le 2 octobre 2026 : rattachement des métriques GPU au job par le label hpc_job de dcgm-exporter (la jointure par UUID ne fonctionne pas), équivalent AMD ajouté, options de stockage des métriques présentées avec les mêmes critères, filtre bpftrace adapté au thread pt_main_thread des versions 2.3 et 2.4 de PyTorch, rôle des scripts prolog et epilog précisé, limites IPv4 et chemins relatifs signalées.