TechniquePratique7 min de lecture (+1 technique)
La stack d'observabilité HPC IA
Métriques, logs et traces à chaque couche du cluster, une stack souveraine en trois étages (collecte, stockage, visualisation) et eBPF pour observer sans modifier le code.
Pour : ingénieurs et SRE · architectesPrérequis : Avoir lu le chapitre 2 de la formation ; bases de Prometheus et de Linux.
Scénario illustratif. Un entraînement sur 32 GPU ralentit depuis une heure. L’ingénieur d’astreinte doit répondre à trois questions : quel rang traîne, sur quel nœud et à cause de quoi ? Puis l’équipe sécurité en pose une quatrième : ce processus Python qui tourne depuis la veille, a-t-il ouvert une connexion vers une adresse inconnue ? Les deux équipes regardent le même cluster. À mon avis, elles devraient aussi regarder la même stack.
Ce chapitre décrit cette stack : ce qu’on collecte, où on le stocke, comment on l’affiche et comment on observe ce que le code ne dit pas de lui-même.
Métriques, logs et traces dans un cluster d’entraînement
Section intitulée « Métriques, logs et traces dans un cluster d’entraînement »Les trois signaux de l’observabilité ont chacun leur rôle. Les métriques sont le tableau de bord de la voiture : des chiffres qui évoluent dans le temps et déclenchent un voyant quand ils sortent des clous. Les logs sont le carnet de bord : des événements écrits, avec leur contexte. Les traces suivent une opération de bout en bout, comme le suivi d’un colis d’entrepôt en entrepôt : elles disent où le temps s’est perdu.
| Signal | Contenu | Stockage | Usage |
|---|---|---|---|
| Métriques | utilisation des SM, bande passante HBM, durée de pas, latence NCCL, retransmissions InfiniBand | base de séries temporelles compatible Prometheus : Prometheus avec Thanos ou Mimir, ou VictoriaMetrics | alertes, tendances |
| Logs | erreurs CUDA, avertissements NCCL, interruptions Slurm, arrêts pour mémoire insuffisante | Loki ou VictoriaLogs | contexte qualitatif que les métriques ne capturent pas |
| Traces | parcours de bout en bout sur tous les nœuds et processus | Tempo ou Jaeger | savoir sur quel nœud et dans quelle fonction le temps est perdu ; indispensable pour les traînards |
Dans notre scénario, les métriques montrent que la durée de pas augmente, les logs signalent peut-être un avertissement NCCL et la trace désigne le rang qui arrive en retard à l’AllReduce.
Une stack en trois étages
Section intitulée « Une stack en trois étages »La stack se lit de bas en haut, comme une chaîne de production. Sur chaque nœud, des collecteurs relèvent les signaux. Un étage central les stocke et décide des alertes. Grafana, en haut, les affiche dans des tableaux de bord par thème.
flowchart TB
subgraph C["Collecte (par nœud)"]
direction LR
D["dcgm-exporter (NVIDIA)<br/>ou AMD Device Metrics<br/>Exporter, GPU"]
NE["node-exporter<br/>CPU, RAM, disque"]
O["OTel Collector<br/>traces, logs"]
F["Falco / Tetragon<br/>événements noyau"]
S["slurm-exporter<br/>jobs, files"]
I["ibstat + scripts<br/>InfiniBand"]
end
subgraph St["Stockage (centralisé)"]
direction LR
VM["Prometheus + Thanos ou Mimir,<br/>ou VictoriaMetrics<br/>métriques, 90 j"]
L["Loki ou VictoriaLogs<br/>logs, 30 j"]
T["Tempo / Jaeger<br/>traces, 7 j"]
AM["Alertmanager"]
end
subgraph V["Visualisation (Grafana)"]
direction LR
V1["Cluster GPU"]
V2["Réseau et stockage"]
V3["Entraînement"]
V4["Sécurité"]
V5["Jobs Slurm"]
end
C --> St --> V
Les durées de rétention indiquées (90, 30 et 7 jours) sont des valeurs de départ, à ajuster à vos obligations d’audit. Aucun composant n’est propriétaire : tout est open source, autohébergé et auditable. Les données ne quittent pas l’infrastructure.
À chaque étage, plusieurs composants open source remplissent le même rôle ; la figure en cite quelques-uns sans en recommander un par défaut. Pour les métriques, Prometheus avec Thanos ou Mimir et VictoriaMetrics se départagent sur les mêmes critères. Le premier est la tenue de la cardinalité, c’est-à-dire du nombre de séries distinctes, qui monte vite avec une série par GPU et par rang. Suivent la rétention longue, la haute disponibilité, le coût d’exploitation et les compétences de l’équipe. Des offres commerciales, comme Grafana Cloud, Datadog ou Dynatrace, couvrent aussi ces besoins ; elles sortent du cadre autohébergé de cette architecture, mais se jugent avec la même grille.
Rattacher chaque métrique au job
Section intitulée « Rattacher chaque métrique au job »C’est la pièce qui manque le plus souvent. Savoir que le GPU 3 du nœud 12 chauffe ne suffit pas : il faut savoir quel job l’occupait, pour quel utilisateur et sur quel compte. Sans ce lien, pas de refacturation, pas de diagnostic rapide, pas de réponse à l’auditeur.
eBPF : observer sans instrumenter
Section intitulée « eBPF : observer sans instrumenter »Revenons à la question de l’équipe sécurité. Le code d’entraînement ne journalise pas ses connexions réseau et personne ne veut le modifier pour ça. eBPF répond à ce besoin. C’est une technologie du noyau Linux (le cœur du système d’exploitation) qui permet d’y poser de petits programmes d’observation, vérifiés par le noyau avant d’être chargés. L’image la plus juste est celle d’un compteur posé sur une canalisation : on mesure ce qui passe sans ouvrir le mur.
Ces programmes s’attachent à des milliers de points d’instrumentation : appels système, fonctions du noyau, événements réseau, accès aux fichiers. Grâce aux uprobes, ils s’attachent aussi aux fonctions des bibliothèques en espace utilisateur, c’est-à-dire hors du noyau ; les kprobes, elles, visent les fonctions du noyau. Le surcoût est faible et le code d’entraînement n’est pas modifié.
Pour les équipes techniques : trois exemples bpftrace et leurs limites
Tracer les allocations mémoire CUDA d’un processus (fonction de la bibliothèque libcuda, donc une uprobe et non une kprobe) :
# Le chemin de libcuda dépend de la distribution et du pilote.bpftrace -e 'uprobe:/usr/lib/x86_64-linux-gnu/libcuda.so.1:cuMemAlloc_v2 /pid == $1/ { printf("alloc %lu octets\n", arg1); }' <PID>Détecter les connexions sortantes inattendues d’un processus Python :
bpftrace -e 'kprobe:tcp_connect /comm == "python3" || comm == "pt_main_thread"/ { $sk = (struct sock *)arg0; printf("%s -> %s\n", comm, ntop($sk->__sk_common.skc_daddr));}'Les versions 2.3 et 2.4 de PyTorch renomment le thread principal pt_main_thread (ajout par la PR 121170, retrait avant la 2.5 par la PR 134066) : avec ces versions, un filtre sur python3 seul ne voit pas les processus d’entraînement. Filtrez de préférence par PID (/pid == $1/) ou par cgroup du job (cgroup) plutôt que par nom de processus. Le champ skc_daddr ne couvre que l’IPv4 ; pour l’IPv6, il faut lire skc_v6_daddr.
Surveiller les ouvertures de fichiers dans le répertoire des points de reprise :
bpftrace -e 'tracepoint:syscalls:sys_enter_openat /strncmp(str(args->filename), "/checkpoints", 12) == 0/ { printf("[%s] ouvre %s\n", comm, str(args->filename));}'Ce filtre ne voit que les chemins absolus : un fichier ouvert par un chemin relatif, par exemple checkpoints/step_100.pt depuis le répertoire de travail, lui échappe.
En production, on ne lance pas ces scripts à la main : deux outils s’appuient sur eBPF. Falco détecte les comportements suspects et alerte en temps réel : accès inhabituels à des fichiers, connexions inattendues, modification de binaires. Tetragon (projet Cilium) va plus loin. Il applique des politiques d’appels système par processus et peut bloquer une opération non autorisée avant qu’elle aboutisse, qu’il s’agisse d’un ioctl CUDA (un appel direct au pilote du GPU), d’une connexion réseau ou d’une lecture de points de reprise.
Les outils de la stack
Section intitulée « Les outils de la stack »Le tableau récapitule le rôle de chaque outil cité dans ce chapitre.
| Outil | Rôle |
|---|---|
| Prometheus avec Thanos ou Mimir, ou VictoriaMetrics | stockage des métriques compatible Prometheus ; à départager sur la tenue de la cardinalité (par GPU, par rang), la rétention et le coût d’exploitation |
| dcgm-exporter | métriques des GPU NVIDIA via DCGM : SM, HBM, ECC, NVLink, énergie ; point d’entrée pour les GPU NVIDIA, avec le label hpc_job pour le rattachement au job |
| AMD Device Metrics Exporter | équivalent pour les GPU AMD (ROCm), avec une intégration Slurm |
| OpenTelemetry | traces et logs, SDK Python pour PyTorch, protocole OTLP, Collector |
| Grafana | tableaux de bord corrélant métriques, logs et traces |
| Loki ou VictoriaLogs | agrégation de logs indexée par labels, efficace pour Slurm, NCCL et Python |
| Falco | détection comportementale par eBPF |
| Tetragon | application de politiques d’appels système par eBPF |
| Slurm | ordonnanceur ; prolog et epilog pour l’instrumentation par job |
Révisé le 2 octobre 2026 : rattachement des métriques GPU au job par le label hpc_job de dcgm-exporter (la jointure par UUID ne fonctionne pas), équivalent AMD ajouté, options de stockage des métriques présentées avec les mêmes critères, filtre bpftrace adapté au thread pt_main_thread des versions 2.3 et 2.4 de PyTorch, rôle des scripts prolog et epilog précisé, limites IPv4 et chemins relatifs signalées.