Schéma explorable : un cluster HPC IA

Mode de lecture

IngénieurDécideur

Un cluster d’entraînement IA empile cinq couches : des nœuds GPU, un interconnect, un stockage parallèle, un ordonnanceur et une pile logicielle. Ce schéma en montre une version réduite à deux nœuds de 8 GPU NVIDIA H100 SXM. Chaque élément ouvre une fiche : ce qu’il est, ce qu’on y observe et avec quel outil, ce qui le menace. Le mode Observer place les collecteurs et leurs signaux, le mode Menaces pose les six vecteurs d’attaque du chapitre de référence sur les parties qu’ils visent.

ObserverMenaces

Cliquez sur un élément du schéma, ou parcourez-le au clavier (Tab, puis Entrée ou Espace) : sa fiche s’ouvre sous le schéma.

Faites glisser le schéma horizontalement pour le voir en entier.

Où sont les collecteurs

• slurm-exporter → Ordonnanceur Slurm
• dcgm-exporter (label hpc_job) → NVIDIA H100 SXM
• node-exporter, Falco, Tetragon → Nœud GPU
• profileur PyTorch, logs NCCL → Pile logicielle ML
• ibstat, perfquery → InfiniBand NDR
• métriques Lustre → Lustre / IBM Storage Scale
• eBPF sur les points de reprise → Poids du modèle

Les six vecteurs de menace

• 1Chaîne d'approvisionnement (PyPI)
• 2Empoisonnement des données
• 3Angle mort RDMA
• 4Injection de gradients
• 5Fuite de mémoire GPU
• 6Évasion de conteneur

Jouer un pas d'entraînement Un GPU traînard (GPU 2)

1. Chargement
2. Passe avant
3. Passe arrière
4. AllReduce NCCL
5. Optimiseur
6. Attente à la barrière

Exemple illustratif : durées construites d'après l'ordre de grandeur du chapitre 2 (un pas d'environ 42 ms) ; le traînard met deux fois plus de temps pour sa passe arrière. Pour le détail : le pas d'entraînement animé et le simulateur d'effet traînard.

À essayer

1. Ouvrez un GPU puis le nœud qui le contient. Le GPU expose ses compteurs par dcgm-exporter ; c’est le label hpc_job, écrit par les scripts prolog et epilog de Slurm, qui permet de rattacher ces compteurs à un job, puis à un utilisateur et à un compte.
2. Jouez un pas sans traînard, puis avec. Avec un GPU traînard, tous les autres s’arrêtent à la barrière avant l’AllReduce : la durée du pas s’aligne sur le plus lent, alors que chaque GPU semble occupé.
3. Passez en mode Menaces et ouvrez le vecteur 3. Le trafic RDMA contourne le noyau : ni pare-feu ni eBPF ne le voient. Les seuls signaux sont les compteurs InfiniBand, les mêmes que ceux de l’exploitation.
4. Ouvrez les poids du modèle. Les six vecteurs convergent vers eux ; les collecteurs qui les protègent sont ceux du mode Observer.

Pour aller plus loin

• HPC IA : observabilité et sécurité, architecture de référence, la formation dont ce schéma est tiré
• Architecture d’un cluster HPC IA : les cinq couches
• Anatomie d’un pas d’entraînement distribué : les cinq phases et l’effet traînard
• La pile d’observabilité HPC IA : collecte, stockage, visualisation, eBPF
• Surface d’attaque du HPC IA : les six vecteurs et leur détection
• Le pas d’entraînement animé : le ring AllReduce et la barrière en détail
• Le simulateur de l’effet traînard : l’efficacité perdue de 8 à 1024 GPU

PasserellesCe que cette page change au-delà de l'équipe technique.

BusinessValeur, coût, risque

Un cluster de GPU s'achète au prix fort et se pilote souvent au taux d'utilisation. Le schéma montre où se mesure l'efficacité réelle (durée de pas, décomposition, durée par rang) et pourquoi un seul GPU lent fait attendre tous les autres.

OrganisationQui décide, qui possède

Chaque couche a son propriétaire : l'ordonnanceur, le réseau, le stockage, la pile logicielle, l'équipe d'entraînement. Le rattachement de chaque métrique GPU à un job, un utilisateur et un compte est ce qui permet de leur parler avec les mêmes chiffres.

HumainÉquipes, astreinte, compétences

Le mode Menaces pose sur le même schéma les six vecteurs que l'équipe sécurité surveille et le mode Observer les collecteurs de l'exploitation : la même pile sert aux deux, une raison de les faire travailler ensemble.

MétiersProduit, finance, risque, relation client

Pour une équipe de recherche, le schéma répond à une question simple : où passe le temps de mon entraînement et qui peut lire les poids de mon modèle.

Pourquoi des passerelles →