Aller au contenu

TechniqueDécouverte5 min de lecture

Anatomie d'un cluster

Les cinq composants d'un cluster HPC et la vie d'un calcul en sept étapes, de la soumission au résultat, racontées à travers le parcours d'une chercheuse.

Pour : ingénieurs et SRE · architectes · managers d’équipe · direction et DSIPrérequis : Aucun.

Scénario illustratif. Une chercheuse en climatologie veut simuler l’évolution d’un océan sur plusieurs décennies. Elle ne s’installe pas devant le supercalculateur, qu’elle ne verra jamais. Depuis son bureau, elle se connecte à une machine d’accueil, écrit un court fichier qui décrit son calcul et ce dont il a besoin, puis le dépose dans une file d’attente. Quelques heures plus tard, le calcul démarre sur des dizaines de serveurs. Le lendemain, un message lui annonce qu’il est terminé et que ses résultats l’attendent.

Ce trajet traverse les cinq composants de tout cluster. Les connaître suffit pour suivre la plupart des discussions avec une équipe de calcul.

Le premier est le nœud de connexion. Un nœud, c’est simplement une machine du cluster, un serveur. Celui-ci sert de hall d’accueil : on s’y connecte pour préparer et soumettre son travail, jamais pour calculer.

Le deuxième est l’ordonnanceur, le logiciel qui gère la file d’attente, décide des priorités et attribue les machines. Le troisième, ce sont les nœuds de calcul : les serveurs qui font le travail, avec leurs processeurs et leurs accélérateurs. Le quatrième est l’interconnect, le réseau très rapide qui relie les nœuds entre eux. Le cinquième est le stockage parallèle, un espace de fichiers partagé par toutes les machines et conçu pour débiter énormément de données à la fois.

Le travail suit toujours le même chemin. L’utilisateur le prépare sur le nœud de connexion et le soumet à l’ordonnanceur, qui réserve des nœuds de calcul. Ces nœuds communiquent par l’interconnect, lisent et écrivent sur le stockage parallèle.

flowchart TB
  U["Utilisateur"] --> L["Nœud de<br/>connexion"]
  L -->|"soumet"| S["Ordonnanceur"]
  S -->|"réserve"| C1["Nœud de calcul 1<br/>CPU, GPU"]
  S -->|"réserve"| C2["Nœud de calcul 2<br/>CPU, GPU"]
  C1 <--> IC["Interconnect"]
  C2 <--> IC
  C1 <--> FS[("Stockage<br/>parallèle")]
  C2 <--> FS

Si un nœud est une maison, le cluster est la ville. Chaque nœud est un serveur puissant, avec ses processeurs (les CPU, qui exécutent les programmes), sa mémoire et son lien réseau. Un cluster en compte de quelques centaines à plusieurs milliers. Chacun pourrait fonctionner seul ; la puissance vient de leur coopération sur un même problème.

Beaucoup de nœuds portent aussi des accélérateurs, le plus souvent des GPU (Graphics Processing Units, processeurs graphiques). Un processeur classique ressemble à quelques artisans très polyvalents. Un GPU ressemble plutôt à une armée d’ouvriers qui savent faire une seule chose simple, mais tous en même temps : il contient des milliers de petits cœurs de calcul spécialisés. Conçus à l’origine pour l’affichage graphique, les GPU excellent dans le calcul mathématique répétitif, en simulation comme en IA. Sur la bonne charge, un GPU dépasse un processeur classique d’un facteur dix ou plus. Un nœud en porte souvent plusieurs.

L’interconnect est le système nerveux du cluster. Les nœuds qui travaillent sur le même problème s’échangent des résultats en permanence ; chaque attente se paie. Ce réseau vise donc une latence (le délai entre l’envoi d’un message et sa réception) de l’ordre de la microseconde, soit, en ordre de grandeur, cent à mille fois moins qu’un réseau de bureau, selon la pile logicielle utilisée. On y trouve surtout de l’Ethernet haut débit et InfiniBand, une technologie de réseau conçue pour le calcul.

Le stockage parallèle joue le rôle d’une bibliothèque où des centaines de lecteurs peuvent consulter les mêmes ouvrages en même temps. Les données y sont réparties sur de nombreux disques et serveurs, ce qui permet de les lire par morceaux, en parallèle. Son débit total va de quelques dizaines de gigaoctets par seconde (Go/s) à plusieurs téraoctets par seconde (To/s) selon la taille du système. Les solutions courantes s’appellent Lustre, IBM Storage Scale (anciennement Spectrum Scale, ou GPFS) et BeeGFS.

Avec des milliers d’utilisateurs, personne ne peut lancer ce qu’il veut quand il veut, pas plus qu’un pilote ne décolle sans l’accord de la tour de contrôle. Chaque travail soumis s’appelle un job. L’ordonnanceur met les jobs en file d’attente, décide de leurs priorités en appliquant des règles d’équité entre équipes, réserve les ressources puis démarre chaque job. Il comptabilise aussi l’usage par projet ou par utilisateur : c’est sur ce relevé que reposent le partage équitable et la refacturation.

L’outil de référence s’appelle Slurm. On y soumet un job avec la commande sbatch. Il en existe d’autres, comme PBS ou OpenPBS et IBM LSF.

Reprenons la chercheuse. Elle commence par écrire le script de son job : le programme à lancer, les ressources demandées (combien de nœuds, combien de GPU) et la durée prévue. Elle le soumet ensuite, avec sbatch sur Slurm. Le job rejoint la file d’attente. Quand son tour approche, l’ordonnanceur décide en appliquant la priorité et les règles d’équité. Vient l’allocation : des nœuds sont réservés à ce job et à lui seul. Commence alors l’exécution, faite de calcul, d’échanges entre nœuds et d’écriture des résultats. À la fin, les ressources sont libérées, l’ordonnanceur enregistre la consommation et prévient la chercheuse.

Le schéma montre les mêmes étapes comme les états successifs du job :

stateDiagram-v2
  state "Script écrit" as Script
  state "Soumis" as Soumis
  state "En file" as EnFile
  state "Priorisé" as Decide
  state "Alloué" as Alloue
  state "En exécution" as Exec
  state "Libéré" as Libere
  [*] --> Script
  Script --> Soumis: sbatch
  Soumis --> EnFile
  EnFile --> Decide: priorité et équité
  Decide --> Alloue: nœuds réservés
  Alloue --> Exec
  Exec --> Libere: fin du calcul
  Libere --> [*]: comptabilité, notification

Un détail surprend souvent les nouveaux venus : l’utilisateur ne choisit pas lui-même un nœud de calcul pour y lancer son travail. Il passe toujours par le nœud de connexion, d’où il soumet son job à l’ordonnanceur. Beaucoup de sites autorisent ensuite une connexion à distance (par SSH, l’outil standard de connexion sécurisée en ligne de commande) aux nœuds alloués à l’un de ses jobs en cours, pour suivre son exécution, mais pas aux autres.

Révisé le 2 octobre 2026 : latence de l’interconnect présentée comme un ordre de grandeur (de l’ordre de la microseconde, cent à mille fois moins qu’un réseau de bureau selon la stack logicielle). Affirmation non sourcée sur son coût retirée ; IBM Storage Scale à la place de Spectrum Scale, débits du stockage parallèle harmonisés avec la formation de référence.