TechniqueDécouverte4 min de lecture
Le parallélisme
Trois façons de répartir un calcul sur plusieurs machines, de la plus simple à la plus exigeante, puis pourquoi doubler les machines ne divise pas le temps par deux (strong scaling, weak scaling, loi d'Amdahl).
Pour : ingénieurs et SRE · architectes · managers d’équipe · direction et DSIPrérequis : Avoir lu la leçon 1 du parcours.
Scénario illustratif. Un chef de projet obtient deux fois plus de machines pour un calcul qui prenait une nuit entière. Il s’attend à récupérer ses résultats en milieu de nuit. Le calcul finit plus tôt, mais loin de deux fois plus vite. Personne ne s’est trompé : c’est la nature du parallélisme, c’est-à-dire l’art de découper un travail pour que plusieurs machines le fassent en même temps.
Tout dépend d’une question : à quelle fréquence les morceaux du travail doivent-ils se parler ?
Trois schémas, du plus simple au plus exigeant
Section intitulée « Trois schémas, du plus simple au plus exigeant »Imaginez trois chantiers.
Le premier ressemble à la correction de copies d’examen. On répartit le paquet entre dix correcteurs, chacun travaille dans son coin et on rassemble les notes à la fin. Personne n’a besoin de parler aux autres. En HPC, on appelle cela le parallélisme trivial (embarrassingly parallel en anglais) : chaque tâche tourne seule et les résultats sont réunis à la fin. C’est le cas de la conversion d’un lot d’images, des balayages de paramètres (on lance le même calcul avec mille réglages différents) ou des méthodes de Monte Carlo, qui estiment un résultat en répétant un grand nombre de tirages au hasard.
Le deuxième ressemble à des maçons qui montent ensemble un long mur. Chacun pose sa portion, mais doit sans cesse vérifier qu’elle s’aligne sur celle de ses voisins. C’est le couplage serré. Le calcul avance par pas de temps (une simulation qui avance, par exemple, minute par minute) et, à chaque pas, chaque processeur échange avec ses voisins. Ces échanges passent le plus souvent par MPI (Message Passing Interface), la bibliothèque standard qui permet aux programmes répartis sur plusieurs machines de s’envoyer des messages. On le trouve en simulation atmosphérique, en mécanique des fluides ou dans le calcul par éléments finis, qui découpe une pièce en petits morceaux pour en calculer la résistance.
Le troisième ressemble à plusieurs cuisiniers qui suivent la même recette, chacun sur sa propre fournée. Après chaque fournée, ils mettent leurs remarques en commun pour améliorer la recette de tous. C’est le parallélisme de données. Le modèle est copié sur chaque GPU, chaque copie traite un lot différent de données, puis toutes les copies se synchronisent après chaque lot. C’est ainsi qu’on entraîne les grands modèles de langage (les LLM, qui produisent du texte), les modèles de vision ou de recommandation.
Les trois schémas se distinguent par la forme de leurs échanges :
flowchart TB
subgraph TRI["Trivial"]
direction LR
T1["Tâche 1"] --> TR["Résultats<br/>rassemblés"]
T2["Tâche 2"] --> TR
T3["Tâche 3"] --> TR
end
subgraph MPI["Couplage serré, MPI"]
direction LR
M1["P1"] <--> M2["P2"]
M2 <--> M3["P3"]
M3 <--> M4["P4"]
end
subgraph DAT["Parallélisme de données"]
direction LR
G1["GPU 1<br/>copie du modèle"] <--> SY["Synchronisation<br/>après chaque lot"]
G2["GPU 2<br/>copie du modèle"] <--> SY
end
TRI ~~~ MPI
MPI ~~~ DAT
Plus la communication est fréquente, plus l’interconnect devient critique et plus un seul nœud lent ralentit tous les autres. Sur le chantier du mur, un maçon fatigué retarde ses deux voisins, qui retardent les leurs. Pour les copies d’examen, un correcteur lent ne gêne personne d’autre.
Passer à l’échelle
Section intitulée « Passer à l’échelle »Pour savoir si ajouter des machines vaut la peine, les équipes font deux types d’essais. Dans le premier, le strong scaling, le problème reste fixe : on ajoute des processeurs et on mesure le temps gagné. C’est la question du chef de projet de notre scénario. Dans le second, le weak scaling, le problème grandit en même temps que le nombre de processeurs (par exemple une carte météo deux fois plus fine sur deux fois plus de machines) et on regarde si le temps reste stable.
La loi d’Amdahl
Section intitulée « La loi d’Amdahl »Revenons au chef de projet déçu. Dans tout calcul, une partie du travail ne se divise pas : lire la configuration au démarrage, rassembler les résultats, écrire le fichier final. Pensez à un déménagement. Vingt déménageurs vident un appartement bien plus vite que deux, mais le trajet du camion dure le même temps, quel que soit leur nombre.
C’est la loi d’Amdahl, du nom de l’informaticien qui l’a formulée : la part du travail qui ne se divise pas fixe une limite au gain. À grande échelle, cette part séquentielle et le coût des communications entre machines décident de ce qu’on peut espérer.
Un exemple chiffré : si 5 % du travail est séquentiel, le calcul ne pourra jamais aller plus de 20 fois plus vite, quel que soit le nombre de processeurs. Même avec dix mille machines, ces 5 % restent à faire, l’un après l’autre.
Qui utilise le HPC ?
Section intitulée « Qui utilise le HPC ? »Les usages couvrent une bonne partie de l’économie. En météo et climat, on produit des prévisions mondiales plusieurs fois par jour et des simulations sur plusieurs décennies. L’énergie et l’ingénierie s’en servent pour l’aérodynamique, les essais de choc virtuels, la modélisation des réservoirs et la sûreté nucléaire. Les sciences du vivant y font du criblage moléculaire (tester par le calcul des milliers de molécules candidates), de la génomique et de l’imagerie médicale. La finance l’utilise pour valoriser des portefeuilles complexes et pour les tests de résistance exigés par les régulateurs. La défense y traite la cryptographie, le signal et les données géospatiales. La recherche publique, enfin, y fait de l’astrophysique et de la science des matériaux, souvent sur des infrastructures nationales partagées.
Dans la plupart de ces domaines, il n’existe pas d’autre moyen de mener le travail à son terme.