Le parallélisme

Trois schémas, du plus simple au plus exigeant

Schéma	Communication	Exemples
Parallélisme trivial (embarrassingly parallel)	aucune : chaque tâche tourne seule, les résultats sont rassemblés à la fin	conversion d’images, balayages de paramètres, Monte Carlo
Couplage serré (MPI)	constante : à chaque pas de temps, chaque processeur échange avec ses voisins	simulation atmosphérique, mécanique des fluides, éléments finis
Parallélisme de données	par lot : le modèle est répliqué sur chaque GPU et synchronisé après chaque lot	entraînement de LLM, vision, recommandation

Les trois schémas se distinguent par la forme de leurs échanges :

flowchart TB
  subgraph TRI["Trivial"]
    direction LR
    T1["Tâche 1"] --> TR["Résultats<br/>rassemblés"]
    T2["Tâche 2"] --> TR
    T3["Tâche 3"] --> TR
  end
  subgraph MPI["Couplage serré, MPI"]
    direction LR
    M1["P1"] <--> M2["P2"]
    M2 <--> M3["P3"]
    M3 <--> M4["P4"]
  end
  subgraph DAT["Parallélisme de données"]
    direction LR
    G1["GPU 1<br/>copie du modèle"] <--> SY["Synchronisation<br/>après chaque lot"]
    G2["GPU 2<br/>copie du modèle"] <--> SY
  end
  TRI ~~~ MPI
  MPI ~~~ DAT

Plus la communication est fréquente, plus l’interconnect devient critique et plus un seul nœud lent ralentit tous les autres.

Passer à l’échelle

Strong scaling : le problème reste fixe, on ajoute des processeurs et on mesure le gain de temps.

Weak scaling : le problème grandit en même temps que le nombre de processeurs et on regarde si le temps reste stable.

La loi d’Amdahl

Doubler le nombre de processeurs réduit rarement le temps de moitié. Une partie du travail ne se divise pas. À grande échelle, ces parts non parallèles et le coût des communications fixent la limite.

Exemple : si 5 % du travail est séquentiel, le gain de vitesse ne dépassera jamais 20, quel que soit le nombre de processeurs.

Qui utilise le HPC

Domaine	Usages
Météo et climat	prévisions mondiales plusieurs fois par jour, simulations sur plusieurs décennies
Énergie et ingénierie	aérodynamique, essais de choc, réservoirs, sûreté nucléaire
Sciences du vivant	criblage moléculaire, génomique, imagerie médicale
Finance et risque	valorisation de portefeuilles complexes, tests de résistance réglementaires
Défense	cryptographie, traitement du signal, géospatial
Recherche publique	astrophysique, matériaux, infrastructures nationales partagées

Dans la plupart de ces domaines, il n’existe pas d’autre moyen de mener le travail à son terme.

Marquer comme lue