Helios

De Wiki de Calcul Québec
Aller à : Navigation, rechercher
Autres langues :anglais 100% • ‎français 100%

Sommaire

Description

Helios est un superordinateur composé de nœuds à processeurs graphiques (GPGPU) qui a été installé dans le centre de calcul à l'université Laval au printemps 2014. Le serveur a été acheté à partir de fonds combinés de chercheurs de l'Université Laval, de l'Université de Montréal, ainsi qu'à partir de fonds de Calcul Québec. En date de l'été 2014, Helios est le plus grand déploiement de GPGPU administré par Calcul Canada, à la fois en terme de nombre de GPU et de puissance de calcul.

Composition du serveur

Helios est composé de 15 nœuds de calcul disposant chacun de huit GPU K20 de nVidia, et de 6 nœuds de calcul disposant chacun de huit cartes K80 nVidia. Chaque carte K80 contient deux GPU portant le total de GPUs à 216 GPUs.

Nœuds K20

Sur les nœuds K20, les huit GPUs se partagent quatre bus PCIe. Chaque nœud dispose aussi de 128 Go de mémoire vive, deux processeurs Intel Xeon Ivy Bridge E5-2670 v2 de 10 cœurs à 2.5 GHz (total de 20 cœurs par nœud), de deux disques durs locaux de 1 To configurés en RAID0, et d'une carte InfiniBand. Chaque nœud de la grappe de calcul est relié aux autres nœuds via un réseau InfiniBand QDR non-bloquant.

Topologie détaillée des noeuds K20

Les noeuds d'Helios équipés de K20 ont la topologie suivante :

[nom@serveur $] nvidia-smi topo -m
        GPU0    GPU1    GPU2    GPU3    GPU4    GPU5    GPU6    GPU7    mlx4_0    CPU Affinity
GPU0     X      PIX     PHB     PHB     SOC     SOC     SOC     SOC     PHB         0-9
GPU1    PIX      X      PHB     PHB     SOC     SOC     SOC     SOC     PHB         0-9
GPU2    PHB     PHB      X      PIX     SOC     SOC     SOC     SOC     PHB         0-9
GPU3    PHB     PHB     PIX      X      SOC     SOC     SOC     SOC     PHB         0-9
GPU4    SOC     SOC     SOC     SOC      X      PIX     PHB     PHB     SOC         10-19
GPU5    SOC     SOC     SOC     SOC     PIX      X      PHB     PHB     SOC         10-19
GPU6    SOC     SOC     SOC     SOC     PHB     PHB      X      PIX     SOC         10-19
GPU7    SOC     SOC     SOC     SOC     PHB     PHB     PIX      X      SOC         10-19
mlx4_0  PHB     PHB     PHB     PHB     SOC     SOC     SOC     SOC      X     
 
Legend:
 
  X   = Self
  SOC = Path traverses a socket-level link (e.g. QPI)
  PHB = Path traverses a PCIe host bridge
  PXB = Path traverses multiple PCIe internal switches
  PIX = Path traverses a PCIe internal switch


Nœuds K80

Sur les nœuds K80, les 16 GPUs se partagent quatre bus PCIe. Chaque nœud dispose aussi de 256 Go de mémoire vive, deux processeurs Intel Xeon Ivy Bridge E5-2697 v2 de 12 cœurs à 2.7 GHz (total de 24 cœurs par nœud), de deux disques durs SSD locaux de 180 Go configurés en RAID0 (total 330 Go utilisable), et d'une carte InfiniBand. Chaque nœud de la grappe de calcul est relié aux autres nœuds via un réseau InfiniBand QDR non-bloquant.

Topologie détaillée des noeuds K80

Les noeuds d'Helios équipés de K80 ont la topologie suivante :

[nom@serveur $] nvidia-smi topo -m
	GPU0	GPU1	GPU2	GPU3	GPU4	GPU5	GPU6	GPU7	GPU8	GPU9	GPU10	GPU11	GPU12	GPU13	GPU14	GPU15	mlx4_0	CPU Affinity
GPU0	 X 	PIX	PXB	PXB	PHB	PHB	PHB	PHB	SOC	SOC	SOC	SOC	SOC	SOC	SOC	SOC	PHB	0-11
GPU1	PIX	 X 	PXB	PXB	PHB	PHB	PHB	PHB	SOC	SOC	SOC	SOC	SOC	SOC	SOC	SOC	PHB	0-11
GPU2	PXB	PXB	 X 	PIX	PHB	PHB	PHB	PHB	SOC	SOC	SOC	SOC	SOC	SOC	SOC	SOC	PHB	0-11
GPU3	PXB	PXB	PIX	 X 	PHB	PHB	PHB	PHB	SOC	SOC	SOC	SOC	SOC	SOC	SOC	SOC	PHB	0-11
GPU4	PHB	PHB	PHB	PHB	 X 	PIX	PXB	PXB	SOC	SOC	SOC	SOC	SOC	SOC	SOC	SOC	PHB	0-11
GPU5	PHB	PHB	PHB	PHB	PIX	 X 	PXB	PXB	SOC	SOC	SOC	SOC	SOC	SOC	SOC	SOC	PHB	0-11
GPU6	PHB	PHB	PHB	PHB	PXB	PXB	 X 	PIX	SOC	SOC	SOC	SOC	SOC	SOC	SOC	SOC	PHB	0-11
GPU7	PHB	PHB	PHB	PHB	PXB	PXB	PIX	 X 	SOC	SOC	SOC	SOC	SOC	SOC	SOC	SOC	PHB	0-11
GPU8	SOC	SOC	SOC	SOC	SOC	SOC	SOC	SOC	 X 	PIX	PXB	PXB	PHB	PHB	PHB	PHB	SOC	12-23
GPU9	SOC	SOC	SOC	SOC	SOC	SOC	SOC	SOC	PIX	 X 	PXB	PXB	PHB	PHB	PHB	PHB	SOC	12-23
GPU10	SOC	SOC	SOC	SOC	SOC	SOC	SOC	SOC	PXB	PXB	 X 	PIX	PHB	PHB	PHB	PHB	SOC	12-23
GPU11	SOC	SOC	SOC	SOC	SOC	SOC	SOC	SOC	PXB	PXB	PIX	 X 	PHB	PHB	PHB	PHB	SOC	12-23
GPU12	SOC	SOC	SOC	SOC	SOC	SOC	SOC	SOC	PHB	PHB	PHB	PHB	 X 	PIX	PXB	PXB	SOC	12-23
GPU13	SOC	SOC	SOC	SOC	SOC	SOC	SOC	SOC	PHB	PHB	PHB	PHB	PIX	 X 	PXB	PXB	SOC	12-23
GPU14	SOC	SOC	SOC	SOC	SOC	SOC	SOC	SOC	PHB	PHB	PHB	PHB	PXB	PXB	 X 	PIX	SOC	12-23
GPU15	SOC	SOC	SOC	SOC	SOC	SOC	SOC	SOC	PHB	PHB	PHB	PHB	PXB	PXB	PIX	 X 	SOC	12-23
mlx4_0	PHB	PHB	PHB	PHB	PHB	PHB	PHB	PHB	SOC	SOC	SOC	SOC	SOC	SOC	SOC	SOC	 X 	
 
Legend:
 
  X   = Self
  SOC = Path traverses a socket-level link (e.g. QPI)
  PHB = Path traverses a PCIe host bridge
  PXB = Path traverses multiple PCIe internal switches
  PIX = Path traverses a PCIe internal switch



Systèmes de fichiers

Helios partage les systèmes de fichiers Lustre de Colosse.

Liens pertinents

Vous trouverez de l'information spécifique à Helios dans la section Helios des pages suivantes :


Outils personnels
Espaces de noms

Variantes
Actions
Navigation
Ressources de Calcul Québec
Outils
Partager