Différences

Ci-dessous, les différences entre deux révisions de la page.

--- ressources:slurm4cbp [2022/04/13 12:52]
equemene
+++ ressources:slurm4cbp [2023/12/01 11:00] (Version actuelle)
equemene [Ressources du Centre Blaise Pascal]
@@ Ligne 1: / Ligne 1: @@
-====== Utilisation de Slurm au Centre Blaise Pascal ======
+====== Utilisation de Cluster@CBP avec Slurm au Centre Blaise Pascal ======
 ===== Ce qu'il faut retenir ! =====
@@ Ligne 9: / Ligne 9: @@
   * pour lancer une tâche définie par le script SLURM ''MyJob.slurm'' : ''sbatch MyJob.slurm''
+Comme "pense-bête" est disponible cette intéressante //[[https://slurm.schedmd.com/pdfs/summary.pdf|Reference Card]]//.
 ===== Contexte : exécution de tâches "mode intéractif" ou "mode non connecté" =====
-Généralement, l'exécution d'un programme au CBP sur une machine se fait via un terminal en ligne de commande. Les tâches, listées dans un script s'exécutent sur la machine hôte les unes après les autres. Se déconnecter de son terminal met fin à l'exécution de son programme. Avec **tmux** ou **screen**, il est possible de maintenir ses exécutions en se "détachant" de son terminal pour y revenir ensuite.
+Généralement, l'exécution d'un programme au CBP sur une machine se fait via un terminal en ligne de commande. Les tâches, listées dans un script, s'exécutent sur la machine hôte les unes après les autres. Se déconnecter de son terminal met fin à l'exécution de son programme. Avec **tmux** ou **screen**, il est possible de maintenir ses exécutions en se "détachant" de son terminal pour y revenir ensuite.
 Il est très profitable d'avoir un "soumissionneur" pour distribuer ses tâches à un ensemble de ressources disponibles, sans avoir à se connecter de manière individuelle sur chaque machine. L'exploitation de programmes parallèlisés s'exécutant de manière concurrente sur plusieurs coeurs d'une même machine ou sur plusieurs machines
@@ Ligne 34: / Ligne 35: @@
 dispose d'une infrastructure de production]].
-Les équipements accessibles via le soumissionneur SLURM sont 154 noeuds répartis de 4 types différents pour un total de 2080 coeurs et plus de 9 TB de RAM agrégées.
+Les équipements accessibles via le soumissionneur SLURM sont 96 noeuds répartis de 4 types différents pour un total de 1888 coeurs et plus de 8 TB de RAM agrégées.
 | **Cluster** | **Marque** | **Modèle** | **Noeuds** | **Coeurs /Noeud** |**RAM /Noeud**|**Réseau GE**|**Réseau IB**|**Total Coeurs**|**Total RAM**|
-| **r422** | Supermicro | R422 | 64 | 8 | 48 GB | GE | IB | 512 | 3072 GB |
+| **c82** | Dell | C8220 | 64 | 8 | 128 GB | GE | IB | 1024 | 8192 GB |
-| **r410** | Dell  | R410 | 48 | 8 | 24 GB | GE | IB | 384 | 1152 GB |
+| **c61** | Dell  | C6100 | 16 | 12 | 24 GB | GE | IB | 192 | 384 GB |
-| **s92** | Intel  | S9200 | 12 | 96 | 384 GB | GE | IB | 1152 | 4608 GB |
+| **c82gluster** | Dell  | C8220 | 4 | 16 | 256 GB | GE | IB | 32 | 1024 GB |
-| **c82gluster** | Dell  | C8220 | 4 | 16 | 64 GB | GE | IB | 32 | 256 GB |
 Ces clusters partagent exactement la même image de système, [[developpement:productions:sidus|Sidus]] (pour Single Instance Distributing Universal System), un système complet Debian intégrant tous les paquets scientifiques ainsi que de nombreux paquets de développement.
@@ Ligne 62: / Ligne 62: @@
   * un **//temporaire// très rapide** dans ''/distonet''
-Le **personnel CBP** correspond à l'espace utilisateur de ressources informatiques du CBP lorsqu'on se connecte :
+L'espace **personnel CBP** correspond à l'espace utilisateur de ressources informatiques du CBP lorsqu'on se connecte :
   * Toute machine de [[http://www.cbp.ens-lyon.fr/python/forms/CloudCBP|Cloud@CBP]] notamment :
     * aux 22 stations de travail de la salle de formation du CBP
@@ Ligne 169: / Ligne 169: @@
 Il est possible de préciser dans le script de lancement de nombreuses informations notamment :
-  * le nom des sorties du terminal ''STDOUT'' et ''STDERR'
+  * le nom des sorties du terminal ''STDOUT'' et ''STDERR''
   * l'adresse de courriel d'expédition de message
   * les ressources nécessaires à l'exécution
@@ Ligne 186: / Ligne 186: @@
 # Definition du fichier de sortie des erreurs (stderr)
 #
-# Avec "exclusive", le noeud est reserve dans sa totalite
+# Avec exclusive, le noeud est reserve dans sa totalite
 #SBATCH --exclusive
 #
@@ Ligne 197: / Ligne 197: @@
 </code>
+<note important>Suite de la documentation en construction</note>
 === Réservation de ressources ===
+Pour l'instant, la réservation de ressources n'est possible que sur les noeuds, les coeurs et la mémoire sur les clusters du CBP.
+Voici un exemple de soumission slurm pour réserver un total de 64 coeurs sur un unique noeud
 === Lancer un batch parallèle sur plusieurs coeurs ===
@@ Ligne 213: / Ligne 218: @@
 Le programme se lance en utilisant la commande de soumission ''sbatch ./MyJob.slurm''.
-La commande d'examen des tâches en cours ''qstat'' permet ensuite de savoir que le job a bien été pris en compte.
+La commande d'examen des tâches en cours ''squeue'' permet ensuite de savoir que le job a bien été pris en compte.
@@ Ligne 227: / Ligne 232: @@
 </code>
-Le programme se lance en utilisant la commande de soumission ''qsub ./MyJob.qsub''.
+Le programme se lance en utilisant la commande de soumission ''sbatch ./MyJob.slurm''.
-La commande d'examen des tâches en cours ''qstat'' permet ensuite de savoir que le job a bien été pris en compte.
+La commande d'examen des tâches en cours ''squeue'' permet ensuite de savoir que le job a bien été pris en compte.

ressources/slurm4cbp.1649847120.txt.gz · Dernière modification: 2022/04/13 12:52 par equemene

Rechercher

Translations

Piste:

Boîte à outils