Différences

Ci-dessous, les différences entre deux révisions de la page.

--- ressources:slurm4cbp [2022/04/13 12:35]
equemene [Ce qu'il faut retenir !]
+++ ressources:slurm4cbp [2023/12/01 11:00] (Version actuelle)
equemene [Ressources du Centre Blaise Pascal]
@@ Ligne 1: / Ligne 1: @@
-====== Utilisation de Slurm au Centre Blaise Pascal ======
+====== Utilisation de Cluster@CBP avec Slurm au Centre Blaise Pascal ======
 ===== Ce qu'il faut retenir ! =====
@@ Ligne 6: / Ligne 6: @@
   * pour connaître les noeuds disponibles ou les queues : ''sinfo''
   * pour connaître l'état des tâches : ''squeue''
-  * pour effectuer une réservation en mode interactif : ''srun -N <Noeuds> -n <Coeurs> \--pty bash''
+  * pour effectuer une réservation en mode interactif : ''srun %%--%%pty bash''
   * pour lancer une tâche définie par le script SLURM ''MyJob.slurm'' : ''sbatch MyJob.slurm''
+Comme "pense-bête" est disponible cette intéressante //[[https://slurm.schedmd.com/pdfs/summary.pdf|Reference Card]]//.
 ===== Contexte : exécution de tâches "mode intéractif" ou "mode non connecté" =====
-Généralement, l'exécution d'un programme au CBP sur une machine se fait via un terminal en ligne de commande. Les tâches, listées dans un script s'exécutent sur la machine hôte les unes après les autres. Se déconnecter de son terminal met fin à l'exécution de son programme. Avec **tmux** ou **screen**, il est possible de maintenir ses exécutions en se "détachant" de son terminal pour y revenir ensuite.
+Généralement, l'exécution d'un programme au CBP sur une machine se fait via un terminal en ligne de commande. Les tâches, listées dans un script, s'exécutent sur la machine hôte les unes après les autres. Se déconnecter de son terminal met fin à l'exécution de son programme. Avec **tmux** ou **screen**, il est possible de maintenir ses exécutions en se "détachant" de son terminal pour y revenir ensuite.
 Il est très profitable d'avoir un "soumissionneur" pour distribuer ses tâches à un ensemble de ressources disponibles, sans avoir à se connecter de manière individuelle sur chaque machine. L'exploitation de programmes parallèlisés s'exécutant de manière concurrente sur plusieurs coeurs d'une même machine ou sur plusieurs machines
@@ Ligne 34: / Ligne 35: @@
 dispose d'une infrastructure de production]].
-Les équipements accessibles via le soumissionneur SLURM sont 154 noeuds répartis de 4 types différents pour un total de 2080 coeurs et plus de 9 TB de RAM agrégées.
+Les équipements accessibles via le soumissionneur SLURM sont 96 noeuds répartis de 4 types différents pour un total de 1888 coeurs et plus de 8 TB de RAM agrégées.
 | **Cluster** | **Marque** | **Modèle** | **Noeuds** | **Coeurs /Noeud** |**RAM /Noeud**|**Réseau GE**|**Réseau IB**|**Total Coeurs**|**Total RAM**|
-| **r422** | Supermicro | R422 | 64 | 8 | 48 GB | GE | IB | 512 | 3072 GB |
+| **c82** | Dell | C8220 | 64 | 8 | 128 GB | GE | IB | 1024 | 8192 GB |
-| **r410** | Dell  | R410 | 48 | 8 | 24 GB | GE | IB | 384 | 1152 GB |
+| **c61** | Dell  | C6100 | 16 | 12 | 24 GB | GE | IB | 192 | 384 GB |
-| **s92** | Intel  | S9200 | 12 | 96 | 384 GB | GE | IB | 1152 | 4608 GB |
+| **c82gluster** | Dell  | C8220 | 4 | 16 | 256 GB | GE | IB | 32 | 1024 GB |
-| **c82gluster** | Dell  | C8220 | 4 | 16 | 64 GB | GE | IB | 32 | 256 GB |
 Ces clusters partagent exactement la même image de système, [[developpement:productions:sidus|Sidus]] (pour Single Instance Distributing Universal System), un système complet Debian intégrant tous les paquets scientifiques ainsi que de nombreux paquets de développement.
@@ Ligne 62: / Ligne 62: @@
   * un **//temporaire// très rapide** dans ''/distonet''
-Le **personnel CBP** correspond à l'espace utilisateur de ressources informatiques du CBP lorsqu'on se connecte :
+L'espace **personnel CBP** correspond à l'espace utilisateur de ressources informatiques du CBP lorsqu'on se connecte :
   * Toute machine de [[http://www.cbp.ens-lyon.fr/python/forms/CloudCBP|Cloud@CBP]] notamment :
     * aux 22 stations de travail de la salle de formation du CBP
@@ Ligne 105: / Ligne 105: @@
   * lancer une réservation de machines en mode interactif : commande ''srun'' et ses options
   * lancer un calcul autonome (sous forme de batch) : commande ''sbatch'' et ses options
+Ce [[https://slurm.schedmd.com/pdfs/summary.pdf|résumé sur Slurm]] reprend les commandes importantes.
 ==== Connaître les ressources disponibles ====
@@ Ligne 166: / Ligne 168: @@
 <code>sbatch HelloWorld.slurm</code>
+Il est possible de préciser dans le script de lancement de nombreuses informations notamment :
+  * le nom des sorties du terminal ''STDOUT'' et ''STDERR''
+  * l'adresse de courriel d'expédition de message
+  * les ressources nécessaires à l'exécution
+  * l'usage exclusif d'une ressource (par exemple un noeud)
+L'ordonnanceur **slurm** dispose de centaines d'options pour paramétrer sa requête.
 Le script de batch ''MyJob.slurm'' est le suivant :
@@ Ligne 178: / Ligne 186: @@
 # Definition du fichier de sortie des erreurs (stderr)
 #
+# Avec exclusive, le noeud est reserve dans sa totalite
 #SBATCH --exclusive
+#
 #SBATCH --mail-type=END
-#SBATCH --mail-user=<>
+#SBATCH --mail-user=mon.nom@mon-site.mon-pays
 srun date
@@ Ligne 187: / Ligne 197: @@
 </code>
+<note important>Suite de la documentation en construction</note>
+=== Réservation de ressources ===
+Pour l'instant, la réservation de ressources n'est possible que sur les noeuds, les coeurs et la mémoire sur les clusters du CBP.
+Voici un exemple de soumission slurm pour réserver un total de 64 coeurs sur un unique noeud
 === Lancer un batch parallèle sur plusieurs coeurs ===
@@ Ligne 198: / Ligne 216: @@
 </code>
-Le programme se lance en utilisant la commande de soumission ''qsub ./MyJob.qsub''.
+Le programme se lance en utilisant la commande de soumission ''sbatch ./MyJob.slurm''.
-La commande d'examen des tâches en cours ''qstat'' permet ensuite de savoir que le job a bien été pris en compte.
+La commande d'examen des tâches en cours ''squeue'' permet ensuite de savoir que le job a bien été pris en compte.
@@ Ligne 214: / Ligne 232: @@
 </code>
-Le programme se lance en utilisant la commande de soumission ''qsub ./MyJob.qsub''.
+Le programme se lance en utilisant la commande de soumission ''sbatch ./MyJob.slurm''.
-La commande d'examen des tâches en cours ''qstat'' permet ensuite de savoir que le job a bien été pris en compte.
+La commande d'examen des tâches en cours ''squeue'' permet ensuite de savoir que le job a bien été pris en compte.

ressources/slurm4cbp.1649846125.txt.gz · Dernière modification: 2022/04/13 12:35 par equemene

Rechercher

Translations

Piste:

Boîte à outils