Différences

Ci-dessous, les différences entre deux révisions de la page.

--- developpement:productions:sidus [2013/11/04 12:07]
ltaulell [Deboostrap]
+++ developpement:productions:sidus [2018/09/10 17:01]
ltaulell [Combien ?]
@@ Ligne 2: / Ligne 2: @@
 {{ :developpement:productions:sidus.png?200 |}}
-<note tip>SIDUS à l'honneur au kiosque numérique de [[http://www.linuxjournal.com/content/november-2013-issue-linux-journal-system-administration|Linux Journal en Novembre 2013]]. Merci encore à Marianne Corvellec pour son aide précieuse dans la promotion de SIDUS (collaboration pour cet article & présentation de [[http://conference.scipy.org/scipy2013/presentation_detail.php?id=199|Scipy 2013]])</note>
-<note warning>Tous les éléments présents dans cette documentation, les morceaux de code, etc entrent dans le cadre de la licence [[http://www.cecill.info/index.fr.html|CeCILL]]. Il est donc nécessaire de respecter les 4 libertés fondamentales des logiciels libres pour exploiter SIDUS dans sa propre infrastructure. Si vous comptez utiliser SIDUS dans votre infrastructure, faites le savoir à son [[emmanuel.quemener@ens-lyon.fr|auteur]], Centre Blaise Pascal ou citez le !</note>
-<note tip>Première [[https://conference.scipy.org/scipy2013/presentation_detail.php?id=199|présentation]] avec [[http://www.youtube.com/watch?v=J5myH0y_bks|vidéo]] de **SIDUS** à [[http://conference.scipy.org/scipy2013|Scipy 2013]]</note>
 **SIDUS** est l'acronyme de //Single Instance Distributing Universal System// et se propose de simplifier à l'extrême l'administration de machines.
@@ Ligne 55: / Ligne 48: @@
 Le Centre Blaise Pascal, hôtel à projets de l'ENS-Lyon dans le domaine du calcul et de l'informatique scientifiques, utilise SIDUS pour tous ses équipements dont l'uniformité doit être conservée le plus possible : un simple redémarrage doit suffire à replacer le système dans son état d'origine.
-Le Pôle Scientifique de Modélisation Numérique (PSMN), centre de calcul de l'ENS-Lyon, utilise maintenant SIDUS sur une centaine de noeuds et prépare sa généralisation pour la mise en place de Equip@Meso (près de 200 noeuds supplémentaires).
+Le Pôle Scientifique de Modélisation Numérique (PSMN), centre de calcul de l'ENS-Lyon, utilise maintenant SIDUS sur la totalité de ses noeuds de calcul.
 Le laboratoire de Chimie utilise "COMOD" pour quelques postes de travail "à la demande".
-Des membres des laboratoires de l'IGFL, du LBMC et du LJC se sont montrés intéressés par "COMOD" : il reste à définir les modalités d'accès lesquelles ne sont pas entre les mains du CBP.
+Les laboratoires de l'IGFL, du LBMC et du LJC utilisent "COMOD" : un cluster de 5 stations de travail gavées de GPU au LBMC, des stations graphiques à l'IGFL et au LJC.
 L'université Joseph Fourier, dans le cadre de ses écoles thématiques sur le calcul scientifique, utilise depuis 2011 SIDUS pour l'infrastructure de travaux pratiques des auditeurs.
@@ Ligne 67: / Ligne 60: @@
 De 8 clients légers Neoware gonflés en CPU et mémoire et détournés début 2010 de leur vocation originelle, nous approchons les 120 machines au CBP utilisant ce système.
-De quelques machines déployées à des fins expérimentales, le Pôle Scientifique de Modélisation Numérique utilise également SIDUS en production pour près 100 noeuds. Le futur équipement informatique Equip@Meso de près de 150 noeuds supplémentaires, utilisera SIDUS comme socle dans quelques semaines.
+De quelques machines déployées à des fins expérimentales, le Pôle Scientifique de Modélisation Numérique utilise également SIDUS en production sur plus de 500 noeuds. L'équipement informatique Equip@Meso d'environ 150 noeuds à lui tout seul, utilise également SIDUS comme socle.
 Quelques chercheurs du laboratoire de chimie utilisent SIDUS via COMOD : la disponibilité en offrant la possibilité de déployer une machine complète et opérationnelle sur son poste de travail en quelques secondes.
@@ Ligne 157: / Ligne 150: @@
 </code>
-Dans le ''$MyInclude'', nous avons tous nos outils de "de base". Il est IMPERATIF de placer au moins le noyau ''linux-image-3.2.0-4-amd64'' dans cette liste !
+Dans le ''$MyInclude'', nous avons tous nos outils "de base". Il est IMPERATIF de placer au moins le noyau ''linux-image-3.2.0-4-amd64'' dans cette liste !
 Par défaut, la commande suivante installe une version **wheezy** dans **/srv/nfsroot/sidus** pour une architecture **amd64** à partir du miroir Debian **http://ftp.debian.org/debian** :
 <code>
-time debootstrap --arch amd64 --components='main,contrib,non-free' --include=$MyInclude --exclude=$MyExclude wheezy $SIDUS http://ftp.debian.org/debian
+debootstrap --arch amd64 --components='main,contrib,non-free' --include=$MyInclude --exclude=$MyExclude wheezy $SIDUS http://ftp.debian.org/debian
 </code>
 A la suite de cette commande, nous devons prendre quelques précautions :
-  * normalement, si le paquet Debian est un service, ce dernier démarre après son installation. Nous devons donc inhiber le lancement de ce service par la définition d'un hook :
+  * normalement, si le paquet Debian est un service, ce dernier démarre après son installation. Nous devons donc inhiber le lancement de ce service par la définition d'un hook (''/usr/sbin/policy-rc.d'') :
 <code bash>
 #!/bin/sh
@@ Ligne 185: / Ligne 178: @@
 ===== Paquets spécifiques =====
-De manière à simplifier l'installation de paquets appartenant à la même famille, Debian a créé de nombreux meta-paquets, préfixés de "science" : **science-chemistry** désigne par exemple tous les paquets de chimie. La commande d'installation de tous paquets scientifiques se fait par une seule commande. Comme nous sommes épris de complétude, nous allons "aussi" rajouter les paquets "suggérés" (attention, l'option ''--install-suggests'' n'est présente qu'à partir de la distribution Wheezy) :<code>
+De manière à simplifier l'installation de paquets appartenant à la même famille, Debian a créé de nombreux meta-paquets, préfixés de "science" : **science-chemistry** désigne par exemple tous les paquets de chimie. La commande d'installation de tous paquets scientifiques se fait par une seule commande. Comme nous sommes épris de complétude, nous allons "aussi" rajouter les paquets "suggérés" (attention, l'option ''--install-suggests'' n'est présente qu'à partir de la distribution Wheezy) :
-time sidus apt-get install --install-suggests -f -m -y --force-yes science-*</code>
+<code>sidus apt-get install --install-suggests -f -m -y --force-yes science-*</code>
 Durant l'installation, les phases les plus longues sont le téléchargement des paquets qui représente plusieurs Go (et dépend donc de la connectivité à Internet et aux miroirs officiels) et la configuration initiale de certains paquets (comme Perl et LaTeX).
@@ Ligne 194: / Ligne 187: @@
 ===== Purge =====
-Malheureusement, cette boulimie d'installation n'est pas sans effet. Des paquets s'installent encore un peu "mal" et une purge de quelques uns, notamment un installeur Matlab, nous hérisse le poil !<code>
+Malheureusement, cette boulimie d'installation n'est pas sans effet. Des paquets s'installent encore un peu "mal" et une purge de quelques uns, notamment un installeur Matlab, nous hérisse le poil !
-time sidus apt-get purge -y -f --force-yes matlab-*</code>
+<code>sidus apt-get purge -y -f --force-yes matlab-*</code>
 ===== Environnement local =====
@@ Ligne 230: / Ligne 223: @@
 ===== Séquence de démarrage =====
-Comment partage SIDUS sans le dupliquer ? Nous allons nous inspirer de mécanisme utilisé dans certains LiveCD : le montage de la racine du système consiste en la superposition de deux couches, l'une lecture seule (le système NFSroot) et l'autre en lecture/écriture (un TMPFS dans le cas le plus simple). Les deux couches sont liées par la glue AUFS, le projet successeur de UnionFS.
+Comment partager SIDUS sans le dupliquer ? Nous allons nous inspirer de mécanisme utilisé dans certains LiveCD : le montage de la racine du système consiste en la superposition de deux couches, l'une lecture seule (le système NFSroot) et l'autre en lecture/écriture (un TMPFS dans le cas le plus simple). Les deux couches sont liées par la glue AUFS, le projet successeur de UnionFS.
 Tout réside dans un seul et unique "hook" au démarrage : rootaufs, placé très tôt dans le démarrage initrd. Son principe repose sur cinq étapes :
@@ Ligne 255: / Ligne 248: @@
 <note important>Dans [[http://www.linuxjournal.com/content/november-2013-issue-linux-journal-system-administration|numéro de novembre 2013 de Linux Journal]], ''vmlinux-Sidus'' est mentionné en lieu et place de ''vmlinuz-Sidus'' comme noyau servi par le serveur TFTP.</note>
 Il suffit ensuite de copier les noyau et boot loader dans la définition :<code>
-cp ${SIDUS}/vmlinuz /srv/tftp/vmlinuz-Sidus
+cp ${SIDUS}/boot/vmlinuz-3.2.0-4-amd64 /srv/tftp/vmlinuz-Sidus
-cp ${SIDUS}/initrd.img /srv/tftp/initrd.img-Sidus
+cp ${SIDUS}/boot/initrd.img-3.2.0-4-amd64 /srv/tftp/initrd.img-Sidus
 </code>
@@ Ligne 282: / Ligne 275: @@
   * Forcer le chargement des modules dans ''/etc/modules'' et regénérer le ''initrd''
-  * Liste à puceExécuter dans ''/etc/rc.local'' un script permettant de récupérer l'adresse IP Ethernet et construire une adresse IP pour la carte Infiniband.
+  * Exécuter dans ''/etc/rc.local'' un script permettant de récupérer l'adresse IP Ethernet et construire une adresse IP pour la carte Infiniband.
 ==== Pour les systèmes avec une carte Nvidia : ====
@@ Ligne 315: / Ligne 308: @@
 <code>
-rm -f ${SIDUS}/usr/bin/policy-rc.d
 cp /sbin/start-stop-daemon ${SIDUS}/sbin/start-stop-daemon
+</code>
+Si vous souhaitez que votre SIDUS chrooté démarre ses services (mauvaise idée), vous devez supprimer le hook correspondant.
+<code>
+rm -f ${SIDUS}/usr/bin/policy-rc.d
 </code>
@@ Ligne 360: / Ligne 357: @@
 </code>
-La dernière ligne des commandes aval est une précaution pour éviter que des processus lancer dans l'instance tourne sur l'hôte.
+La dernière ligne des commandes aval est une précaution pour éviter que des processus lancés dans l'instance tourne sur l'hôte.
@@ Ligne 414: / Ligne 411: @@
 Dans les deux cas, le //forwarding// doit être activé : ''/proc/sys/net/ipv4/ip_forward'' mis à ''1''.
- --- //[[emmanuel.quemener@ens-lyon.fr|Emmanuel Quemener]] 2013/11/03 15:38//
+====== Communications autour de SIDUS ======
+  * **Année 2014**
+    * Présentation à l'ISA : SIDUS outil de reproductibilité
+    * Présentation à [[http://lyoncalcul.univ-lyon1.fr/spip.php?article3|Lyon Calcul]] : [[http://www.cbp.ens-lyon.fr/emmanuel.quemener/documents/LyonCalcul2014.pdf|SIDUS outil de reproductibilité]], [[http://www.cbp.ens-lyon.fr/emmanuel.quemener/documents/PiMPI.avi|exemple vidéo]]
+    * Poster à Compas 2014 sur [[developpement:productions:sidus|SIDUS]] : [[http://www.cbp.ens-lyon.fr/emmanuel.quemener/documents/Compas2014_SIDUS.pdf|article Compas]], [[http://www.cbp.ens-lyon.fr/emmanuel.quemener/documents/Realis2014_SIDUS.pdf|article Realis]], [[http://www.cbp.ens-lyon.fr/emmanuel.quemener/documents/Compas2014_Poster.pdf|poster]]
+    * Présentation au LIP sur [[developpement:productions:sidus|SIDUS]] : [[http://www.cbp.ens-lyon.fr/emmanuel.quemener/documents/LIP-20140127-EQ.pdf|presentation]], janvier 2014
+  * **Année 2013**
+    * Poster JRES 2013 sur [[developpement:productions:sidus|SIDUS]] : [[http://www.cbp.ens-lyon.fr/emmanuel.quemener/documents/JRes2013-SIDUS-1121.pdf|article]], [[http://www.cbp.ens-lyon.fr/emmanuel.quemener/documents/JRes-Poster-SIDUS.pdf|poster]], décembre 2013
+    * Présentation [[http://succes2013.sciencesconf.org/|Succes 2013]] sur [[developpement:productions:sidus|SIDUS]] avec [[http://succes2013.sciencesconf.org/24312/document|article]], [[http://succes2013.sciencesconf.org/conference/succes2013/Succes_20131114_EQ.pdf|présentation]] et [[http://webcast.in2p3.fr/videos-JSFG2013_sidius|video]] : novembre 2013
+    * Article [[http://www.linuxjournal.com/content/november-2013-issue-linux-journal-system-administration|Linux Journal]] sur [[developpement:productions:sidus|SIDUS]] : novembre 2013
+    * Présentation [[http://conference.scipy.org/scipy2013/presentation_detail.php?id=199|SciPy 2013]] sur [[http://www.youtube.com/watch?v=J5myH0y_bks|SIDUS]]
+  * **Année 2012**
+    * Présentation [[http://aramis.resinfo.org/wiki/doku.php?id=pleniaires:pleniaire14juin2012|Aramis]] : [[http://www.cbp.ens-lyon.fr/emmanuel.quemener/documents/ARAMIS-20120614_EQ.pdf|Virtualisation de ressources dans un contexte Open Source]]
+    * Présentation Séminaire Chimie Théorique ENS-Lyon : [[http://www.cbp.ens-lyon.fr/emmanuel.quemener/documents/ChimieTheo2012.pdf|SIDUS & Loi d'Amdahl]]
+    * Présentation [[http://www.esrf.eu/events/conferences/debian-for-scientific-facilities-days-1/debian-for-scientific-facilities-days|Debian Facilitaties Days ]] : [[http://www.cbp.ens-lyon.fr/emmanuel.quemener/documents/DSFD2012_4.pdf|From Workstations to HPC with Debian]].
+ --- //[[emmanuel.quemener@ens-lyon.fr|Emmanuel Quemener]] 2015/03/20 09:27//

developpement/productions/sidus.txt · Dernière modification: 2022/03/16 14:45 par equemene

Rechercher

Translations

Piste:

Boîte à outils