Ceci est une ancienne révision du document !
Utilisation de Fidle au Centre Blaise Pascal
La formation https://gricad-gitlab.univ-grenoble-alpes.fr/talks/fidle/-/wikis/home:FIDLE (pour Formation Introduction au Deep Learning]] a pour objectif de proposer une introduction au Deep Learning, allant des concepts fondamentaux aux architectures avancées (VAE, Transformers, GAN, …).
Cette formation se basant sur l'exploitation de Notebooks Jupyter, elle requiert l'exploitation d'outils, notamment des outils des environnements de Machine Learning Tensorflow, PyTorch. La documentation fournie ne propose cependant pas les éléments permettant l'exploitation de GPU.
Voici quelques lignes pour pouvoir lancer simplement tous les notebook Fidle au CBP.
Création des notebooks et des bases d'images
- Création du dossier accueillant les notebook et les bases d'images :
mkdir -p /local/$USER/FidleROOT
- Déplacement dans le dossier :
cd /local/$USER/FidleROOT
- Téléchargement des notebooks :
git clone https://gricad-gitlab.univ-grenoble-alpes.fr/talks/fidle.git
- Téléchargement des bases d'images :
wget https://fidle.cnrs.fr/fidle-datasets.tar
- Expansion de l'archive :
tar -xf fidle-datasets.tar
Le choix du dossier /local/$USER comme racine n'est pas anodin ! Les bases de données de Machine Learning comportent des dizaines de milliers voire des millions d'images. Placer ces dossiers dans son dossier personnel
$HOME occupera non seulement beaucoup d'espace, mais ralentira considérablement son utilisation.
Pour éviter de trop charger le serveur Web hébergeant Fidle au CNRS, une copie a été placée sur l'espace projets du CBP : /projects. Les 5 lignes précédentes peuvent se réduire aux 4 suivantes :
En lieu et place des lignes précédentes :
- Création du dossier accueillant les notebook et les bases d'images :
mkdir -p /local/$USER/FidleROOT
- Déplacement dans le dossier :
cd /local/$USER/FidleROOT
- Téléchargement de l'archive et expansion des notebooks :
tar xzf /projects/FidleROOT/fidle.tgz
- Téléchargement de l'archive et expansion des images :
tar xf /projects/FidleROOT/fidle-datasets.tar
Chargement de l'environnement conda3 du CBP
L'environnement conda proposé en standard au CBP est le 4.9.2. Il intègre la majorité des outils exploités en Machine Learning mais également l'environnement Nvidia nécessaire à l'exploitation des GPU en Machine Learning.
Son chargement se fait par l'application de la commande :
module load conda3/4.9.2
Lancement du jupiter-notebook
jupyter-notebook --no-browser --ip=$(hostname)
Au chargement de la ligne précédente, le terminal affiche des lignes comparables aux suivantes :
[I 17:16:18.225 NotebookApp] Serving notebooks from local directory: /local/equemene/FidleROOT
[I 17:16:18.225 NotebookApp] Jupyter Notebook 6.4.11 is running at:
[I 17:16:18.225 NotebookApp] http://gtx980tialpha:8888/?token=33d8c9aa68079937983459d32551393c3ffeee7a1dbbc8fb
[I 17:16:18.225 NotebookApp] or http://127.0.0.1:8888/?token=33d8c9aa68079937983459d32551393c3ffeee7a1dbbc8fb
[I 17:16:18.225 NotebookApp] Use Control-C to stop this server and shut down all kernels (twice to skip confirmation).
[C 17:16:18.238 NotebookApp]
To access the notebook, open this file in a browser:
file:///home/equemene/.local/share/jupyter/runtime/nbserver-265627-open.html
Or copy and paste one of these URLs:
http://gtx980tialpha:8888/?token=33d8c9aa68079937983459d32551393c3ffeee7a1dbbc8fb
or http://127.0.0.1:8888/?token=33d8c9aa68079937983459d32551393c3ffeee7a1dbbc8fb
Copier l'adresse commençant par http mais ne contenant pas 127.0.0.1 et la coller dans son navigateur. Ici, ce serait :
http://gtx980tialpha:8888/?token=33d8c9aa68079937983459d32551393c3ffeee7a1dbbc8fb
Cette ligne ouvre le serveur Web créé par l'outil Jupyter sur la machine gtx980tialpha au Centre Blaise Pascal.
Attention, l'utilisation de cette adresse ne fonctionne QUE si vous êtes connecté sur une des machines du Centre Blaise Pascal par x2go ou sur une machine connectée avec un fil sur son réseau.
fr
en