✎ ressources:fidle4cbp[CBP]

✎ ressources:fidle4cbp
Cette page est en lecture seule. Vous pouvez afficher le texte source, mais ne pourrez pas le modifier. Contactez votre administrateur si vous pensez qu'il s'agit d'une erreur.
====== Utilisation de Fidle au Centre Blaise Pascal ======

La formation [[https://gricad-gitlab.univ-grenoble-alpes.fr/talks/fidle/-/wikis/home:FIDLE]] (pour Formation Introduction au Deep Learning]] a pour objectif de //proposer une introduction au Deep Learning, allant des concepts fondamentaux aux architectures avancées (VAE, Transformers, GAN, ...).//

Cette formation se basant sur l'exploitation de Notebooks Jupyter, elle requiert l'exploitation d'outils, notamment des outils des environnements de //Machine Learning// Tensorflow, PyTorch. La documentation fournie ne propose cependant pas les éléments permettant l'exploitation de GPU.

Voici quelques lignes pour pouvoir lancer simplement tous les notebook Fidle au CBP.

===== Création des notebooks et des bases d'images =====

  - Création du dossier accueillant les notebook et les bases d'images : <code>mkdir -p /local/$USER/FidleROOT</code>
  - Déplacement dans le dossier : <code>cd /local/$USER/FidleROOT</code>
  - Téléchargement des notebooks : <code>git clone https://gricad-gitlab.univ-grenoble-alpes.fr/talks/fidle.git</code>
  - Téléchargement des bases d'images : <code>wget https://fidle.cnrs.fr/fidle-datasets.tar</code>
  - Expansion de l'archive : <code>tar -xf fidle-datasets.tar</code>

<note important>Le choix du dossier **/local/$USER** comme racine n'est pas anodin ! Les bases de données de Machine Learning comportent des dizaines de milliers voire des millions d'images. Placer ces dossiers dans son dossier personnel ''$HOME'' occupera non seulement beaucoup d'espace, mais ralentira considérablement son utilisation.</note>

Pour éviter de trop charger le serveur Web hébergeant Fidle au CNRS, une copie a été placée sur l'espace projets du CBP : ''/projects''. Les 5 lignes précédentes peuvent se réduire aux 4 suivantes :

En lieu et place des lignes précédentes :
  - Création du dossier accueillant les notebook et les bases d'images : <code>mkdir -p /local/$USER/FidleROOT</code>
  - Déplacement dans le dossier : <code>cd /local/$USER/FidleROOT</code>
  - Téléchargement de l'archive et expansion des notebooks : <code>tar xzf /projects/FidleROOT/fidle.tgz</code>
  - Téléchargement de l'archive et expansion des images : <code>tar xzf /projects/FidleROOT/fidle-datasets.tar</code>

===== Chargement de l'environnement conda3 du CBP =====

L'environnement **conda** proposé en standard au CBP est le 4.9.2. Il intègre la majorité des outils exploités en Machine Learning mais également l'environnement Nvidia nécessaire à l'exploitation des GPU en Machine Learning.

Son chargement se fait par l'application de la commande :<code>module load conda3/4.9.2</code>

==== Lancement du jupiter-notebook ====

<code>jupyter-notebook --no-browser --ip=$(hostname)</code>


==== Installation d'un logiciel dans l'environnement Conda installée ====

Une fois l'environnement chargé avec ''source $HOME/CondaLatest.rc'', il suffit de taper ''conda install <Logiciel>'' pour que **Conda** recherche les dépendances, les installe puis installe le logiciel spécifié.

Par exemple, pour l'installation de machine learning **pytorch** : ''conda install pytorch''

==== Logs complets d'une installation ====

Voici les logs complets d'une installation classique :
<code>
[/home/jmylq/miniconda3] >>> /scratch/$USER/miniconda3
PREFIX=/scratch/jmylq/miniconda3
Unpacking payload ...
Collecting package metadata (current_repodata.json): done                                                                                                                      
Solving environment: done

## Package Plan ##

  environment location: /scratch/jmylq/miniconda3

  added / updated specs:
    - _libgcc_mutex==0.1=main
    - brotlipy==0.7.0=py39h27cfd23_1003
    - ca-certificates==2020.12.8=h06a4308_0
    - certifi==2020.12.5=py39h06a4308_0
    - cffi==1.14.4=py39h261ae71_0
    - chardet==3.0.4=py39h06a4308_1003
    - conda-package-handling==1.7.2=py39h27cfd23_1
    - conda==4.9.2=py39h06a4308_0
    - cryptography==3.3.1=py39h3c74f83_0
    - idna==2.10=py_0
    - ld_impl_linux-64==2.33.1=h53a641e_7
    - libedit==3.1.20191231=h14c3975_1
    - libffi==3.3=he6710b0_2
    - libgcc-ng==9.1.0=hdf63c60_0
    - libstdcxx-ng==9.1.0=hdf63c60_0
    - ncurses==6.2=he6710b0_1
    - openssl==1.1.1i=h27cfd23_0
    - pip==20.3.1=py39h06a4308_0
    - pycosat==0.6.3=py39h27cfd23_0
    - pycparser==2.20=py_2
    - pyopenssl==20.0.0=pyhd3eb1b0_1
    - pysocks==1.7.1=py39h06a4308_0
    - python==3.9.1=hdb3f193_2
    - readline==8.0=h7b6447c_0
    - requests==2.25.0=pyhd3eb1b0_0
    - ruamel_yaml==0.15.80=py39h27cfd23_0
    - setuptools==51.0.0=py39h06a4308_2
    - six==1.15.0=py39h06a4308_0
    - sqlite==3.33.0=h62c20be_0
    - tk==8.6.10=hbc83047_0
    - tqdm==4.54.1=pyhd3eb1b0_0
    - tzdata==2020d=h14c3975_0
    - urllib3==1.25.11=py_0
    - wheel==0.36.1=pyhd3eb1b0_0
    - xz==5.2.5=h7b6447c_0
    - yaml==0.2.5=h7b6447c_0
    - zlib==1.2.11=h7b6447c_3


The following NEW packages will be INSTALLED:

  _libgcc_mutex      pkgs/main/linux-64::_libgcc_mutex-0.1-main
  brotlipy           pkgs/main/linux-64::brotlipy-0.7.0-py39h27cfd23_1003
  ca-certificates    pkgs/main/linux-64::ca-certificates-2020.12.8-h06a4308_0
  certifi            pkgs/main/linux-64::certifi-2020.12.5-py39h06a4308_0
  cffi               pkgs/main/linux-64::cffi-1.14.4-py39h261ae71_0
  chardet            pkgs/main/linux-64::chardet-3.0.4-py39h06a4308_1003
  conda              pkgs/main/linux-64::conda-4.9.2-py39h06a4308_0
  conda-package-han~ pkgs/main/linux-64::conda-package-handling-1.7.2-py39h27cfd23_1
  cryptography       pkgs/main/linux-64::cryptography-3.3.1-py39h3c74f83_0
  idna               pkgs/main/noarch::idna-2.10-py_0
  ld_impl_linux-64   pkgs/main/linux-64::ld_impl_linux-64-2.33.1-h53a641e_7
  libedit            pkgs/main/linux-64::libedit-3.1.20191231-h14c3975_1
  libffi             pkgs/main/linux-64::libffi-3.3-he6710b0_2
  libgcc-ng          pkgs/main/linux-64::libgcc-ng-9.1.0-hdf63c60_0
  libstdcxx-ng       pkgs/main/linux-64::libstdcxx-ng-9.1.0-hdf63c60_0
  ncurses            pkgs/main/linux-64::ncurses-6.2-he6710b0_1
  openssl            pkgs/main/linux-64::openssl-1.1.1i-h27cfd23_0
  pip                pkgs/main/linux-64::pip-20.3.1-py39h06a4308_0
  pycosat            pkgs/main/linux-64::pycosat-0.6.3-py39h27cfd23_0
  pycparser          pkgs/main/noarch::pycparser-2.20-py_2
  pyopenssl          pkgs/main/noarch::pyopenssl-20.0.0-pyhd3eb1b0_1
  pysocks            pkgs/main/linux-64::pysocks-1.7.1-py39h06a4308_0
  python             pkgs/main/linux-64::python-3.9.1-hdb3f193_2
  readline           pkgs/main/linux-64::readline-8.0-h7b6447c_0
  requests           pkgs/main/noarch::requests-2.25.0-pyhd3eb1b0_0
  ruamel_yaml        pkgs/main/linux-64::ruamel_yaml-0.15.80-py39h27cfd23_0
  setuptools         pkgs/main/linux-64::setuptools-51.0.0-py39h06a4308_2
  six                pkgs/main/linux-64::six-1.15.0-py39h06a4308_0
  sqlite             pkgs/main/linux-64::sqlite-3.33.0-h62c20be_0
  tk                 pkgs/main/linux-64::tk-8.6.10-hbc83047_0
  tqdm               pkgs/main/noarch::tqdm-4.54.1-pyhd3eb1b0_0
  tzdata             pkgs/main/noarch::tzdata-2020d-h14c3975_0
  urllib3            pkgs/main/noarch::urllib3-1.25.11-py_0
  wheel              pkgs/main/noarch::wheel-0.36.1-pyhd3eb1b0_0
  xz                 pkgs/main/linux-64::xz-5.2.5-h7b6447c_0
  yaml               pkgs/main/linux-64::yaml-0.2.5-h7b6447c_0
  zlib               pkgs/main/linux-64::zlib-1.2.11-h7b6447c_3


Preparing transaction: done
Executing transaction: done
installation finished.
Do you wish the installer to initialize Miniconda3
by running conda init? [yes|no]
[no] >>> yes
no change     /scratch/jmylq/miniconda3/condabin/conda
no change     /scratch/jmylq/miniconda3/bin/conda
no change     /scratch/jmylq/miniconda3/bin/conda-env
no change     /scratch/jmylq/miniconda3/bin/activate
no change     /scratch/jmylq/miniconda3/bin/deactivate
no change     /scratch/jmylq/miniconda3/etc/profile.d/conda.sh
no change     /scratch/jmylq/miniconda3/etc/fish/conf.d/conda.fish
no change     /scratch/jmylq/miniconda3/shell/condabin/Conda.psm1
no change     /scratch/jmylq/miniconda3/shell/condabin/conda-hook.ps1
no change     /scratch/jmylq/miniconda3/lib/python3.9/site-packages/xontrib/conda.xsh
no change     /scratch/jmylq/miniconda3/etc/profile.d/conda.csh
modified      /home/jmylq/.bashrc

==> For changes to take effect, close and re-open your current shell. <==

If you'd prefer that conda's base environment not be activated on startup, 
   set the auto_activate_base parameter to false: 

conda config --set auto_activate_base false

Thank you for installing Miniconda3!
</code>