Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentes Révision précédente
Prochaine révision
Révision précédente
ressources:ressources:tensorflow [2019/09/28 05:42]
equemene
ressources:ressources:tensorflow [2022/08/20 16:42] (Version actuelle)
equemene
Ligne 1: Ligne 1:
-====== Tensorflow ======+<note warning>​Documentation obsolète : elle correspond à un ancien système et ne doit pas être exploitée en ce moment. Pour exploiter le Machine Learning au CBP, suivez ce lien [[ressources:​miniconda4cbp|Exploitation ou Installation de Miniconda au Centre Blaise Pascal]]</​note>​
  
-Un nouvel environnement [[https://​www.tensorflow.org/​|Tensorflow]] a été installé ce printemps au Centre Blaise Pascal. ​ 
  
-Il exploite l'​environnement Anaconda3 installé dans le dossier ''/​opt/​anaconda3''​+====== Tensorflow ====== 
 + 
 +Un premier environnement [[https://​www.tensorflow.org/​|Tensorflow]] a été installé au printemps au Centre Blaise Pascal. ​Il exploite l'​environnement Anaconda3-2019.3 ​installé dans le dossier ''/​opt/​anaconda3''​
  
 +Un second environnement [[https://​www.tensorflow.org/​|Tensorflow]] a été installé cet automne au Centre Blaise Pascal. Il exploite l'​environnement Anaconda3-2019.10 installé dans le dossier ''/​opt/​anaconda3-2019.10''​
 ===== Configuration d'​exploitation ===== ===== Configuration d'​exploitation =====
  
-L'​environnement Tensorflow installé dans Anaconda3 exploite une version de TensorFlow 1.12+Deux environnements Tensorflow sont installés dans deux Anaconda3 différents : 
 +  * l'​environnement Tensorflow installé dans Anaconda3-2019.03 ​exploite une version de TensorFlow 1.12 
 +  * l'​environnement Tensorflow installé dans Anaconda3-2019.10 exploite une version de TensorFlow 2.0
  
-Pour la charge dans le SIDUS standard du CBP:<​code>​source /etc/conda.init+Pour charger l'​environnement Tensorflow 1.12 
 +Pour la charge dans le SIDUS standard du CBP:<​code>​source /etc/tensorflow.init
 </​code>​ </​code>​
 +
 +Pour charger l'​environnement Tensorflow 2.0
 +Pour la charge dans le SIDUS standard du CBP:<​code>​source /​etc/​tensorflow2.init
 +</​code>​
 +
 +
  
 Lorsqu'​il est activé l'​invite de commande est alors préfixée de ''​(base)''​. Par exemple, l'​utilisateur ''​einstein''​ sur la machine ''​ascenseur''​ aura comme invite de commande :<​code>​(base) einstein@ascenseur:​~$</​code>​ Lorsqu'​il est activé l'​invite de commande est alors préfixée de ''​(base)''​. Par exemple, l'​utilisateur ''​einstein''​ sur la machine ''​ascenseur''​ aura comme invite de commande :<​code>​(base) einstein@ascenseur:​~$</​code>​
  
-===== Exemple =====+===== Exemple ​pour Tensorflow 1.12 =====
  
 L'​exemple suivant, fourni par le [[https://​www.tensorflow.org/​|site officiel]], permet de rapidement juger du fonctionnement de l'​environnement. Il nécessite le lancement de l'​interpréteur python : L'​exemple suivant, fourni par le [[https://​www.tensorflow.org/​|site officiel]], permet de rapidement juger du fonctionnement de l'​environnement. Il nécessite le lancement de l'​interpréteur python :
Ligne 59: Ligne 70:
 Une grande variété de [[https://​www.tensorflow.org/​tutorials/​|tutoriels]] en ligne permettent de vérifier le bon fonctionnement. Une grande variété de [[https://​www.tensorflow.org/​tutorials/​|tutoriels]] en ligne permettent de vérifier le bon fonctionnement.
  
 +===== Exemple pour Tensorflow 2.0 =====
 +
 +L'​exemple précédent ne fonctionne pas : voici un petit exemple qui fonctionne pour tester son tensorflow 2.0
 +<​code>​
 +# Python
 +from __future__ import absolute_import,​ division, print_function,​ unicode_literals
 +import tensorflow as tf
 +# Create some tensors ​
 +a = tf.constant([[1.0,​ 2.0, 3.0], [4.0, 5.0, 6.0]]) ​
 +b = tf.constant([[1.0,​ 2.0], [3.0, 4.0], [5.0, 6.0]]) ​
 +c = tf.matmul(a,​ b)
 +print(c)
 +</​code>​
 +
 +A l'​exécution de la troisième ligne, l'​environnement détecte les cartes graphiques susceptibles d'​être exploitées :<​code>​
 +2019-11-04 17:​58:​31.722039:​ I tensorflow/​stream_executor/​platform/​default/​dso_loader.cc:​44] Successfully opened dynamic library libcuda.so.1
 +2019-11-04 17:​58:​31.749152:​ I tensorflow/​stream_executor/​cuda/​cuda_gpu_executor.cc:​1006] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero
 +2019-11-04 17:​58:​31.749646:​ I tensorflow/​core/​common_runtime/​gpu/​gpu_device.cc:​1618] Found device 0 with properties: ​
 +name: Tesla V100-PCIE-16GB major: 7 minor: 0 memoryClockRate(GHz):​ 1.38
 +pciBusID: 0000:​07:​00.0
 +2019-11-04 17:​58:​31.750304:​ I tensorflow/​stream_executor/​platform/​default/​dso_loader.cc:​44] Successfully opened dynamic library libcudart.so.10.0
 +2019-11-04 17:​58:​31.752157:​ I tensorflow/​stream_executor/​platform/​default/​dso_loader.cc:​44] Successfully opened dynamic library libcublas.so.10.0
 +2019-11-04 17:​58:​31.753851:​ I tensorflow/​stream_executor/​platform/​default/​dso_loader.cc:​44] Successfully opened dynamic library libcufft.so.10.0
 +2019-11-04 17:​58:​31.755073:​ I tensorflow/​stream_executor/​platform/​default/​dso_loader.cc:​44] Successfully opened dynamic library libcurand.so.10.0
 +2019-11-04 17:​58:​31.757047:​ I tensorflow/​stream_executor/​platform/​default/​dso_loader.cc:​44] Successfully opened dynamic library libcusolver.so.10.0
 +2019-11-04 17:​58:​31.758713:​ I tensorflow/​stream_executor/​platform/​default/​dso_loader.cc:​44] Successfully opened dynamic library libcusparse.so.10.0
 +2019-11-04 17:​58:​31.762588:​ I tensorflow/​stream_executor/​platform/​default/​dso_loader.cc:​44] Successfully opened dynamic library libcudnn.so.7
 +2019-11-04 17:​58:​31.762748:​ I tensorflow/​stream_executor/​cuda/​cuda_gpu_executor.cc:​1006] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero
 +2019-11-04 17:​58:​31.763286:​ I tensorflow/​stream_executor/​cuda/​cuda_gpu_executor.cc:​1006] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero
 +2019-11-04 17:​58:​31.763714:​ I tensorflow/​core/​common_runtime/​gpu/​gpu_device.cc:​1746] Adding visible gpu devices: 0
 +2019-11-04 17:​58:​31.763967:​ I tensorflow/​core/​platform/​cpu_feature_guard.cc:​142] Your CPU supports instructions that this TensorFlow binary was not compiled to use: SSE4.1 SSE4.2 AVX AVX2 AVX512F FMA
 +2019-11-04 17:​58:​31.768995:​ I tensorflow/​core/​platform/​profile_utils/​cpu_utils.cc:​94] CPU Frequency: 3192495000 Hz
 +2019-11-04 17:​58:​31.769414:​ I tensorflow/​compiler/​xla/​service/​service.cc:​168] XLA service 0x55a533b0ac90 executing computations on platform Host. Devices:
 +2019-11-04 17:​58:​31.769443:​ I tensorflow/​compiler/​xla/​service/​service.cc:​175] ​  ​StreamExecutor device (0): Host, Default Version
 +2019-11-04 17:​58:​31.769643:​ I tensorflow/​stream_executor/​cuda/​cuda_gpu_executor.cc:​1006] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero
 +2019-11-04 17:​58:​31.770095:​ I tensorflow/​core/​common_runtime/​gpu/​gpu_device.cc:​1618] Found device 0 with properties: ​
 +name: Tesla V100-PCIE-16GB major: 7 minor: 0 memoryClockRate(GHz):​ 1.38
 +pciBusID: 0000:​07:​00.0
 +2019-11-04 17:​58:​31.770124:​ I tensorflow/​stream_executor/​platform/​default/​dso_loader.cc:​44] Successfully opened dynamic library libcudart.so.10.0
 +2019-11-04 17:​58:​31.770139:​ I tensorflow/​stream_executor/​platform/​default/​dso_loader.cc:​44] Successfully opened dynamic library libcublas.so.10.0
 +2019-11-04 17:​58:​31.770150:​ I tensorflow/​stream_executor/​platform/​default/​dso_loader.cc:​44] Successfully opened dynamic library libcufft.so.10.0
 +2019-11-04 17:​58:​31.770164:​ I tensorflow/​stream_executor/​platform/​default/​dso_loader.cc:​44] Successfully opened dynamic library libcurand.so.10.0
 +2019-11-04 17:​58:​31.770178:​ I tensorflow/​stream_executor/​platform/​default/​dso_loader.cc:​44] Successfully opened dynamic library libcusolver.so.10.0
 +2019-11-04 17:​58:​31.770190:​ I tensorflow/​stream_executor/​platform/​default/​dso_loader.cc:​44] Successfully opened dynamic library libcusparse.so.10.0
 +2019-11-04 17:​58:​31.770202:​ I tensorflow/​stream_executor/​platform/​default/​dso_loader.cc:​44] Successfully opened dynamic library libcudnn.so.7
 +2019-11-04 17:​58:​31.770292:​ I tensorflow/​stream_executor/​cuda/​cuda_gpu_executor.cc:​1006] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero
 +2019-11-04 17:​58:​31.770799:​ I tensorflow/​stream_executor/​cuda/​cuda_gpu_executor.cc:​1006] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero
 +2019-11-04 17:​58:​31.771228:​ I tensorflow/​core/​common_runtime/​gpu/​gpu_device.cc:​1746] Adding visible gpu devices: 0
 +2019-11-04 17:​58:​31.771260:​ I tensorflow/​stream_executor/​platform/​default/​dso_loader.cc:​44] Successfully opened dynamic library libcudart.so.10.0
 +2019-11-04 17:​58:​31.859125:​ I tensorflow/​core/​common_runtime/​gpu/​gpu_device.cc:​1159] Device interconnect StreamExecutor with strength 1 edge matrix:
 +2019-11-04 17:​58:​31.859173:​ I tensorflow/​core/​common_runtime/​gpu/​gpu_device.cc:​1165] ​     0 
 +2019-11-04 17:​58:​31.859183:​ I tensorflow/​core/​common_runtime/​gpu/​gpu_device.cc:​1178] 0:   ​N ​
 +2019-11-04 17:​58:​31.859388:​ I tensorflow/​stream_executor/​cuda/​cuda_gpu_executor.cc:​1006] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero
 +2019-11-04 17:​58:​31.859930:​ I tensorflow/​stream_executor/​cuda/​cuda_gpu_executor.cc:​1006] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero
 +2019-11-04 17:​58:​31.860424:​ I tensorflow/​stream_executor/​cuda/​cuda_gpu_executor.cc:​1006] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero
 +2019-11-04 17:​58:​31.860871:​ I tensorflow/​core/​common_runtime/​gpu/​gpu_device.cc:​1304] Created TensorFlow device (/​job:​localhost/​replica:​0/​task:​0/​device:​GPU:​0 with 14961 MB memory) -> physical GPU (device: 0, name: Tesla V100-PCIE-16GB,​ pci bus id: 0000:​07:​00.0,​ compute capability: 7.0)
 +2019-11-04 17:​58:​31.862849:​ I tensorflow/​compiler/​xla/​service/​service.cc:​168] XLA service 0x55a534edf7d0 executing computations on platform CUDA. Devices:
 +2019-11-04 17:​58:​31.862884:​ I tensorflow/​compiler/​xla/​service/​service.cc:​175] ​  ​StreamExecutor device (0): Tesla V100-PCIE-16GB,​ Compute Capability 7.0
 +2019-11-04 17:​58:​31.863918:​ I tensorflow/​stream_executor/​platform/​default/​dso_loader.cc:​44] Successfully opened dynamic library libcublas.so.10.0
 +tf.Tensor(
 +[[22. 28.]
 + [49. 64.]], shape=(2, 2), dtype=float32)
 +</​code>​
 +
 +On reconnait la carte **Tesla V100-PCIE-16GB** détectée.
 +
 +===== Utilisation de TensorFlow2 pour du TensorFlow1 =====
 +
 +Il est possible, comme le précise la [[https://​www.tensorflow.org/​guide/​migrate|documentation de TensorFlow]],​ d'​exécuter un code de l'​ancienne version sur la nouvelle avec le chargement suivant :
 +<​code>​
 +import tensorflow.compat.v1 as tf
 +tf.disable_v2_behavior()
 +</​code>​
 ===== Astuces en cas de plantage incompréhensible ===== ===== Astuces en cas de plantage incompréhensible =====
  
Ligne 84: Ligne 168:
   * circuits Maxwell : GTX 980Ti   * circuits Maxwell : GTX 980Ti
   * circuits Pascal ​ : GTX 1060, GTX 1070, GTX 1080, GTX 1080Ti, Tesla P100   * circuits Pascal ​ : GTX 1060, GTX 1070, GTX 1080, GTX 1080Ti, Tesla P100
 +  * circuits Turing ​ : RTX Titan, RTX 2080 Ti, RTX 2080 Super
 +  * circuits Volta   : Tesla V100
  
 ===== GPU du CBP invalidés pour TensorFlow ​ ===== ===== GPU du CBP invalidés pour TensorFlow ​ =====
ressources/ressources/tensorflow.1569642174.txt.gz · Dernière modification: 2019/09/28 05:42 par equemene