Astuces pour utiliser le cluster Jean Zay
- Pas de carte réseau dans les noeuds de calcul ! Il faut donc précharger toutes les data
- Peu de places sur $HOME ! Il faut tout mettre sur $WORK
- cf. cette page web pour bien gérer "pip"
- Ancienne option: changer la var env $HOME vers $WORK/home
- les includes de Python.h sont sur $CONDA_PREFIX/include/python3.7
- Sinon, pour installer/cacher avec PIP sur $WORK:
pip install --global-option=build_ext --global-option="-I/usr/local/include/" --global-option="-L/usr/local/lib" package_name
- Pour installer seulement 1 seul package avec pip, et toujours utiliser les system-packages (parce qu'ils sont optimisés pour Jean Zay et pour économiser les INODES, qui sont sous quotas sévère):
- First, load the pytorch module to ensure that you're using the correct python version
- Then create your env with this option and install a single new package with:
python -m venv --system-site-packages myenv
pip install [--no-deps] math-verify
In this environment, you'll have access to all system-wide modules plus your local ones; and you'll save these annoying inodes by installing only 1 package. Of course, you may run into the famous "python dependency hell" issues, but well, if it does not always work, sometimes it may be useful.
- gérer ses process:
squeue -u uyr14tk
sinfo
scontrol show jobid -dd 1138618
scancel 1189497