pytorch,tensorflow框架环境安装

一。写在前面(必看
1.本文档将指引您安装以下软件
1.1 miniconda环境安装
1.2 显卡驱动安装
1.3 CUDA安装
1.4 pytorch安装
1.5 jupyter安装
2.根据pytorch版本,确定CUDA版本,python版本
pytorch版本
支持的CUDA版本
支持的python版本
2.5.0
12.4 12.1 11.8
3.12 3.11 3.10 3.9
2.4.1
12.4 12.1 11.8
3.12 3.11 3.10 3.9 3.8
2.4.0
12.4 12.1 11.8
3.12 3.11 3.10 3.9 3.8
2.3.1
12.1 11.8
3.12 3.11 3.10 3.9 3.8
2.3.0
12.1 11.8
3.12 3.11 3.10 3.9 3.8
2.2.2
12.1 11.8
3.12 3.11 3.10 3.9 3.8
2.1.2
12.1 11.8
3.11 3.10 3.9 3.8
2.0.1
11.8 11.7
3.11 3.10 3.9 3.8
1.13.1
11.7 11.6
3.10 3.9 3.8 3.7
1.12.1
11.3 11.2 10.6(不支持win)
3.10 3.9 3.8 3.7
1.11.0
11.3 10.2(不支持win)
3.10 3.9 3.8 3.7
1.10.1
11.1 10.2
3.9 3.8 3.7 3.6
1.9.1
11.1 10.2
3.9 3.8 3.7 3.6
1.8.1
11.1 10.1
3.9 3.8 3.7 3.6
3.根据tensorflow版本,确定CUDA版本,CUDNN版本,python版本
tensorflow版本
Python版本
编译器
构建工具
安装命令
tensorflow-2.18.0
3.9-3.12
Clang 17.0.6
Bazel 6.5.0
9.3
12.5
pip install tensorflow==2.18.0 -i https://mirrors.aliyun.com/pypi/simple
tensorflow-2.17.0
3.9-3.12
Clang 17.0.6
Bazel 6.5.0
8.9
12.3
pip install tensorflow==2.17.0 -i https://mirrors.aliyun.com/pypi/simple
tensorflow-2.16.1
3.9-3.12
Clang 17.0.6
Bazel 6.5.0
8.9
12.3
pip install tensorflow==2.16.1 -i https://mirrors.aliyun.com/pypi/simple
tensorflow-2.15.0
3.9-3.11
Clang 16.0.0
Bazel 6.1.0
8.9
12.2
pip install tensorflow==2.15.0 -i https://mirrors.aliyun.com/pypi/simple
tensorflow-2.14.0
3.9-3.11
Clang 16.0.0
Bazel 6.1.0
8.7
11.8
pip install tensorflow==2.14.0 -i https://mirrors.aliyun.com/pypi/simple
tensorflow-2.13.0
3.8-3.11
Clang 16.0.0
Bazel 5.3.0
8.6
11.8
pip install tensorflow==2.13.0 -i https://mirrors.aliyun.com/pypi/simple
tensorflow-2.12.0
3.8-3.11
GCC 9.3.1
Bazel 5.3.0
8.6
11.8
pip install tensorflow==2.12.0 -i https://mirrors.aliyun.com/pypi/simple
tensorflow-2.11.0
3.7-3.10
GCC 9.3.1
Bazel 5.3.0
8.1
11.2
pip install tensorflow==2.11.0 -i https://mirrors.aliyun.com/pypi/simple
tensorflow-2.10.0
3.7-3.10
GCC 9.3.1
Bazel 5.1.1
8.1
11.2
pip install tensorflow==2.10.0 -i https://mirrors.aliyun.com/pypi/simple
tensorflow-2.9.0
3.7-3.10
GCC 9.3.1
Bazel 5.0.0
8.1
11.2
pip install tensorflow==2.9.0 -i https://mirrors.aliyun.com/pypi/simple
tensorflow-2.8.0
3.7-3.10
GCC 7.3.1
Bazel 4.2.1
8.1
11.2
pip install tensorflow==2.8.0 -i https://mirrors.aliyun.com/pypi/simple
tensorflow-2.7.0
3.7-3.9
GCC 7.3.1
Bazel 3.7.2
8.1
11.2
pip install tensorflow==2.7.0 -i https://mirrors.aliyun.com/pypi/simple
tensorflow-2.6.0
3.6-3.9
GCC 7.3.1
Bazel 3.7.2
8.1
11.2
pip install tensorflow==2.6.0 -i https://mirrors.aliyun.com/pypi/simple
tensorflow-2.5.0
3.6-3.9
GCC 7.3.1
Bazel 3.7.2
8.1
11.2
pip install tensorflow==2.5.0 -i https://mirrors.aliyun.com/pypi/simple
tensorflow-2.4.0
3.6-3.8
GCC 7.3.1
Bazel 3.1.0
8.0
11.0
pip install tensorflow==2.4.0 -i https://mirrors.aliyun.com/pypi/simple
tensorflow-2.3.0
3.5-3.8
GCC 7.3.1
Bazel 3.1.0
7.6
10.1
pip install tensorflow==2.3.0 -i https://mirrors.aliyun.com/pypi/simple
tensorflow-2.2.0
3.5-3.8
GCC 7.3.1
Bazel 2.0.0
7.6
10.1
pip install tensorflow==2.2.0 -i https://mirrors.aliyun.com/pypi/simple
二。环境安装
一。安装前准备
1.apt更新
执行命令:apt update
2.根据自己需要,修改apt镜像源(一般无需修改)
3.确定python版本
二。miniconda安装设置环境变量
1.miniconda的选择
根据您需要的python版本,下载miniconda
闪电云版本列表:http://172.168.200.101/miniconda/
2.miniconda安装
我们以python3.9为例,进行演示。
例如安装包名为:Miniconda3-py39_4.12.0-Linux-x86_64。请根据实际下载名称修改
1.下载(根据需要二选一):
官网下载:wget https://repo.anaconda.com/miniconda/Miniconda3-py39_4.12.0-Linux-x86_64.sh
推荐闪电云内网下载:wget http://172.168.200.101/miniconda/Miniconda3-py39_4.12.0-Linux-x86_64.sh
2.安装:sh Miniconda3-py39_4.12.0-Linux-x86_64.sh
步骤:
回车
yes
回车
yes(切记,默认是no)
#进入环境
source ~/miniconda3/bin/activate

三。显卡驱动安装

1.显卡驱动版本的选择
使用命令:ubuntu-drivers devices 可以查看系统推荐的显卡版本。
0
我们一般选择最新版本。此处我们选择nvidia-driver-550
2.显卡驱动安装
使用命令:sudo apt-get install nvidia-driver-550

四。CUDA安装

1.CUDA版本选择(根据需要二选一)
闪电云版本列表:http://172.168.200.101/cuda/
2.CUDA安装
我们以比较通用的CUDA11.8为例进行演示cuda_11.8.0_520.61.05_linux名称根据实际版本修改
1.下载
官网下载:wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run
推荐闪电云内网下载:wget http://172.168.200.101/cuda/cuda_11.8.0_520.61.05_linux.run
2.安装
1.执行安装命令
sudo sh cuda_11.8.0_520.61.05_linux.run(执行后大概需要20秒等待)
1.1 选择continue
1.2 输入accept
1.3 用键盘上下键,配合空格键,选择安装包。我们只选择CUDA Toolkit 11.8即可
0
1.4 选择Install并回车
1.5 等待安装完成
2.添加环境变量
添加环境变量(如果在conda里)
echo "export PATH=/usr/local/cuda-11.8/bin${PATH:+:${PATH}}" >> ~/.bashrc
echo "export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}" >> ~/.bashrc sudo ldconfig载入安装后的动态链接库
source ~/.bashrc 使环境变量生效
测试安装情况
nvcc -V

五。pytorch安装

1.版本选择
我们以pytorch2.3.0为例进行演示
2.安装命令
pytorch版本
闪电云内网安装命令(推荐)
官网安装命令(cu118根据CUDA版本修改
2.5.0
pip install torch==2.5.0+cu118 torchvision==0.20.0 torchaudio==2.5.0 --index-url http://172.168.200.101/pytorch/ --trusted-host 172.168.200.101
pip install torch==2.5.0 torchvision==0.20.0 torchaudio==2.5.0 --index-url https://download.pytorch.org/whl/cu118
2.4.1
pip install torch==2.4.1+cu118 torchvision==0.19.1 torchaudio==2.4.1 --index-url http://172.168.200.101/pytorch/ --trusted-host 172.168.200.101
pip install torch==2.4.1 torchvision==0.19.1 torchaudio==2.4.1 --index-url https://download.pytorch.org/whl/cu118
2.4.0
pip install torch==2.4.0+cu118 torchvision==0.19.0 torchaudio==2.4.0 --index-url http://172.168.200.101/pytorch/ --trusted-host 172.168.200.101
pip install torch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 --index-url https://download.pytorch.org/whl/cu118
2.3.1
pip install torch==2.3.1+cu118 torchvision==0.18.1 torchaudio==2.3.1 --index-url http://172.168.200.101/pytorch/ --trusted-host 172.168.200.101
pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 --index-url https://download.pytorch.org/whl/cu118
2.3.0
pip install torch==2.3.0+cu118 torchvision==0.18.0 torchaudio==2.3.0 --index-url http://172.168.200.101/pytorch/ --trusted-host 172.168.200.101
pip install torch==2.3.0 torchvision==0.18.0 torchaudio==2.3.0 --index-url https://download.pytorch.org/whl/cu118
2.2.2
pip install torch==2.2.2+cu118 torchvision==0.17.2 torchaudio==2.2.2 --index-url http://172.168.200.101/pytorch/ --trusted-host 172.168.200.101
pip install torch==2.2.2 torchvision==0.17.2 torchaudio==2.2.2 --index-url https://download.pytorch.org/whl/cu118
2.2.1
pip install torch==2.2.1+cu118 torchvision==0.17.1 torchaudio==2.2.1 --index-url http://172.168.200.101/pytorch/ --trusted-host 172.168.200.101
pip install torch==2.2.1 torchvision==0.17.1 torchaudio==2.2.1 --index-url https://download.pytorch.org/whl/cu118
2.2.0
pip install torch==2.2.0+cu118 torchvision==0.17.0 torchaudio==2.2.0 --index-url http://172.168.200.101/pytorch/ --trusted-host 172.168.200.101
pip install torch==2.2.0 torchvision==0.17.0 torchaudio==2.2.0 --index-url https://download.pytorch.org/whl/cu118
2.1.2
pip install torch==2.1.2+cu118 torchvision==0.16.2 torchaudio==2.1.2 --index-url http://172.168.200.101/pytorch/ --trusted-host 172.168.200.101
pip install torch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 --index-url https://download.pytorch.org/whl/cu118
2.1.1
pip install torch==2.1.1+cu118 torchvision==0.16.1 torchaudio==2.1.1 --index-url http://172.168.200.101/pytorch/ --trusted-host 172.168.200.101
pip install torch==2.1.1 torchvision==0.16.1 torchaudio==2.1.1 --index-url https://download.pytorch.org/whl/cu118
2.1.0
pip install torch==2.1.0+cu118 torchvision==0.16.0 torchaudio==2.1.0 --index-url http://172.168.200.101/pytorch/ --trusted-host 172.168.200.101
pip install torch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 --index-url https://download.pytorch.org/whl/cu118
2.0.1
pip install torch==2.0.1+cu118 torchvision==0.15.2 torchaudio==2.0.2 --index-url http://172.168.200.101/pytorch/ --trusted-host 172.168.200.101
pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cu118
2.0.0
pip install torch==2.0.0+cu118 torchvision==0.15.1 torchaudio==2.0.1 --index-url http://172.168.200.101/pytorch/ --trusted-host 172.168.200.101
pip install torch==2.0.0 torchvision==0.15.1 torchaudio==2.0.1 --index-url https://download.pytorch.org/whl/cu118
六。tensorflow安装
1.安装clang(tensorflow2.13.0以下版本忽略)
wget https://apt.llvm.org/llvm-snapshot.gpg.key
sudo apt-key add llvm-snapshot.gpg.key #根据你的 Ubuntu 版本选择正确的仓库。假设你是使用 Ubuntu 22.04(Jammy),命令如下:
sudo add-apt-repository "deb https://apt.llvm.org/jammy/ llvm-toolchain-jammy-17 main"
#如果你使用的是其他版本,请将 jammy 替换为对应的代号(例如 focal 对应 20.04)。 sudo apt update
sudo apt install clang-17对应 20.04)。 sudo apt update sudo apt install clang-17 sudo apt update
sudo apt install clang-17
2.安装cudnn
wget "http://172.168.200.101/cudnn/cudnn-linux-x86_64-8.9.7.29_cuda12-archive.tar.xz" -O cudnn.tar.xz
tar xvf cudnn.tar.xz
sudo cp cudnn-*-archive/include/cudnn*.h /usr/local/cuda/include
sudo cp cudnn-*-archive/lib/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn*
3.安装tensorflow
pip install tensorflow==2.17.0 -i https://mirrors.huaweicloud.com/artifactory/pypi-public/simple/
4.验证安装
python -c "import tensorflow as tf;print(tf.reduce_sum(tf.random.normal([1000, 1000])))"

七。jupyter安装

1.安装
pip install notebook -i https://mirrors.aliyun.com/pypi/simple/
2.设置
jupyter notebook --generate-config
3.修改配置
vim .jupyter/jupyter_notebook_config.py
# jupyter_notebook_config.py
c.NotebookApp.ip = '0.0.0.0' # 绑定所有接口
c.NotebookApp.open_browser = False # 不自动打开浏览器
c.NotebookApp.port = 8888 # 监听端口
c.NotebookApp.allow_remote_access = True # 允许远程访问
4.启动
后台启动
nohup jupyter notebook --allow-root > jupyter.log 2>&1 &
前台启动
jupyter notebook --allow-root
#查看token
jupyter notebook list
5.外部连接jupyter
1.确定远程端口
在闪电云官网,用户后台-->云示例 列表中查看 云主机的链接信息,例如:
0
SSH远程信息为:ry1.9gpu.com:36079,则jupyter的远程地址为:ry1.9gpu.com:37079(远程端口+1000)
2.远程连接
使用浏览器打开http://ry1.9gpu.com:37079
执行jupyter notebook list查看token值:例如:
0
填写token值。即可
也可更换域名,9gpu-com:8888为ry1.9gpu.com:37079,直接使用浏览器访问:
http://ry1.9gpu.com:37079/?token=afc5270618faaddc9f8753a1086b4ca454d5628428e44d9d

栏目
问题反馈