服务器安装nvidia驱动+cuda+cudnn+torch
1. 驱动安装
下载 NVIDIA 官方驱动 | NVIDIA
官方网站下载对应的驱动， 选择560.35.03版本。
1.1 卸载本机驱动
sudo apt remove --purge nvidia*
1.2 禁用nouveau
1.2.1 备份文件(以下均在root用户下操作)
cp /etc/modprobe.d/blacklist.conf /etc/modprobe.d/blacklist.conf.backup
1.2.2 修改文件
vim /etc/modprobe.d/blacklist.conf
在文件末尾添加如下内容：
blacklist nouveau blacklist lbm-nouveau options nouveau modeset=0 alias nouveau off alias lbm-nouveau off关闭nouveau：echo options nouveau modeset=0 | sudo tee -a /etc/modprobe.d/nouveau-kms.conf
更新：sudo update-initramfs -u
重启服务器：init 6
重启后查看是否禁用成功：lsmod | grep nouveau（没有任何输出内容则为成功禁用）
1.2.3 安装驱动
驱动文件赋予执行权限：chmod 755 NVIDIA-Linux-x86_64-560.35.03.run
./NVIDIA-Linux-x86_64-560.35.03.run --no-opengl-files -no-x-check -no-nouveau-check
重启：init 6
查看驱动安装是否成功：nvidia-smi
驱动与cuda版本对应表查询：CUDA 12.6 Update 1 Release Notes
2. cuda12.6安装
https://developer.nvidia.com/cuda-12-6-0-download-archive?target_os=Linux&target_arch=x86_64&Distribution=Ubuntu&target_version=20.04&target_type=deb_local
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-ubuntu2004.pin sudo mv cuda-ubuntu2004.pin /etc/apt/preferences.d/cuda-repository-pin-600 wget https://developer.download.nvidia.com/compute/cuda/12.6.0/local_installers/cuda-repo-ubuntu2004-12-6-local_12.6.0-560.28.03-1_amd64.deb sudo dpkg -i cuda-repo-ubuntu2004-12-6-local_12.6.0-560.28.03-1_amd64.deb sudo cp /var/cuda-repo-ubuntu2004-12-6-local/cuda-*-keyring.gpg /usr/share/keyrings/ sudo apt-get update sudo apt-get -y install cuda-toolkit-12-6查看cuda安装是否成功：
如果出现异常：Command 'nvcc' not found, but can be installed with，千万不要apt install nvidia-cuda-toolkit 去安装，否则会重新安装cuda。
需要配置环境变量：~/.bashrc文件末尾添加两行，source ~/.bashrc
export LD_LIBRARY_PATH=/usr/local/cuda/lib64 export PATH=$PATH:/usr/local/cuda/bin3.cudnn
下载地址：https://developer.nvidia.com/rdp/cudnn-archive,下载tar包。
安装：
tar -xvf cudnn-linux-x86_64-8.9.7.29_cuda12-archive.tar.xz cp cudnn-*-archive/include/cudnn*.h /usr/local/cuda/include cp -P cudnn-*-archive/lib/libcudnn* /usr/local/cuda/lib64 chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*验证：
cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2新版本地址：https://developer.nvidia.com/cudnn-archive
4. torch安装
这里一定要去官网找匹配自己环境的版本：Get Started
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126在ubuntu24.04系统中直接安装有可能会报错：error: externally-managed-environment
为了规避该不兼容问题，需要修改（这里对应系统中的python版本）：
mv /usr/lib/python3.12/EXTERNALLY-MANAGED /usr/lib/python3.12/EXTERNALLY-MANAGED.bak