解决Gitlab Runner在GPU报错：nvidia-container-cli: initialization error: nvml error: driver/library version

解决Gitlab Runner在GPU节点报错

问题描述

在新的主机上配置了Gitlab Runner，但是在执行CI任务时，任务直接在准备环境阶段报错：

ERROR: Job failed (system failure): prepare environment: Error response from daemon: failed to create task for \ container: failed to create shim task: OCI runtime create failed: runc create failed: unable to start container process: error during container init: error running prestart hook #0: exit status 1, stdout: , stderr: Auto-detected mode as 'legacy' nvidia-container-cli: initialization error: nvml error: driver/library version mismatch: unknown (exec.go:72:0s). Check https://docs.gitlab.com/runner/shells/#shell-profile-loading for more information

问题分析

很直观的可以看到是 NVIDIA 驱动与 NVML 库版本不匹配 的经典问题。这是一个 NVIDIA 驱动版本不匹配 问题。这是 GPU 节点上最常见的故障之一，通常由驱动更新后内核模块未重新加载导致 source。

1. 先执行

   # 查看内核驱动版本cat/proc/driver/nvidia/version# 查看用户空间库版本dpkg-l|grepnvidia-driver# 检查 NVML 具体错误nvidia-container-cli-k-d/dev/tty info

2. 如果内核版本（如 535.104）与库版本（如 535.113）不一致，即确认此问题 source。

问题解决

方法一：直接Reboot

sudoreboot# 重启后内核会重新加载，驱动版本将一致

方法二：不重启修复（生产环境适用）

# 1. 终止使用 GPU 的进程sudofuser-v/dev/nvidia*# 查看占用进程sudokill-9<PID># 终止进程# 2. 按顺序卸载内核模块sudormmod nvidia_uvmsudormmod nvidia_drmsudormmod nvidia_modesetsudormmod nvidia# 3. 重新加载（nvidia-smi 会自动触发加载）sudonvidia-smi