在 AMD Ryzen AI 7 H350 Radeon 860M 上使用 Ollama 运行 GPU 加速

本文介绍了如何在搭载 AMD Ryzen AI 7 H350 及 Radeon 860M 显卡的系统上，配置 Ollama 以利用 GPU 运行 AI 模型。

一、安装 AMD 驱动程序

首先，请安装最新的 AMD 驱动程序，以确保系统能够正确识别并调用显卡硬件。

驱动程序下载地址：
https://www.amd.com/zh-cn/support/download/drivers.html

二、了解 ROCm 的作用

ROCm 是 AMD 官方推出的驱动程序，旨在让 AI 模型能够在 AMD GPU 上运行。它增加了一个兼容层，使得原本为 CUDA 编写的程序也可以在 AMD GPU 上执行。

对应的 ROCm 驱动可在此处下载：
https://www.amd.com/en/developer/resources/rocm-hub/hip-sdk.html

三、检查本机支持模式

使用以下命令查询系统支持的 GPU 架构模式：

bash

clinfo | findstr "Device Name"

查询结果应为gfx1152，这是 Radeon 860M 对应的架构标识。

四、下载并替换 Ollama 的 ROCm 驱动

1. 访问以下仓库，下载适用于 Ollama 的 ROCm 驱动：
   https://github.com/likelovewant/ollama-for-amd/releases

2. 操作步骤：

   • 下载并安装官方的OllamaSetup.exe。

   • 删除以下目录中的整个rocm文件夹：
     C:\Users\用户名\AppData\Local\Programs\Ollama\lib\ollama\rocm

   • 将本仓库中的ollama-windows-amd64.7z解压出来的内容替换到上述目录。

3. 更新 ROCm 库：

   • 在 Ollama 安装目录中找到rocblas.dll文件和rocblas/library文件夹，通常位于：
     C:\Users\用户名\AppData\Local\Programs\Ollama\lib\ollama\rocm

   • 删除现有的rocblas/library文件夹。

   • 替换为正确的 ROCm 库。请根据您的 GPU 选择正确的版本，可在以下地址获取适用于 6.4.2 版本的 ROCmLibs：
     ROCmLibs for 6.4.2

   • 对于 Radeon 860M（架构为gfx1152），请下载以下专用包：
     https://github.com/likelovewant/ROCmLibs-for-gfx1103-AMD780M-APU/releases/download/v0.6.4.2/rocm.gfx1152.for.hip.6.4.2.7z

五、启动并验证 GPU 使用情况

完成上述配置后，启动 Ollama，检查是否能够正常调用 GPU。

如果仍然无法使用 GPU，可能是因为显卡显存不足。此时加大显卡的专用的内存，设置方法有两种 BIOS或者AMD Software: Adrenalin Edition，一般设为8G。

此时可以配置使用 Vulkan 模式，并回退上面的更新ROCm库，方法如下：

设置环境变量：

powershell

set OLLAMA_VULKAN=1

六、可选方案：使用一键安装程序

您也可以使用以下链接中的一键安装程序，实现快速安装。需要注意的是，该程序会替换ollama.exe，因此可能不是最新版本。

一键安装程序地址：
https://github.com/ByronLeeeee/Ollama-For-AMD-Installer

通过以上步骤，您可以在 AMD Radeon 860M 上成功配置 Ollama，利用 GPU 加速运行 AI 模型。