AMD RX5700XT运行本地Ollama

AMD RX5700XT运行本地Ollama

我的显卡是AMD 5700XT，有8G显存，内存64G也不算小了。利用Ollama安装本地大模型，养个小马还是有可行性。在网上搜了不少资料，内容不多。

早期的AMD对AI重视不够，后来搞rocm对老架构的GPU也很难支持。也就造就了，其实GPU性能还行，但是用不起来的尴尬境地。我用Rocm 6.2.4成功了，现将操作过程分享给有需要的人。

第一步，下载最新的显卡驱动程序，复制以下链接

https://www.amd.com/zh-cn/support/download/drivers.html

第二步，复制以下链接，下载HIP SDK （6.2.4版本 AMD-Software-PRO-Edition-24.Q4-Win10-Win11-For-HIP.exe）并安装

https://www.amd.com/en/developer/resources/rocm-hub/hip-sdk.html

第三步，这一步也是经常搞错的，需要下载6.2.4对应的版本，针对于5700XT, 请下载：

https://github.com/likelovewant/ROCmLibs-for-gfx1103-AMD780M-APU/releases/download/v0.6.2.4/rocm.gfx1010-xnack-gfx1011-xnack-gfx1012-xnack-.for.hip.sdk.6.2.4.7z

第四步，增加环境变量
HSA_OVERRIDE_GFX_VERSION=10.3.0

第五步，将下载的ROCM文件，替换原来的显卡驱动文件。
将下载的显卡对应的ROCM替换掉HIP SDK安装目录下的ROCM，LIBRARY文件夹同步替换。
1、hip sdk目录（仅供参考）：C:\Program Files\AMD\ROCm\6.2\bin （备份替换rocblas.dll）
2、hip sdk目录（仅供参考）：C:\Program Files\AMD\ROCm\6.2\bin\rocblas\library
(备份替换library下文件)

据我实测，ollama目录不需要管，无需要替换。

第六步，重启电脑。重启后，利用命令行，ollama run qwen3.5:4b 直接可检查是否调用了显卡。