Ollama+AnythingLLM离线部署全攻略
1. 离线部署前的准备工作
在开始Ollama和AnythingLLM的离线部署之前，我们需要做好充分的准备工作。这个过程就像要去野营一样，必须提前把所有装备打包齐全，因为一旦进入离线环境就没办法临时下载缺少的东西了。
首先，我们需要准备两个关键组件：AnythingLLM的安装程序和Ollama的模型文件。AnythingLLMDesktopInstaller.exe可以从官网下载，建议选择最新稳定版本。模型文件方面，deepseek-r1-1.5b.gguf是个不错的选择，它体积适中（约5GB左右），性能表现也不错。我建议在联网环境下先测试运行这些文件，确保它们能正常工作，这样可以避免在离线环境遇到问题。
传输介质的选择也很重要。如果文件总大小在32GB以内，普通的U盘就够用了。但如果模型文件较多，建议使用移动硬盘。我曾经遇到过因为U盘速度太慢，导致大文件传输中途失败的情况，所以现在都习惯用SSD移动硬盘来传输。文件目录结构可以这样组织：
\Offline_Install\ ├── AnythingLLMDesktopInstaller.exe └── Models\ ├── deepseek-r1-1.5b.gguf └── Modelfile.txt2. Ollama的离线安装与配置
Ollama是运行本地大模型的核心引擎，它的离线安装需要特别注意几个关键点。首先确保你的离线设备已经安装了Python 3.8或更高版本，这是Ollama运行的基础环境。
将准备好的Ollama安装包传输到离线机器后，建议安装在非系统盘，比如D:\AI_Tools\Ollama。这样做有两个好处：一是避免占用系统盘空间，二是重装系统时不会影响已经安装的模型。安装完成后，需要手动设置环境变量，把Ollama的安装目录添加到系统的PATH中。
模型文件的存放位置也很关键。Ollama默认会在用户目录下创建.models文件夹，但我们可以通过修改配置文件来指定其他位置。比如我在D盘创建了专门的模型仓库：
ollama config set model_dir D:\AI_Models\Ollama这样管理起来更方便，也便于备份。把之前准备好的deepseek-r1-1.5b.gguf模型文件复制到这个目录下。
3. AnythingLLM的安装与初始设置
AnythingLLM的安装相对简单，但有几个细节需要注意。双击运行AnythingLLMDesktopInstaller.exe时，建议右键选择"以管理员身份运行"，这样可以避免权限问题导致的安装失败。
安装路径的选择很重要，我强烈建议不要使用默认路径，而是创建一个专门的目录，比如：
D:\AI_Tools\AnythingLLM路径中不要包含中文或特殊字符，否则可能会导致程序运行异常。安装完成后，第一次启动AnythingLLM时可能会比较慢，这是正常现象，因为它需要初始化各种组件。
在初始化设置界面，我们可以先跳过网络连接测试（因为是离线环境），直接进入基础配置。这里需要设置工作目录，建议选择一个空间充足的磁盘分区，因为AnythingLLM会在这里存储聊天记录、缓存文件等数据。
4. 模型注册与关联配置
这是整个部署过程中最关键的一步。首先确保Ollama服务已经启动，然后在命令行中执行模型注册命令：
ollama create deepseek-r1:1.5b -f Modelfile.txt这个命令会根据Modelfile.txt中的配置创建模型实例。我建议在执行前先检查Modelfile.txt的内容，确保模型名称和路径配置正确。注册成功后，可以用以下命令测试模型是否正常工作：
ollama run deepseek-r1:1.5b "你好"接下来需要在AnythingLLM中配置模型关联。打开设置界面，找到LLM首选项：
- 选择LLM提供商为Ollama
- 在Ollama Model下拉菜单中选择我们刚刚注册的deepseek模型
- 向量数据库保持默认的LanceDB不变
- 在Embedder首选项中，选择Ollama作为嵌入引擎提供商
- 最后选择对应的deepseek模型作为Embedding Model
5. 常见问题排查与优化建议
在实际部署过程中，可能会遇到各种问题。这里分享几个我踩过的坑和解决方案：
问题1：模型加载失败检查Ollama日志文件（通常在安装目录下的logs文件夹），最常见的错误是模型路径不正确。确保Modelfile.txt中的路径与实际模型文件位置一致。
问题2：AnythingLLM无法连接Ollama首先确认Ollama服务是否正常运行，可以尝试在命令行执行：
ollama list如果能看到注册的模型，说明服务正常。然后在AnythingLLM的设置中检查Ollama的API地址是否正确，默认是http://localhost:11434。
性能优化建议：
- 如果机器内存充足，可以增加Ollama的内存分配：
ollama config set memory 16G- 对于较弱的CPU，可以降低推理线程数来避免系统卡顿：
ollama config set num_threads 46. 高级配置与扩展功能
当基础功能正常运行后，可以考虑进行一些高级配置来提升使用体验。比如设置启动参数，让AnythingLLM和Ollama开机自动运行。
对于Ollama，可以创建一个批处理文件，内容如下：
@echo off cd /d D:\AI_Tools\Ollama start ollama serve然后将这个批处理文件放到系统的启动文件夹中。
AnythingLLM也支持插件扩展，虽然离线环境下不能直接下载插件，但可以手动安装。将插件文件复制到AnythingLLM安装目录下的plugins文件夹，然后重启应用即可。我常用的插件有Markdown渲染器和代码高亮插件，它们能显著提升使用体验。
另一个有用的功能是预设提示词模板。在离线环境中，可以提前准备一组常用的提示词模板，保存为JSON文件，然后在AnythingLLM中导入。这样即使没有网络，也能快速调用各种专业场景的提示词。