当前位置：首页 > news >正文

人工智能-windows搭建本地rag、ollama、anythingLLM

news 2026/4/2 13:23:29

文章目录

- - - ollama是什么?有什么用?
    - anythingLLM是什么?有什么用?
    - ollama性能优化
- 报错
- - - 报错 model requires more system memory (5.6 GiB) than is available (4.9 GiB)

人工智能大火，方向非常多，算法、大模型应用，rag(向量增强检索)等，rag相对来说更近更好实现。
可以增加工作的机会和薪资的筹码。

1、先安装ollama。
2、cmd命令行安装两个模型(对话模型、嵌入模型)

# 1. 下载对话模型 (推荐 qwen2.5:7b 或 llama3.1:8b，中文能力 qwen 更好)ollama run qwen2.5:7b# 2. 下载嵌入模型 (用于将文档转化为向量，nomic-embed-text 是目前轻量级中效果最好的之一)ollama pull nomic-embed-text

3、下载软件：
下载桌面版安装包（Windows/Mac/Linux)，安装并打开。
地址：https://anythingllm.com

它会根据配置为你选择最合适的模型，例如之前下载的qwen2.5:7b，这里可能还会下载最新的适配电脑配置的大模型。

4、连接 Ollama：
首次启动会进入设置向导。
LLM Provider 选择：Ollama。
Embedding Provider 选择：Ollama (这里就会自动调用你刚下载的 nomic-embed-text)。
点击保存/检测，它会自动列出你本地的模型。

5、创建知识库 (Workspace)：

点击 “New Workspace”，起个名字（比如 “MyDocs”）。
进入工作空间后，找到 “Documents” 标签页。
拖入你的文件（PDF, TXT, Markdown, Word 等）。

6、关键一步：向量化 (Embed)：
文件上传后，你会看到文件旁边有个按钮叫 “Move to Workspace” 或者 “Embed”。
点击它！
此时发生了什么？软件会调用你刚下载的 nomic-embed-text 模型，把你的文档切成小块并转换成向量存入本地数据库。如果不动这一步，AI 是读不到文档内容的。

7、开始对话：
切换到 “Chat” 标签页。
确保右上角或设置里选中了刚才的 “MyDocs” 工作空间。
输入问题：“总结一下刚才上传的文档”。
成功！你现在就是一个拥有本地 RAG 系统的用户了。