AnythingLLM 学习
AnythingLLM 学习笔记（本地知识库搭建指南）
一、为什么搭建本地知识库
市面上的知识管理工具（有道、为知、思源等）各有优点，但普遍存在几个痛点：
- 知识量累积后，想借助 AI 对已有内容进行总结、问答，往往需要付费。
- 资料存在云端，隐私和安全性无法保证。
- 广告多、存储空间受限。
因此选择AnythingLLM自建本地知识库，理由如下：
- 开源免费、平台广：支持 Windows、Linux、macOS（Intel / Apple 芯片）。
- 离线可用：配合本地大模型，文档、向量数据全部留在本机。
- 零代码：既可做知识库检索问答，也能用拖拽式工作流编排。
- 官网：https://anythingllm.com/desktop
二、部署本地大模型
AnythingLLM 本身不提供模型，需要配置一个"大脑"。本地方案主流是Ollama + DeepSeek：
安装 Ollama（模型运行时，默认监听
11434端口）。https://ollama.com/download/OllamaSetup.exe
拉取模型，例如：
ollama pull deepseek-r1:1.5b常用命令速查：
ollama list# 查看本地已有模型ollama run<name># 启动模型对话ollamarm<name># 删除模型验证：
ollama list能看到模型即为部署成功。内存紧张时选小参数量量化模型（如 1.5b / 7b），有 GPU 可选更大模型。
不想折腾本地模型的用户，可跳过本节，直接接入在线 API。
三、知识库部署及配置
3.1 下载与安装
前往官网按操作系统下载对应版本。
macOS：将
AnythingLLM.app拖入Applications，首次打开若提示"来自互联网的 App"直接确认即可。Windows：按向导默认路径安装即可。
安装完成后打开主界面。
Download | AnythingLLM
3.2 配置大语言模型（LLM）
- 点击左下角设置，进入设置页。
- 左侧选择大语言模型（LLM）。
- LLM 提供商选择
Ollama，程序会自动识别本地已运行的模型。 - Ollama Base URL填
http://127.0.0.1:11434。 - 点击保存。
3.3 界面偏好设置
在偏好设置中调整主题与语言（建议设为中文），让后续操作更顺手。
四、知识库使用
4.1 新建工作区
- 点击左侧
+号，输入工作区名称后保存。 - 工作区相互隔离：各自拥有独立的对话历史、文档和权限。
4.2 调整系统提示词
- 在工作区的聊天设置里可以修改系统提示词，让 AI 扮演指定角色或限定回答风格。
- 默认提示词大致为：“根据对话、相关背景以及后续问题，仅基于上述信息回答用户，若知识库中没有相关信息则如实说明。”
-
4.3 理解"聊天"与"查询"的区别
| 模式 | 行为 | 适用场景 |
|---|---|---|
| 聊天 | 结合 LLM 通用知识 + 检索到的文档上下文作答，文档没相关内容时也可能"硬答" | 通用助手、头脑风暴 |
| 查询 | 仅当命中文档上下文时才回答，不命中就不答 | 严格的知识库问答、客服 |
4.4 上传文档并向量化（喂语料）
上传文档：支持 pdf、Office 文档、txt、音视频、csv 等格式，并可分类管理。
将文档拖入目标工作区，系统进行分割（chunking）与向量化。
只有向量化成功，之后提问才能检索到对应内容。
4.5 设置可用模型
- 如果工作区没有勾选可用模型，对话时会报错
model is required。 - 因此新建工作区后，记得先在工作区设置里选定可用的模型。
4.6 开始聊天
- 提问后，深度思考类模型会先展示"思考过程"，再输出答案。
- 每条回复都可以点击查看引用的上下文来源，便于核实答案、避免幻觉。
五、接入在线大模型
如果想追求更强的推理能力，或省去本地模型的硬件负担，可以接入在线 API：
- 在 LLM 设置中把提供商切换为
DeepSeek（或 OpenAI 等）。 - 填入API Key，聊天模型选
deepseek-reasoner一类的推理模型，保存。 - 注意：切换后仍需在工作区里把对话模型切换为对应的在线模型。
若报错
Could not respond to message. 402 Insufficient Balance，表示在线账户余额不足，充值即可。