Kotaemon部署教程：结合Ollama，实现完全私有化的大模型应用

Kotaemon部署教程：结合Ollama，实现完全私有化的大模型应用

你是不是也遇到过这样的困扰？公司内部有海量的产品手册、技术文档、会议纪要，想快速找到某个问题的答案，却要在成堆的文件里翻来翻去。或者，你想用大模型来帮忙分析这些文档，但又担心把敏感数据传到网上不安全。

今天要介绍的这个工具，正好能解决这两个痛点。Kotaemon，一个开箱即用的RAG（检索增强生成）对话界面，它能让你轻松上传本地文档，然后像聊天一样向它提问。最关键的是，它能和Ollama配合，让你用自己电脑上的大模型来回答问题，整个过程完全在本地运行，数据不出门，安全又放心。

这篇文章，我就带你从零开始，一步步搭建一个属于你自己的、完全私有化的知识助手。

1. Kotaemon是什么？为什么值得一试？

简单来说，Kotaemon是一个专门为文档问答（DocQA）设计的图形化工具。你不需要懂复杂的编程，只要有个浏览器，就能用它来管理你的知识库。

它的核心工作流程非常直观：

1. 你上传文档：支持PDF、Word、TXT、PPT等多种格式。
2. 它处理文档：自动把文档切分成小块，理解每一块的意思，并存储起来。
3. 你提问：用自然语言问任何关于文档的问题。
4. 它回答：从文档中找到最相关的信息，然后组织成通顺的答案告诉你，并且会告诉你答案出自文档的哪一部分。

为什么说它特别适合想搞私有化部署的你？

• 真正的本地化：结合Ollama，大模型推理、文档处理、向量检索全部可以在你自己的服务器或电脑上完成，无需连接任何外部API。
• 上手极其简单：提供了基于Gradio的Web界面，点点鼠标就能完成配置和对话，对非开发者非常友好。
• 模块化设计：虽然对终端用户简单，但它的底层是模块化的。这意味着如果你懂点技术，可以轻松替换里面的任何一个部件，比如换一个更强的文本切割器，或者换一个更准的语义检索模型。
• 专注于场景：它不像一些大而全的框架，Kotaemon就聚焦在“文档对话”这一个核心场景上，功能不臃肿，用起来很顺手。

接下来，我们就进入实战环节。

2. 环境准备与快速部署

我们假设你在一台干净的Linux服务器或你的个人电脑（Windows/macOS也可，步骤类似）上操作。整个过程就像搭积木，一步接一步。

2.1 第一步：获取Kotaemon镜像并启动

这是最简单的一步。如果你使用的是提供了Kotaemon镜像的平台（如CSDN星图镜像广场），通常只需要：

1. 在镜像列表中找到 “Kotaemon”。
2. 点击“部署”或“启动”按钮。
3. 等待容器启动完成，系统会提供一个访问链接（通常是一个IP地址加端口号，比如http://your-server-ip:7860）。

如果没有现成镜像，你需要手动部署：

# 1. 克隆项目代码 git clone https://github.com/Cinnamon/kotaemon.git cd kotaemon # 2. 创建Python虚拟环境（推荐，避免依赖冲突） python -m venv venv source venv/bin/activate # Linux/macOS # 对于Windows: venv\Scripts\activate # 3. 安装依赖 pip install -r requirements.txt

安装时可能会遇到一些依赖编译问题（比如llama-cpp-python）。别慌，按需安装系统编译工具：

• Ubuntu/Debian:sudo apt update && sudo apt install -y build-essential cmake
• macOS: 确保已安装Xcode命令行工具：xcode-select --install

2.2 第二步：初次登录与界面概览

无论通过镜像还是手动部署，启动服务后，用浏览器打开提供的地址（例如http://localhost:7860）。

你会看到一个登录界面，使用默认账号密码：

• 用户名:admin
• 密码:admin

安全提示：首次登录后，强烈建议你立即在设置中修改默认密码。

登录成功，你就进入了Kotaemon的主界面。界面很清爽，主要分为三个区域：

1. 左侧对话区：在这里进行问答。
2. 中间知识库管理区：可以在这里创建新的知识库，上传和管理你的文档。
3. 右侧设置区（需要点击右上角Settings进入）：这里是整个系统的“大脑”，配置大模型、文本处理方式等都在这里。

我们的核心配置，即将在下一步展开。

3. 核心配置：连接本地大模型引擎Ollama

要让Kotaemon完全私有化，最关键的一步就是让它使用我们本地运行的Ollama服务。Ollama是一个强大的工具，能让你像下载手机App一样，轻松地在本地运行各种开源大模型。

3.1 安装并启动Ollama

首先，你需要安装Ollama。访问其官网 (https://ollama.com) 下载对应你操作系统的安装包。安装过程非常简单，一路下一步即可。

安装完成后，打开终端（命令行），运行以下命令来验证Ollama是否安装成功，并拉取一个模型：

# 检查Ollama版本 ollama --version # 拉取一个轻量且性能不错的模型，例如Mistral 7B ollama pull mistral # 运行这个模型，确保服务正常 ollama run mistral

执行ollama run mistral后，你会进入一个交互式命令行，可以输入文字测试模型是否正常回复。输入/bye退出。

此时，Ollama服务已经在后台运行，默认监听http://localhost:11434这个地址。这个地址就是我们稍后要告诉Kotaemon的。

3.2 在Kotaemon中配置Ollama

现在回到Kotaemon的Web界面。

1. 点击右上角的Settings。
2. 在设置页面，找到Model Provider（模型提供商）相关的配置项。
3. 将模型类型选择为Ollama（或类似的选项）。
4. 在模型名称栏中，填入你刚才拉取的模型名，例如mistral。
5. 确保模型的基础URL是http://localhost:11434（如果Ollama就在同一台机器上运行的话）。
6. 点击保存或应用设置。

配置完成！现在，Kotaemon就会使用你本地运行的Mistral模型来生成答案了。你可以立刻在左侧的聊天框里测试一下，问一个通用问题，比如“介绍一下你自己”，看看它是否能用本地模型流畅回答。

3.3 模型选择与优化建议

mistral只是一个开始。Ollama支持众多模型，你可以根据你的硬件和需求选择：

• 追求更小更快：可以试试phi3:mini(3.8B参数) 或gemma2:2b，它们对内存要求低，响应速度极快。
• 追求更强能力：可以拉取llama3.1:8b或qwen2.5:7b，它们在理解和推理能力上通常更胜一筹。
• 处理中文：可以优先考虑qwen2.5:7b，它在中文任务上表现很好。

如果你的电脑内存不大（比如只有8GB），运行7B模型可能会比较吃力。这时候可以使用Ollama的量化版本，它们在几乎不损失太多效果的前提下，大幅减少了内存占用和计算量：

# 拉取4位量化的Mistral模型，效果和速度平衡得很好 ollama pull mistral:7b-instruct-q4_K_M

在Kotaemon设置里，模型名就填mistral:7b-instruct-q4_K_M即可。

如果你的电脑有NVIDIA显卡，可以启用GPU加速，速度会有质的飞跃。在运行Ollama时指定GPU数量：

# Linux/macOS OLLAMA_NUM_GPU=1 ollama run mistral # Windows (PowerShell) $env:OLLAMA_NUM_GPU=1 ollama run mistral

4. 构建你的第一个私有知识库

模型配置好了，现在我们来喂给它一些“知识”。

4.1 创建知识库与上传文档

1. 在Kotaemon主界面的知识库管理区，点击Create Knowledge Base或类似的按钮。
2. 给你的知识库起个名字，比如“公司产品手册”。
3. 创建成功后，进入这个知识库。
4. 你会看到上传文件的按钮。点击它，选择你电脑上的PDF、Word等文档上传。你可以一次上传多个文件。

上传后，Kotaemon会在后台自动进行一系列处理：

• 解析：读取文件中的文字和格式。
• 分块：把长文档切成一段段有语义的小块。
• 向量化：将每一块文本转换成计算机能理解的“向量”（一串数字），这个过程依赖于“嵌入模型”。
• 存储：将这些向量存储到向量数据库中，方便后续快速检索。

4.2 配置嵌入模型（可选但重要）

在上面的流程中，“向量化”这一步用的模型叫“嵌入模型”。它决定了系统理解文档语义、进行检索的准确度。Kotaemon默认可能使用一个在线的嵌入模型。

为了彻底私有化，我们也可以换成本地的嵌入模型。幸运的是，Ollama同样管理着一些优秀的嵌入模型。

1. 拉取嵌入模型：

   ollama pull nomic-embed-text

   nomic-embed-text是一个效果很好且支持长文本的嵌入模型。

2. 在Kotaemon中配置： 进入Settings，找到Embedding相关的设置。 将嵌入模型提供商也改为Ollama，然后模型名称填nomic-embed-text，地址同样是http://localhost:11434。

这样，从文档处理到问答生成，整个流水线都完全运行在你的本地环境了。

4.3 开始问答

处理完成后，回到聊天界面。确保顶部选择了你刚创建的“公司产品手册”知识库。

现在，你可以用自然语言提问了。例如，如果你上传的是一份软件API文档，你可以问：

• “如何用户登录接口？”
• “请总结一下文件上传功能有哪些参数？”
• “错误码404代表什么问题？”

Kotaemon会先从你上传的文档中检索出最相关的文本片段，然后把这些片段和你的问题一起送给本地的Ollama模型，让它组织成一个连贯、准确的答案。答案下方通常还会附上“来源”，告诉你它参考了文档的哪一部分，这大大增加了可信度。

5. 总结：你的私有知识助手已就绪

回顾一下，我们完成了什么：

1. 部署了Kotaemon：一个专注于文档对话的友好Web界面。
2. 安装了Ollama：一个本地大模型运行引擎。
3. 连接了两者：让Kotaemon使用本地Ollama服务中的模型进行推理。
4. 构建了知识库：上传私有文档，并全部在本地处理。

这套组合拳的优势非常明显：

• 数据安全：所有文档、所有问答交互，从未离开你的机器。
• 成本可控：无需为OpenAI等API付费，一次部署，长期使用。
• 离线可用：即使在无网络环境中，你的知识助手依然能正常工作。
• 定制灵活：你可以随意切换Ollama中不同的开源模型，找到最适合你任务的那一个。

当然，这只是一个起点。Kotaemon的模块化设计意味着它有巨大的扩展潜力。如果你有开发能力，可以定制文档解析器、接入其他向量数据库、甚至为它添加调用外部API的工具（比如查询数据库、发送邮件），将它从一个问答机器人升级成一个真正的智能助理。

现在，就动手试试吧。从整理一份你经常需要查阅的文档开始，体验一下拥有一个随时待命、且绝对忠诚的私有知识助手的感觉。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。