Qwen3.5-9B私有知识库：RAG架构+Chroma向量库集成教程
Qwen3.5-9B私有知识库：RAG架构+Chroma向量库集成教程
1. 项目概述
Qwen3.5-9B是一款拥有90亿参数的开源大语言模型，具备强大的逻辑推理、代码生成和多轮对话能力。该模型支持多模态理解（图文输入）和长上下文处理（最高可达128K tokens），是构建私有知识库的理想选择。
1.1 核心特性
- 多模态支持：可同时处理文本和图片输入
- 长上下文记忆：支持长达128K tokens的上下文窗口
- 私有化部署：完全本地运行，数据安全有保障
- RAG架构：结合检索增强生成技术，提升回答准确性
2. 环境准备
2.1 基础环境配置
# 创建conda环境 conda create -n qwen3.5 python=3.10 conda activate qwen3.5 # 安装基础依赖 pip install torch==2.8.0 transformers==5.0.0 gradio==6.0.02.2 Chroma向量库安装
pip install chromadb sentence-transformers3. 项目结构
/root/qwen3.5-9b/ ├── app.py # 主程序 (Gradio WebUI) ├── start.sh # 启动脚本 ├── chroma_db/ # Chroma向量数据库 ├── docs/ # 知识库文档 ├── service.log # 运行日志 └── history.json # 对话历史记录4. RAG架构实现
4.1 知识库文档处理
from chromadb import Documents, EmbeddingFunction, Embeddings from sentence_transformers import SentenceTransformer class MyEmbeddingFunction(EmbeddingFunction): def __init__(self): self.model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2') def __call__(self, texts: Documents) -> Embeddings: return self.model.encode(texts).tolist()4.2 Chroma向量库初始化
import chromadb client = chromadb.PersistentClient(path="chroma_db") collection = client.create_collection( name="knowledge_base", embedding_function=MyEmbeddingFunction() ) # 添加文档到向量库 documents = ["文档1内容", "文档2内容", "..."] metadatas = [{"source": "doc1"}, {"source": "doc2"}, ...] ids = ["id1", "id2", ...] collection.add( documents=documents, metadatas=metadatas, ids=ids )5. 模型集成
5.1 Qwen3.5-9B模型加载
from transformers import AutoModelForCausalLM, AutoTokenizer model_path = "/root/ai-models/Qwen/Qwen3.5-9B" tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained( model_path, device_map="auto", trust_remote_code=True ).eval()5.2 RAG检索增强实现
def retrieve_relevant_docs(query, n_results=3): results = collection.query( query_texts=[query], n_results=n_results ) return "\n\n".join(results['documents'][0]) def generate_with_rag(query): context = retrieve_relevant_docs(query) prompt = f"基于以下上下文回答问题:\n{context}\n\n问题: {query}\n回答:" response, _ = model.chat(tokenizer, prompt, history=None) return response6. Web界面开发
6.1 Gradio界面设计
import gradio as gr with gr.Blocks() as demo: with gr.Row(): with gr.Column(): query = gr.Textbox(label="输入问题") submit_btn = gr.Button("提交") with gr.Column(): output = gr.Textbox(label="模型回答") submit_btn.click( fn=generate_with_rag, inputs=query, outputs=output ) demo.launch(server_name="0.0.0.0", server_port=7860)7. 系统部署
7.1 Supervisor配置
[program:qwen3.5-9b] command=/bin/bash /root/qwen3.5-9b/start.sh directory=/root/qwen3.5-9b environment=HOME="/root",USER="root",LOGNAME="root",SHELL="/bin/bash",PATH="/opt/miniconda3/envs/qwen3.5/bin:/usr/bin:/bin" user=root autostart=true autorestart=true startsecs=30 startretries=3 redirect_stderr=true stdout_logfile=/root/qwen3.5-9b/service.log stopasgroup=true killasgroup=true7.2 启动脚本
#!/bin/bash source /opt/miniconda3/etc/profile.d/conda.sh conda activate qwen3.5 python /root/qwen3.5-9b/app.py8. 使用指南
8.1 基本操作流程
- 访问Web界面：http://服务器IP:7860
- 在输入框中输入问题
- 点击"提交"按钮获取回答
- 系统会自动从知识库检索相关信息并生成回答
8.2 知识库维护
# 添加新文档到知识库 python update_knowledge.py --file 新文档.txt --id doc_new # 重建向量库 python rebuild_chroma.py --dir docs/9. 性能优化建议
9.1 检索优化
- 使用更小的chunk size（300-500字）
- 添加文档元数据（来源、日期等）
- 定期清理过时文档
9.2 生成优化
- 限制生成token数量（max_tokens=512）
- 调整temperature参数（0.7-0.9）
- 使用top-p采样（top_p=0.9）
10. 总结
本教程详细介绍了如何将Qwen3.5-9B大模型与Chroma向量库集成，构建一个完整的RAG架构私有知识库系统。该系统具备以下优势：
- 知识可追溯：所有回答基于检索到的文档生成
- 易于扩展：只需添加文档即可扩展知识范围
- 隐私安全：所有数据和模型均在本地运行
- 多模态支持：可处理文本和图片输入
通过这套方案，您可以快速搭建一个专业领域的智能问答系统，满足企业内部知识管理和客户服务的需求。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。