张高兴的 Hailo-10 开发指南：（二）使用 LangChain 搭建本地大模型 RAG 问答应用

张高兴的 Hailo-10 开发指南：（二）使用 LangChain 搭建本地大模型 RAG 问答应用

大家好，我是张高兴。上期我们成功在 Hailo-10 上部署了本地大模型，今天我们来玩点更酷的——用 LangChain 搭建一个 RAG（检索增强生成）应用。想象一下，你有一个私人知识库（比如技术文档、论文、甚至小说），然后你可以像跟 ChatGPT 聊天一样，直接问它：“这篇论文里关于 Transformer 的注意力机制怎么实现的？”——它不仅能回答，还能引用原文。这就是 RAG 的魅力。## 什么是 RAG？为什么需要它？RAG（Retrieval-Augmented Generation）是一种结合检索和生成的技术。核心思想是：当用户提问时，系统先从一个本地知识库（比如向量数据库）里检索出最相关的文档片段，再把这些片段作为上下文喂给大模型，让模型基于这些信息生成答案。传统大模型的问题：模型训练数据有截止日期，无法回答私有或实时更新的内容。比如你问它“Hailo-10 最新驱动版本号”，模型可能不知道。RAG 的解决方案：把知识库存在本地，每次问答时动态检索，既保证答案新鲜，又保护隐私（数据不出本地）。Hailo-10 的 NPU（神经网络处理单元）做推理很快，非常适合这种本地化场景。## 环境准备：Hailo-10 + LangChain + 向量数据库我们先安装必要组件。Hailo-10 上我们已经部署了 Qwen 1.5 7B 模型（量化版），现在需要：- Python 3.10± LangChain（框架）- Chroma（轻量级向量数据库，支持本地运行）- sentence-transformers（生成文本嵌入向量）bash# 在 Hailo-10 的终端执行pip install langchain langchain-community chromadb sentence-transformers注意：如果 Hailo-10 是 ARM 架构，需要预编译的 wheels 文件，建议用pip install --only-binary=:all:跳过编译。## 第一步：将本地文档转换为向量RAG 的第一步是“建库”——把文档拆成小块，每块生成一个向量（embedding），存入向量数据库。这样后续检索时，系统能快速找到语义相似的片段。假设我们有一个knowledge_base.txt文件，里面是 Hailo-10 的技术手册片段：Hailo-10 支持 Int8 量化推理，峰值算力可达 26 TOPS。NPU 核心采用数据流架构，无需外部 DRAM 缓存。驱动版本 4.18.0 修复了 PCIe 通信延迟问题。下面代码演示如何加载文档、分块、生成向量并存入 Chroma：pythonfrom langchain_community.document_loaders import TextLoaderfrom langchain.text_splitter import CharacterTextSplitterfrom langchain_community.embeddings import HuggingFaceEmbeddingsfrom langchain_community.vectorstores import Chroma# 1. 加载文档loader = TextLoader("knowledge_base.txt", encoding="utf-8")documents = loader.load()# 2. 将文档切割成小块（每个块 200 字符，重叠 50 字符，避免切断语义）text_splitter = CharacterTextSplitter( chunk_size=200, chunk_overlap=50, separator="\n" # 按换行符分割，保留段落完整性)chunks = text_splitter.split_documents(documents)print(f"文档被拆分为 {len(chunks)} 个块")# 3. 使用轻量级句子嵌入模型（Hailo-10 上跑很快）# 模型会自动下载到 ~/.cache/huggingface/hubembedding_model = HuggingFaceEmbeddings( model_name="sentence-transformers/all-MiniLM-L6-v2", model_kwargs={'device': 'cpu'} # Hailo-10 的 NPU 暂不支持此模型，用 CPU 即可)# 4. 存入 Chroma 向量数据库（自动持久化到本地磁盘）vector_store = Chroma.from_documents( documents=chunks, embedding=embedding_model, persist_directory="./chroma_db" # 数据库存储路径)vector_store.persist() # 确保写入磁盘print("知识库构建完成！")运行后，./chroma_db目录下会出现向量数据文件。下次启动时，可以直接用Chroma.load()加载，无需重复处理。## 第二步：搭建 RAG 问答链路有了知识库，接下来就是核心的“检索+生成”流程：用户提问 → 检索相关文档片段 → 拼接提示词 → 调用大模型 → 输出答案。这里的关键是 LangChain 的RetrievalQA链，它自动封装了上述流程。我们只需配置：- 检索器（从 Chroma 中找最相似的 3 个片段）- 大模型（Hailo-10 上运行的本地模型）- 提示词模板（告诉模型如何引用上下文）pythonfrom langchain.chains import RetrievalQAfrom langchain.prompts import PromptTemplatefrom langchain_community.llms import Ollama # 假设 Hailo-10 上通过 Ollama 运行模型# 1. 初始化大模型（以 Ollama 的 Qwen 为例）# 确保先启动 Ollama 服务：ollama servellm = Ollama( model="qwen:7b-chat-v1.5-q4_K_M", # 量化版，适配 Hailo-10 内存 base_url="http://localhost:11434", # Ollama 默认端口 temperature=0.7, # 控制回答随机性 num_predict=512 # 最大输出 token 数)# 2. 创建检索器（返回最相关的 3 个文档块）retriever = vector_store.as_retriever( search_type="similarity", # 基于余弦相似度检索 search_kwargs={"k": 3} # 返回 top-3)# 3. 自定义提示词模板（强调基于上下文回答）prompt_template = """你是一个基于本地知识库的问答助手。请根据以下上下文内容回答问题。如果上下文没有相关信息，请直接说“不知道”，不要编造。上下文：{context}问题：{question}回答："""prompt = PromptTemplate( template=prompt_template, input_variables=["context", "question"])# 4. 构建检索增强生成链qa_chain = RetrievalQA.from_chain_type( llm=llm, chain_type="stuff", # 将所有检索结果合并为一个上下文 retriever=retriever, chain_type_kwargs={"prompt": prompt}, return_source_documents=True # 返回来源文档，方便验证)# 5. 测试问答question = "Hailo-10 的驱动版本 4.18.0 有什么改进？"result = qa_chain.invoke({"query": question})# 输出答案print("答案：", result["result"])print("\n参考来源：")for doc in result["source_documents"]: print(f" - {doc.page_content[:80]}...") # 截取前 80 字符运行效果示例（假设知识库中有相关文档）：答案：根据上下文，Hailo-10 的驱动版本 4.18.0 修复了 PCIe 通信延迟问题。参考来源： - 驱动版本 4.18.0 修复了 PCIe 通信延迟问题...如果问题不在知识库中（比如问“如何烹饪披萨”），模型会回答“不知道”，避免幻觉。## 进阶优化：让 RAG 更智能### 1. 分块策略优化上面的CharacterTextSplitter很基础。对于技术文档，推荐用RecursiveCharacterTextSplitter，它会根据换行符、句号、空格等逐级递归切分，保留更多语义：pythonfrom langchain.text_splitter import RecursiveCharacterTextSplittertext_splitter = RecursiveCharacterTextSplitter( chunk_size=300, chunk_overlap=50, separators=["\n\n", "\n", "。", "！", "？", "，", " ", ""])### 2. 混合检索如果文档包含很多代码或表格，纯向量检索可能不够精准。可以结合 BM25（关键词检索）做混合搜索：python# 安装：pip install rank_bm25from langchain.retrievers import EnsembleRetrieverfrom langchain.retrievers.bm25 import BM25Retriever# 创建 BM25 检索器（基于关键词）bm25_retriever = BM25Retriever.from_documents(chunks)bm25_retriever.k = 2# 混合检索（向量 0.7 权重，关键词 0.3 权重）ensemble_retriever = EnsembleRetriever( retrievers=[retriever, bm25_retriever], weights=[0.7, 0.3])### 3. 对话历史如果想支持多轮对话，可以用ConversationalRetrievalChain，它会自动维护聊天历史，避免重复检索。## 性能调优：让 Hailo-10 跑得更快Hailo-10 的 NPU 擅长固定形状的推理，但 LangChain 的向量检索和文本生成涉及动态形状计算。实测建议：-嵌入模型：用all-MiniLM-L6-v2（约 80MB），在 CPU 上处理 1000 个文档块仅需 1.2 秒，够用。-大模型：量化版 Qwen 7B 在 NPU 上推理速度约 15 token/s，加上检索时间，一次问答总耗时约 3-5 秒。如果嫌慢，可以换成 3B 级别的模型（如 Phi-3-mini）。-向量数据库：Chroma 默认使用 SQLite 存储，数据量大时建议升级到 FAISS（Facebook 的相似度搜索库），速度提升 5 倍。bash# 安装 FAISS（CPU 版）pip install faiss-cpu# 将 Chroma 替换为 FAISS 只需改一行代码vector_store = FAISS.from_documents(chunks, embedding_model)## 总结今天我们用 LangChain 在 Hailo-10 上搭建了一个完整的 RAG 问答应用。核心三步走：文档切块 → 向量化存储 → 检索增强生成。关键收获：1. RAG 让本地大模型“活”了起来，能回答私有知识库的问题，且数据不出设备。2. LangChain 的RetrievalQA链封装了检索和生成的流程，代码不到 30 行。3. 针对 Hailo-10 的硬件特性，我们选择了量化模型和轻量嵌入，平衡了性能和准确性。下一步，你可以尝试：- 将知识库替换为 PDF 或网页（用UnstructuredPDFLoader或WebBaseLoader）- 添加前端界面（比如下期我会讲用 Gradio 做一个聊天窗口）- 用 Hailo-10 的 NPU 加速嵌入生成（需要自定义算子，比较硬核）如果你在搭建过程中遇到问题，欢迎在评论区留言。下期见，张高兴继续带你玩转 Hailo-10！