别再死磕OpenAI API Key了！用Langchain轻松接入本地ChatGLM3/4模型（保姆级教程）

用Langchain构建本地化大语言模型工作流的实战指南

在当今AI技术快速迭代的背景下，许多开发者发现自己的项目被绑定在特定商业API上，这不仅带来成本压力，还存在数据隐私和网络稳定性等潜在风险。本文将带你突破这些限制，通过Langchain框架实现本地化大语言模型的灵活调用，特别针对ChatGLM系列模型的深度集成方案。

1. 为什么需要本地化LLM解决方案

商业API服务虽然方便，但在实际企业级应用中存在三大核心痛点：首先是响应延迟问题，跨国API调用经常面临不可预测的网络抖动；其次是数据合规要求，金融、医疗等行业对敏感信息的出境有严格限制；最后是成本控制难题，当业务量增长时API费用可能呈指数级上升。

本地化部署的开源模型能完美解决这些问题。以ChatGLM3-6B为例，它在中文理解、逻辑推理等任务上已达到商用水平，而完全可以在消费级显卡（如RTX 3090）上流畅运行。更重要的是，所有数据处理都在本地完成，彻底杜绝了隐私泄露风险。

提示：选择本地模型时需平衡算力需求与模型性能，ChatGLM3-6B在24GB显存设备上可流畅运行8bit量化版本

典型适用场景包括：

• 企业内部知识问答系统
• 敏感数据预处理流水线
• 需要定制化微调的垂直领域应用
• 网络隔离环境下的智能服务

2. 环境准备与基础配置

2.1 硬件与软件需求

实现本地模型运行需要确保硬件满足最低要求：

软件依赖方面需要准备：

conda create -n langchain python=3.10 conda activate langchain pip install langchain transformers==4.33.3 torch==2.0.1 sentencepiece

2.2 模型获取与加载

从Hugging Face获取ChatGLM3模型：

from transformers import AutoModel, AutoTokenizer model_path = "THUDM/chatglm3-6b" tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True) model = AutoModel.from_pretrained(model_path, trust_remote_code=True).half().cuda()

对于显存有限的设备，可采用4bit量化加载：

from transformers import BitsAndBytesConfig quant_config = BitsAndBytesConfig( load_in_4bit=True, bnb_4bit_use_double_quant=True, bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype=torch.bfloat16 ) model = AutoModel.from_pretrained(model_path, quantization_config=quant_config)

3. Langchain核心集成方案

3.1 基础LLM封装类实现

Langchain提供了灵活的基类继承机制，我们可以通过重写关键方法实现自定义集成：

from langchain.llms.base import LLM from typing import Optional, List class ChatGLM3Wrapper(LLM): def __init__(self, model_path: str): super().__init__() self.tokenizer = AutoTokenizer.from_pretrained( model_path, trust_remote_code=True ) self.model = AutoModel.from_pretrained( model_path, trust_remote_code=True ).half().cuda() def _call(self, prompt: str, stop: Optional[List[str]] = None) -> str: response, _ = self.model.chat( self.tokenizer, prompt, history=[], temperature=0.7, top_p=0.9 ) if stop: from langchain.llms.utils import enforce_stop_tokens response = enforce_stop_tokens(response, stop) return response @property def _llm_type(self) -> str: return "chatglm3-local"

3.2 高级功能扩展

实际业务中往往需要更复杂的功能集成。下面是支持对话历史保持的增强版本：

class ChatGLM3WithMemory(LLM): def __init__(self, model_path: str): super().__init__() self.history = [] # 初始化代码同上... def _call(self, prompt: str, stop: Optional[List[str]] = None) -> str: response, self.history = self.model.chat( self.tokenizer, prompt, history=self.history, max_length=8192 ) # 停用词处理同上... return response def clear_history(self): self.history = []

4. 生产环境最佳实践

4.1 性能优化技巧

通过以下方法可以显著提升推理速度：

• 批处理预测：将多个请求合并处理

def batch_predict(questions: List[str]) -> List[str]: inputs = tokenizer(questions, return_tensors="pt", padding=True).to("cuda") outputs = model.generate(**inputs, max_new_tokens=512) return [tokenizer.decode(out, skip_special_tokens=True) for out in outputs]

• 量化推理：使用AWQ或GPTQ量化技术

from auto_gptq import AutoGPTQForCausalLM quantized_model = AutoGPTQForCausalLM.from_quantized( "THUDM/chatglm3-6b-gptq", trust_remote_code=True, device="cuda:0" )

4.2 错误处理与监控

健壮的生产系统需要完善的异常处理机制：

from tenacity import retry, stop_after_attempt, wait_exponential class RobustChatGLM(ChatGLM3Wrapper): @retry( stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=4, max=10) ) def predict_with_retry(self, prompt: str) -> str: try: return self._call(prompt) except RuntimeError as e: if "CUDA out of memory" in str(e): torch.cuda.empty_cache() raise raise

5. 进阶应用场景

5.1 多模型路由系统

在复杂业务中可能需要根据query类型选择不同模型：

from langchain.llms import RouterLLM router_config = [ ("technical", ChatGLM3Wrapper("THUDM/chatglm3-6b")), ("creative", OpenChatWrapper("openchat_3.5")), ] router = RouterLLM( router_chain=create_router_chain(router_config), destination_chains={name: llm for name, llm in router_config} )

5.2 与向量数据库集成

构建知识增强的问答系统：

from langchain.vectorstores import Chroma from langchain.embeddings import HuggingFaceEmbeddings embeddings = HuggingFaceEmbeddings(model_name="BAAI/bge-small-zh") vectorstore = Chroma.from_documents(docs, embeddings) retriever = vectorstore.as_retriever() qa_chain = RetrievalQA.from_chain_type( llm=ChatGLM3Wrapper("THUDM/chatglm3-6b"), chain_type="stuff", retriever=retriever )

在实际部署中发现，结合向量检索后，ChatGLM3在专业领域问答的准确率能提升40%以上。一个典型的部署架构包含：

1. 前端接入层处理用户请求
2. 路由层分析问题类型
3. 检索模块获取相关知识片段
4. LLM生成最终回复
5. 后处理模块进行敏感信息过滤