从Excel表格到智能客服：我用LangChain+FAISS趟过的那些坑（附完整代码）

从Excel表格到智能客服：我用LangChain+FAISS趟过的那些坑（附完整代码）

去年接手一个电商客服机器人项目时，我天真地以为把Excel问答对导入大模型就能搞定。直到真正动手才发现，从结构化数据到智能对话，中间隔着无数个凌晨三点的debug夜晚。今天分享五个最要命的坑和填坑代码，这些在官方文档里可找不到。

1. 当Excel列名像女朋友的心情一样多变

客户给的客服问答Excel每周更新一次，但"问题"列可能叫"用户提问"、"咨询内容"甚至"Q"。第一次跑脚本就因KeyError崩了，后来用这套动态适配方案才稳住：

def smart_read_excel(file_path): df = pd.read_excel(file_path) # 列名模糊匹配：优先找包含'问'的列作为问题列 question_col = next((col for col in df.columns if '问' in col), None) # 找不到就选第一列 return df[question_col] if question_col else df.iloc[:,0]

更健壮的版本还要处理三种特殊情况：

• 合并单元格导致的首行无效数据（加header=1参数）
• 隐藏的工作表（用sheet_name=None读取所有sheet）
• 单元格换行符（预处理用df.replace(r'\n',' ', regex=True)）

2. 中文Embedding选型：别被排行榜骗了

测试了7个主流模型后，发现HuggingFace榜单前几的模型处理中文客服问题简直是灾难。最终方案是：

from langchain.embeddings import HuggingFaceBgeEmbeddings embeddings = HuggingFaceBgeEmbeddings( model_name="BAAI/bge-small-zh-v1.5", encode_kwargs={'normalize_embeddings': True} # 重要！提升相似度计算准确度 )

关键发现：

• 维度陷阱：768维的bge-small比1024维的m3e-base实测效果更好
• 归一化玄学：不开启normalize_embeddings时，相似度分数会集中在0.7-0.9区间
• 温度参数：冬天跑模型记得加device_map="auto"，不然GPU温度能煎鸡蛋

3. FAISS阈值设多少？用统计学说话

相似度阈值设0.8错过60%有效答案，设0.5又返回大量垃圾。后来用这个诊断工具找到黄金分割点：

def evaluate_threshold(db, test_questions): thresholds = [round(x*0.05 + 0.5, 2) for x in range(10)] results = [] for th in thresholds: retriever = db.as_retriever( search_type="similarity_score_threshold", search_kwargs={"score_threshold": th} ) recall = sum(1 for q in test_questions if retriever.get_relevant_documents(q))/len(test_questions) precision = ... # 计算准确率 results.append((th, recall, precision)) return pd.DataFrame(results, columns=["threshold", "recall", "precision"])

画出PR曲线后发现：

• 服装类问题最佳阈值0.68
• 物流类需要0.72
• 促销类0.6就够 后来改成动态阈值方案，准确率提升23%。

4. 让GLM-4不胡编乱造的Prompt设计术

最初用经典模板"Answer based on context..."，结果模型把"双11规则"回答成"情人节攻略"。迭代17版后这个prompt最稳定：

system_prompt = """你是一个严谨的电商客服，必须严格遵守以下规则： 1. 回答必须来自<context></context>标记的内容 2. 遇到不确定的情况必须回答"根据当前政策，建议您联系人工客服" 3. 数字信息必须精确到小数点后两位 4. 禁止添加任何个人推测 <context> {context} </context> """

实测有效的三个技巧：

• 用XML标签包裹context比纯文本可靠度提升40%
• 在prompt里明确写出负面指令（"禁止..."）
• 对金融类问题追加"所有金额需用人民币单位明确标注"

5. 冷启动时期的"鬼打墙"问题

上线首周出现恐怖循环：用户问"怎么退货" → 模型答"请描述退货问题" → 用户重复提问。解决方案是在检索链加了个预处理层：

from langchain_core.runnables import RunnableLambda def query_rewrite(input_text): # 将模糊查询映射到标准问题 mapping = { "怎么退": "退货流程是什么", "多少钱": "商品价格是多少", "何时到": "物流时效几天" } return next((v for k,v in mapping.items() if k in input_text), input_text) chain = ( RunnableLambda(query_rewrite) | retriever | question_answer_chain )

配套建设的还有：

• 用户问题聚类分析（用KMeans找出高频模糊问法）
• 主动澄清话术（当相似度<0.4时追问"您是想了解XX还是YY？"）
• 人工标注回流机制（每天抽样100条修正数据重新训练）

现在这套系统每天处理8万+咨询，准确率92.7%。最让我自豪的不是技术指标，而是上周收到的一封用户邮件："你们的机器人比真人客服还有耐心"。