从Prompt设计到结果清洗：一个完整LLM评测流水线在TinyEval中的实战拆解

从Prompt设计到结果清洗：一个完整LLM评测流水线在TinyEval中的实战拆解

当开发者面对自定义SFT数据时，如何构建端到端的评测流水线往往成为最大痛点。本文将以"甄嬛"风格对话数据为例，完整展示从原始数据到评测分数的全流程实现，重点解决三个核心问题：如何设计符合中文语境的Prompt？如何处理模型输出的非标准化答案？如何确保评分结果真实反映模型能力？

1. 构建中文SFT数据的评测框架

在开始评测前，需要明确自定义数据的结构特点。以"甄嬛"对话数据为例，典型的三段式结构包含：

{ "instruction": "假设你是皇帝身边的女人--甄嬛", "input": "你是谁?", "output": "臣妾是甄嬛，家父是大理寺少卿。" }

1.1 数据预处理的关键步骤

处理中文SFT数据时需特别注意：

• 编码问题：确保UTF-8编码处理中文标点
• 长度统计：中文字符按2字节计算可能影响截断策略
• 特殊符号：清除不可见字符但保留中文标点

提示：中文对话数据建议保留emoji和表情符号，它们可能包含重要语义

1.2 评测指标选择矩阵

2. Prompt设计的艺术与科学

2.1 中文Prompt模板设计

针对"甄嬛"类角色扮演对话，有效的Prompt应包含：

【角色设定】{instruction} 【对话历史】{context} 【当前问题】{input} 【回答要求】用{role_name}的口吻简短回答，只需给出答案不要解释

关键设计原则：

• 角色一致性：明确角色身份和语言风格
• 输出控制：限制回答长度和格式
• 语境保留：正确处理多轮对话历史

2.2 处理长文本截断的策略

当输入超过模型最大长度时，推荐采用"两端保留法"：

def truncate_text(text, max_length): half = int(max_length/2) return text[:half] + text[-half:] if len(text) > max_length else text

这种方法在中文场景下尤其重要，因为：

• 问题通常出现在文本末尾
• 关键背景信息多在开头
• 避免截断中文词汇的中间字符

3. 模型推理中的实战技巧

3.1 构建灵活的推理管道

class ChineseLLM(BaseLLM): def post_process(self, response): # 去除多余标点和无意义前缀 response = re.sub(r'^[：、，]+', '', response) # 统一简繁体 return OpenCC('t2s').convert(response).strip()

常见中文输出问题及解决方案：

3.2 温度参数对中文生成的影响

实验数据表明，中文生成任务的最佳温度参数：

4. 结果清洗与评分实战

4.1 中文特异性清洗流程

针对"厦大"vs"厦门大学"这类别名问题，建议构建同义词映射表：

synonyms = { "厦大": "厦门大学", "清华": "清华大学", "北航": "北京航空航天大学" } def normalize_answer(text): for k, v in synonyms.items(): text = text.replace(k, v) return text

4.2 适配中文的评分函数改进

标准F1评分在中文场景下的优化方案：

def chinese_f1_score(pred, truth): # 中文分词处理 pred_words = jieba.cut(pred) truth_words = jieba.cut(truth) # 去除停用词 pred_words = [w for w in pred_words if w not in STOP_WORDS] truth_words = [w for w in truth_words if w not in STOP_WORDS] return original_f1_score(pred_words, truth_words)

实际项目中我们发现，加入以下处理能显著提升评分准确性：

• 数字统一转换为汉字形式
• 标点符号差异容忍处理
• 近义词替换检测

5. 端到端流水线集成

将各模块串联成完整工作流：

graph TD A[原始数据] --> B[Prompt设计] B --> C[模型推理] C --> D[结果清洗] D --> E[评分计算] E --> F[可视化报告]

关键集成点注意事项：

• 确保各环节编码一致
• 中间结果保存为JSONL格式
• 进度状态可视化展示

在真实项目中，我们通过添加以下监控指标提升可靠性：

• 输入输出长度分布统计
• 异常回答自动检测
• 评分分布直方图

6. 避坑指南与性能优化

三个月内处理超过10万条中文对话数据后，我们总结出以下经验：

高频问题排查表

性能优化方面，针对中文特点特别推荐：

• 使用jieba的并行分词模式
• 对频繁访问的同义词表进行缓存
• 采用内存映射方式处理大文本文件

实际测试中，这些优化可使处理速度提升3-5倍，特别是在处理古文或专业术语较多的文本时效果更为明显。