EpiQAL评测基准：提升AI在公共卫生领域的专业性与时效性

1. 项目背景与核心价值

EpiQAL这个评测基准的出现，恰好填补了当前公共卫生领域AI评估体系的空白。去年参与某地疾控中心的智能问答系统部署时，我们就深刻感受到：现有的大语言模型在专业流行病学场景下，经常出现术语混淆、数据时效性错乱、防控建议不精准等问题。比如将"基本传染数（R0）"解释为"病毒直径"，或是把2019年的疫苗接种方案套用在当前疫情上。

这个基准的价值在于建立了三个维度的评估体系：

• 知识准确性：涵盖传染病学基础、流行病学模型、公共卫生政策等专业领域
• 逻辑严谨性：要求对"隔离期计算""传播链分析"等场景进行因果推理
• 实践指导性：评估生成的防控建议是否符合现行操作规范

2. 基准构建的技术路径

2.1 数据集的特殊处理

与通用领域的QA数据集不同，我们采用了"三级验证机制"：

1. 原始问题来自CDC真实工作记录（脱敏处理）
2. 由流行病学专家标注标准答案
3. 通过临床医生和基层防疫人员双重校验

特别设计了"动态时效标记"系统，每个问题都带有：

{ "valid_period": "2023Q3", "applicable_region": ["华东","华南"], "knowledge_source": "《防控方案(第九版)》" }

2.2 评估指标的创新设计

在常规的BLEU、ROUGE指标外，新增了：

• 术语一致性得分（TCS）：检测专业术语使用规范
• 时效敏感度（TSS）：评估对政策/指南版本差异的识别能力
• 操作可行性指数（OFI）：由基层防疫人员对建议可执行性打分

关键提示：评估时需关闭模型的联网检索功能，仅测试其固有知识库的可靠性

3. 典型测试案例解析

3.1 基础概念类问题

问题示例：
"请解释SEIR模型中的β参数流行病学意义"

优质回答特征：

• 明确β代表有效接触率（单位：人/天）
• 说明与基本再生数R0的换算关系（β×D/γ）
• 给出典型传染病的参考值范围（如流感0.3-0.5）

常见错误模式：

• 与SIR模型参数混淆
• 缺少量纲说明
• 未区分理论值与实际观测值

3.2 防控建议类问题

问题示例：
"某小学出现甲流聚集性病例，请给出处置建议"

标准答案框架：

1. 病例管理（隔离期≥体温正常后48小时）
2. 密切接触者处置（建议居家观察7天）
3. 环境消毒（重点区域含氯消毒剂喷洒）
4. 健康监测（晨午检制度实施2周）

评估要点：

• 是否区分了学生/教职工不同处置方案
• 消毒剂浓度是否精确到250-500mg/L
• 是否提及停课标准的触发条件（如班级1周内超5例）

4. 实测中的关键发现

4.1 模型表现差异分析

在测试的12个主流模型中：

• 医疗专用模型（如Med-PaLM）在术语准确性上领先15-20%
• 通用大模型（GPT-4级别）在逻辑推理上更具优势
• 开源模型普遍存在政策时效性滞后问题（平均落后现行标准9-14个月）

4.2 典型错误类型

我们建立了错误分类体系：

5. 实用建议与优化方向

基于三个月实测经验，给出以下建议：

对于模型开发者：

• 需要建立专业术语库（包含WHO术语标准编码）
• 建议引入"政策版本检测"模块
• 对防控建议类输出增加可行性校验环节

对于公共卫生机构：

• 优先考虑"专业模型+通用模型"的混合架构
• 关键决策环节仍需人工复核
• 建议建立动态知识更新机制（至少季度级）

我们在某省级疾控中心的试点显示，经过EpiQAL优化的系统使基层咨询效率提升40%，但同时也发现：模型在处置"新型病原体"等未知场景时，仍会产生具有误导性的"自信错误"。这提示我们需要在基准中增加"不确定性表达"评估维度——当模型遇到超出知识边界的问题时，能否正确声明局限而非强行作答。