【第五十二周】结果分析

摘要

本周主要对优化glyph-ficoco多文档任务性能，在不明显损失压缩率前提下修复模型在hotpotqa、2wikimqa、musique数据集上效果退化问题，优先保障2wikimqa/musique指标，局部优化hotpotqa且不破坏整体均衡性。

Abstract

This week, I focused on optimizing the performance of Glyph-FiCoCo on multi-document tasks. Without significantly sacrificing the compression ratio, I fixed the performance degradation of the model on the HotpotQA, 2WikiMQA and MuSiQue datasets. Prioritizing the metrics of 2WikiMQA and MuSiQue, I performed partial optimizations for HotpotQA while preserving the overall balance of model performance.

一、项目调整以及结论

1. 模块修改

本次共修改 5 类核心代码文件，覆盖检索、流水线、推理、评测、单元测试模块：

1. 检索模块（retrieval.py）
   重构句级压缩逻辑：由单纯词命中筛选升级为结构保留 + 分档压缩，优先保留首句、关键实体句、多跳桥接句，再通过综合分值补充文本；
   新增 4 类检索配置模板：multi_hop/default/summary/code；
   新增问句类型识别，针对时间、地点、人物类问句及 HotpotQA 关系型问题增加句子权重加分；
   实现查询实体自动抽取，支持引号实体、大写专有短语识别。
2. 流水线模块（pipeline.py）
   渲染接口支持传入检索配置模板；
   报告日志写入检索模板标识，实现检索配置全链路透传至渲染阶段。
3. 推理模块（inference.py）
   基于检索模板差异化配置压缩档位；
   支持按数据集覆盖检索参数，单独为 HotpotQA 定制实验开关（最终不纳入默认方案）；
   页级重排序链路完成接入：词法得分→实体 / 问句规则→无依赖 BM25→轻量化稠密重排（复用模型 Embedding）；
   实验结论：BM25、轻量化稠密重排功能可用，但无法提升 HotpotQA Top10 指标。
4. LongBench 评测脚本（post_api_longbench.py，核心修复）
   修复clean_prediction清洗逻辑：解决未闭合 `` 标签导致答案被清空、评测数据失真问题；
   新增短答 Prompt 约束，限制模型仅输出答案、禁止推理过程；
   新增 HotpotQA 专项优化实验入口，验证单独放宽检索资源方案无效，不保留为默认策略。
5. 测试用例（test_ficoco_selection.py）
   补充多跳压缩、激进摘要模式、BM25 实体共现打分相关测试逻辑；
   环境无 pytest 未执行自动化测试，全部文件完成语法校验。

2. 环境验证与复测情况

1. 基础闭环验证
   Gen_env环境部署完成最小用例测试，Glyph 渲染、FiCoCo 基础功能、本地模型推理全部运行正常。
2. 多数据集采样复测方案
   选取hotpotqa/2wikimqa/musique各前 10 条样本，完整执行查询引导 + FiCoCo 压缩全链路实测。

3. 实验数据与结论

1. 基线问题
   早期实验指标异常，根源为评测清洗逻辑缺陷，大量样本输出空答案，相关数据作废，最终结论以修复评测链路后的结果为准。
2. 最优平衡配置指标
   表格
   数据集 评测得分 单样本平均 Prompt Token
   hotpotqa 24.38 346.5
   2wikimqa 28.82 310.0
   musique 25.12 342.4
   多文档 QA 均值 26.11 332.97
   Token 总量符合 300-350 约束区间。
3. HotpotQA 专项调优结论
   针对 HotpotQA 开展 5 组定向优化实验：放宽检索资源、句级关系排序、页级实体规则重排、BM25 重排、轻量化稠密重排，全部方案均无法提升指标，当前规则检索、轻量重排路径已达性能天花板。
   五、落地推荐最终配置
   保留本次迭代的查询引导 + FiCoCo 分层压缩方案；
   固定 LongBench 评测脚本修复逻辑与短答 Prompt 约束；
   默认启用multi_hop多跳压缩档位；
   关闭 HotpotQA 专属增强开关，不作为全局默认策略；
   BM25、轻量化稠密重排仅作为扩展功能保留，不纳入标准配置。

4. 现存阻塞与未完成工作

1. 待验证任务
   计划接入外部轻量检索模型BAAI/bge-small-en-v1.5、intfloat/e5-small-v2完成实测。
2. 环境阻塞原因
   Gen_env缺失sentence_transformers依赖库；
   本地无预下载 BGE/E5 类检索模型缓存；
   Hugging Face 模型下载网络不通。
3. 当前瓶颈总结
   仅依靠内置规则、BM25、模型自有 Embedding 重排，无法突破 HotpotQA 性能上限。

总结

1，解决核心评测缺陷，消除空答案带来的指标失真问题，产出一套可稳定复现、Token 可控的多文档均衡压缩方案；
2，充分验证本地规则类优化手段，确认现有方案无法继续提升 HotpotQA 效果；
3,明确下一阶段技术迭代方向，放弃持续本地调参，转向外部检索模型或升级 VLM。