Metadata Extraction Leveraging Large Language Models

文章主要内容与创新点总结

一、主要内容

该研究聚焦于利用大型语言模型（LLMs）优化合同元数据提取任务，针对法律及企业场景中文档审查效率低、成本高的问题，构建了一套完整的元数据提取流水线。核心流程包含三大关键模块：

1. 文本转换与OCR预处理：将PDF等非结构化文档转换为机器可读文本，通过对比多种开源与商业方案，选定Azure Document Intelligence作为最优解，平衡转换质量与运营成本；
2. 策略性文本块选择：为解决LLM上下文窗口限制与成本优化问题，提出针对性文本块筛选方法，确保仅相关文本片段被送入LLM处理；
3. LLM基于的信息合成：结合思维链（CoT）提示与结构化工具调用，提升复杂推理场景的提取准确性，并保证输出格式的一致性。

此外，研究还引入LLM作为评估工具，通过标签修正与在线分级实现提取质量优化与隐私保护下的性能监控。实验基于公开数据集CUAD与内部租赁合同数据集验证，结果表明该方案在提取准确率、效率及成本控制上均优于传统方法。

二、创新点

1. 提出三元优化框架：明确文本转换、文本块选择、LLM专用技术为元数据提取的核心优化维度，形成端到端可落地的解决方案；
2. 文本块选择创新方法：
   • 提出NER增强的波达排序（Borda Re-ranking），融合命名实体识别与多