CNKI查新（引文格式）导出数据合并剔重程序（Python代码）

起因：批量处理CNKI文献导出记录的重复问题

我在撰写学术论文时遇到了一个常见但令人困扰的技术问题。为了全面掌握研究领域的现状，我在中国知网(CNKI)上进行了系统的文献检索，并需要导出所有相关文献记录进行后续分析。

问题背景

1. CNKI的系统限制：CNKI平台对文献导出设置了500条记录的上限，这意味着当检索结果超过500条时，必须分批多次导出。

2. 实际操作中的困难：

   • 每次导出都会生成一个单独的文件
   • 不同批次的导出文件中存在大量重复文献
   • 这些重复记录会显著增加后续AI分析的工作量和成本

3. 具体痛点：

   • 直接合并所有文件会导致重复记录
   • 使用AI分析时，重复内容会浪费宝贵的Token配额
   • 手动筛选耗时且容易出错

解决方案的开发过程

为了解决这个问题，我采取了以下步骤：

1. 需求分析：

   • 需要处理多个导出文件
   • 自动识别并去除重复记录
   • 最终生成一个合并后的纯净文件

2. 技术实现：

   • 使用Python编写处理脚本
   • 借助AI辅助完成代码编写
   • 对生成的代码进行了必要的修改和优化

3. 使用说明：

   • 将脚本保存为.py文件
   • 放置在导出文件所在的目录中
   • 直接运行即可自动完成去重和合并

代码特点

该解决方案具有以下优势：

• 操作简单，一键完成
• 处理速度快，效率高
• 能有效节省AI分析的Token消耗
• 适用于各种规模的文献检索结果

这个工具特别适合需要进行大规模文献综述的研究人员，解决了CNKI导出限制带来的不便，提高了研究效率。

代码源码

importreimportosfromdatetimeimportdatetimefromcollectionsimportOrderedDictdefmerge_and_deduplicate_literature(output_dir:str="."):""" 自动合并当前目录下所有 CNKI 开头的 txt 文件 去重 + 重新排序号 + 按时间生成输出文件 """# 1. 获取当前目录下所有 CNKI 开头的 .txt 文件file_list=[fforfinos.listdir(