当前位置：首页 > news >正文

【自编工具】文件整理工具：自动解压压缩包 + 全局去重

news 2026/7/1 16:14:55

文件整理工具：自动解压压缩包 + 全局去重

功能说明：

递归遍历指定目录，自动解压.zip/.rar/.7z压缩包到同级目录，同名文件自动对比保留一份
遍历全部文件，通过文件哈希MD5精准识别重复文件，只保留原始文件，其余重复文件移动到备份目录
自动生成重复文件清单报表（重复文件清单.csv），记录原始文件、重复文件、文件大小、MD5
兼容 Windows / Mac / Linux，依赖解压工具自动适配

完整代码

importosimporthashlibimportshutilimportcsvimportsubprocessfrompathlibimportPath# ===================== 配置区（自行修改） =====================TARGET_ROOT=r"D:/TestFile"# 需要整理的根目录BACKUP_DIR=Path(TARGET_ROOT)/"重复文件备份"# 重复文件存放备份文件夹SUPPORT_COMPRESS={".zip",".rar",".7z"}# 支持解压的压缩格式CHUNK_SIZE=65536# MD5读取分块大小，避免大文件内存溢出# ==========================================================defget_file_md5(file_path:Path)->str:"""计算文件MD5哈希值，用于判断文件是否完全相同"""md5_obj=hashlib.md5()try:withopen(file_path,"rb")asf:whilechunk:=f.read(CHUNK_SIZE):md5_obj.update(chunk)returnmd5_obj.hexdigest()exceptExceptionase:print(f"[MD5计算失败]{file_path}| 错误:{str(e)}")return""defsafe_merge_file(src:Path,dst:Path):"""解压时遇到同名文件，MD5对比，相同则删除源，不同则重命名"""ifnotdst.exists():shutil.move(src,dst)returnsrc_md5=get_file_md5(src)dst_md5=get_file_md5(dst)ifsrc_md5==dst_md5:# 文件完全一致，直接删除解压出来的重复文件os.remove(src)print(f"[解压去重] 文件完全相同，删除解压临时文件:{src.name}")else:# 文件内容不同，重命名解压文件避免覆盖new_name=f"{src.stem}_副本{src.suffix}"new_dst=src.parent/new_name shutil.move(src,new_dst)print(f"[解压冲突] 同名内容不同，重命名为:{new_name}")defextract_compress(file_path:Path):"""解压压缩包到同级目录，自动处理同名文件"""ext=file_path.suffix.lower()parent_dir=file_path.parentprint(f"\n[开始解压]{file_path}")try:ifext==".zip":importzipfilewithzipfile.ZipFile(file_path,"r")aszf:fornameinzf.namelist():extract_path=parent_dir/name zf.extract(name,parent_dir)ifextract_path.is_file():safe_merge_file(extract_path,extract_path)elifextin(".rar",".7z"):# 调用7z命令行解压（Windows自带7-Zip需配置环境变量，Linux/Mac安装p7zip-full）cmd=["7z","x","-y",f"-o{parent_dir}",str(file_path)]subprocess.run(cmd,capture_output=True,text=True)# 遍历解压生成的所有文件做同名去重forroot,_,filesinos.walk(parent_dir):forfnameinfiles:fpath=Path(root)/fnameiffpath.stat().st_ctime>=file_path.stat().st_ctime:safe_merge_file(fpath,fpath)print(f"[解压完成]{file_path.name}")exceptExceptionase:print(f"[解压失败]{file_path}| 错误:{str(e)}")deftraverse_and_extract(root:Path):"""递归遍历目录，解压所有压缩包"""compress_files=[]# 先收集所有压缩文件，避免遍历中目录变动漏文件forroot_dir,_,filesinos.walk(root):forfnameinfiles:fpath=Path(root_dir)/fnameiffpath.suffix.lower()inSUPPORT_COMPRESS:compress_files.append(fpath)# 依次解压forcomp_fileincompress_files:extract_compress(comp_file)deffind_duplicate_files(root:Path):"""全局扫描所有文件，找出重复文件，返回重复字典 md5:[原始文件, 重复文件列表]"""md5_map={}duplicate_records=[]# 遍历所有文件forroot_dir,_,filesinos.walk(root):forfnameinfiles:fpath=Path(root_dir)/fname# 跳过备份文件夹、压缩包（如需保留压缩包可删除此判断）ifBACKUP_DIRinfpath.parentsorfpath.suffix.lower()inSUPPORT_COMPRESS:continuefile_md5=get_file_md5(fpath)ifnotfile_md5:continuefile_size=fpath.stat().st_size record={"path":str(fpath),"size":file_size,"md5":file_md5}iffile_md5notinmd5_map:md5_map[file_md5]=[record]else:md5_map[file_md5].append(record)# 筛选出存在重复的分组formd5,file_listinmd5_map.items():iflen(file_list)>1:origin=file_list[0]copies=file_list[1:]forcopyincopies:duplicate_records.append({"md5":md5,"文件大小(字节)":origin["size"],"原始保留文件":origin["path"],"重复待迁移文件":copy["path"]})returnduplicate_recordsdefmove_duplicate_and_export_csv(duplicate_list):"""迁移重复文件到备份目录，导出CSV清单"""BACKUP_DIR.mkdir(exist_ok=True)csv_path=Path(TARGET_ROOT)/"重复文件清单.csv"headers=["md5","文件大小(字节)","原始保留文件","重复待迁移文件"]withopen(csv_path,"w",newline="",encoding="utf-8-sig")asf:writer=csv.DictWriter(f,fieldnames=headers)writer.writeheader()writer.writerows(duplicate_list)# 移动所有重复文件到备份目录foriteminduplicate_list:src_path=Path(item["重复待迁移文件"])ifnotsrc_path.exists():continue# 构建备份内相同层级目录rel_path=src_path.relative_to(Path(TARGET_ROOT))dst_path=BACKUP_DIR/rel_path dst_path.parent.mkdir(parents=True,exist_ok=True)try:shutil.move(src_path,dst_path)print(f"[重复文件迁移]{src_path}->{dst_path}")exceptExceptionase:print(f"[迁移失败]{src_path}|{str(e)}")print(f"\n重复文件清单已生成：{csv_path}")print(f"所有重复文件备份目录：{BACKUP_DIR}")if__name__=="__main__":root_path=Path(TARGET_ROOT)ifnotroot_path.exists():print(f"错误：目标目录不存在{TARGET_ROOT}")else:print("===== 第一步：解压目录下所有压缩包 =====")traverse_and_extract(root_path)print("\n===== 第二步：全局扫描重复文件 =====")duplicates=find_duplicate_files(root_path)ifnotduplicates:print("未找到任何重复文件！")else:print(f"共检测到{len(duplicates)}个重复文件")move_duplicate_and_export_csv(duplicates)print("\n文件整理全部完成！")