当前位置：首页 > news >正文

爬虫数据入库前的去重策略

news 2026/3/27 3:48:10

在网络爬虫采集过程中，受页面重复、分页加载、增量抓取、重试机制等影响，极易产生大量重复数据。若直接入库，不仅浪费存储资源，还会影响统计准确性、查询效率与后续数据分析。因此，数据去重是爬虫流程中必不可少的一环。本文从轻量到落地、从单机到分布式，系统梳理爬虫数据入库前的主流去重策略与实践方案。

一、去重的核心思路：唯一标识（指纹）设计

去重本质是判断一条数据是否已经存在。最通用、最稳定的方式是为每条数据生成一个唯一指纹（Fingerprint），再通过指纹判断重复。

常用指纹生成方式：

业务主键：商品 ID、文章 ID、用户 ID、URL 本身。
内容哈希：对标题 + 正文 + 关键参数做 MD5/SHA1 摘要。
规则拼接：将不可重复字段用分隔符拼接后哈希。

示例（Python）：

python

运行

import hashlib def generate_fingerprint(data): # 选取关键字段生成指纹 key = f"{data['title']}{data['url']}{data['publish_time']}" return hashlib.md5(key.encode('utf-8')).hexdigest()

有了指纹，就可以选择对应的去重存储与判断方案。

二、单机爬虫去重策略

适用于单进程、小数据量、轻量级爬虫，开发快、成本低。

1. 内存集合（set）

最简单的去重方式，用 Python 原生 set 存储已爬指纹。

优点：零依赖、速度极快
缺点：重启丢失、内存随数据量膨胀、不支持多进程
适用：临时小批量测试、一次性爬虫

python

运行

seen = set() def is_duplicate(fingerprint): if fingerprint in seen: return True seen.add(fingerprint) return False

2. 本地文件持久化

将指纹写入本地文件（如 txt、json），每次启动加载到内存。

优点：重启不丢失
缺点：查询慢、不支持高并发、文件易损坏
适用：低频、小数据量定时爬虫

3. 嵌入式数据库：SQLite

直接用文件型数据库做去重库，创建指纹唯一索引。

优点：开箱即用、支持事务、支持唯一约束
适用：单机稳定采集、中等数据量

建表建议：

sql

CREATE TABLE spider_fingerprint ( fingerprint VARCHAR(32) PRIMARY KEY, create_time DATETIME DEFAULT CURRENT_TIMESTAMP );

插入时捕获唯一键冲突即可实现去重。

三、分布式爬虫去重策略（生产环境主流）

分布式多机 / 多进程 / 多协程爬虫，必须使用共享去重服务，否则无法统一判断重复。

1. Redis 去重（最常用）

Redis 是爬虫去重的工业级标准方案，高性能、支持高并发、天然分布式。

常用结构：

set：直接存指纹，SISMEMBER判断，SADD写入
bitmap：极节省内存，适合海量 URL
布隆过滤器（Bloom Filter）：超低内存、超高并发

（1）普通 Set 实现

python

运行

import redis r = redis.Redis(host='localhost', port=6379, db=0) def is_duplicate_redis(fingerprint): if r.sismember("spider:seen", fingerprint): return True r.sadd("spider:seen", fingerprint) return False