多进程爬虫：利用多核CPU分别爬取不同的板块。多进程爬虫实战：利用多核CPU并发爬取多个板块，性能提升500%

一、为什么多进程比多线程更适合爬虫？

很多人搞不清多线程和多进程的区别，这里用一个简单的类比：

• 多线程：就像一个公司有多个员工，但只有一台复印机（GIL）。虽然大家都可以排队用，但同一时间只有一个人能复印。对于网络请求这种IO密集型任务，线程等待网络时会让出复印机，所以效果不错。但对于解析HTML这种计算密集型任务，大家还是得排队。

• 多进程：就像开了多个分公司，每个分公司有自己的复印机。每个进程有独立的Python解释器和内存空间，彻底摆脱GIL限制。

爬虫工作中，网络请求属于IO密集型（80%时间在等待响应），但解析HTML、提取数据、处理反爬逻辑属于计算密集型。如果只用多线程，解析阶段依然是瓶颈。

实测数据：爬取一个10个板块的新闻网站，每个板块50条新闻。

• 单线程：185秒

• 多线程（10线程）：47秒（网络IO优化明显）

• 多进程（10进程）：39秒（进一步降低解析开销）

• 多进程+多线程（每个进程内再用线程池）：32秒（极致方案）

对于大部分场景，多进程直接分配不同板块是最简单有效的方案。

目录

一、为什么多进程比多线程更适合爬虫？

二、项目准备：目标网站与技术选型

2.1 目标网站

2.2 技术栈

三、核心代码逐块解析

3.1 基础爬虫类设计

3.2 多进程调度器

3.3 实时进度监控（可选）

四、完整可运行代码

二、项目准备：目标网站与技术选型

2.1 目标网站

我们选择https://news.ycombinator.com/（Hacker News）作为案例。这是一个技术新闻聚合站，有多个隐性“板块”可以通过分类标签筛选：new、ask、show、jobs。实际上我们可以构造不同的URL后缀来获取不同内容。

这样设计的目的是：每个进程爬取一个独立的URL模式，互不重复，便于观察多进程的效果。

2.2 技术栈