Python 爬虫项目 Scrapy 配置 Cookie 中间件保持会话状态

前言

在网络数据采集场景中，大量资讯平台、科普站点、内容门户会基于会话状态实现权限校验、页面内容动态渲染、访问频次管控等逻辑。部分栏目内容、分页数据、隐藏资源仅在客户端保持有效会话的前提下才可正常访问，单次独立请求无法获取完整页面信息。Scrapy 框架默认的请求机制为无状态请求，每一次网络请求都会被服务器判定为全新客户端连接，无法延续上一次的访问会话，这也是复杂站点采集过程中常见的阻碍。

借助自定义下载中间件统一管理、持久化分发 Cookie，能够让爬虫全程维持连续会话，模拟真实用户的浏览行为，突破站点会话校验限制。本文围绕 Scrapy Cookie 中间件的开发、配置、调试与实战应用展开，结合会话原理、多场景代码案例、多方案对比，讲解不同业务场景下会话保持的实现方式，同时结合上一篇整站科普栏目采集项目完成功能迭代，实现带会话状态的全链路数据采集。

本文涉及的核心依赖库与官方资源参考如下：

1. Python 官方下载地址
2. Scrapy 官方文档
3. Twisted 异步网络框架官方文档
4. Requests-Cookies 解析规范

一、Cookie 与会话基础理论

1.1 Cookie 与 HTTP 会话工作机制

HTTP 协议本身属于无状态应用层协议，服务器不会主动记录客户端的历史访问行为、身份标识等信息。为解决会话追踪问题，业界引入 Cookie 技术完成客户端与服务端的状态同步。

当客户端首次向服务器发起请求时，服务器会在响应头中携带Set-Cookie字段，该字段内包含一组键值对格式的身份标识、时效参数、作用域参数等数据。客户端接收响应后，会将 Cookie 数据本地存储；后续同源域名下的每一次请求，客户端都会自动在请求头Cookie字段中携带已存储的数据。服务器通过解析请求中的 Cookie，识别同一客户端，进而维持连续会话。

会话生命周期由 Cookie 的时效属性决定，分为会话级 Cookie 与持久化 Cookie：会话级 Cookie 无过期时间，浏览器关闭后自动失效；持久化 Cookie 携带Expires或Max-Age参数，在指定时间范围内持续有效。

1.2 Scrapy 默认 Cookie 处理规则

Scrapy 框架内置了基础的 Cookie 处理逻辑，依托cookies.py模块实现简易的 Cookie 自动传递，其默认规则具备明显局限性，也是需要自定义中间件的核心原因，具体规则如下表所示：

表格

结合整站科普栏目采集场景分析，若目标站点要求登录后才可查看完整栏目内容、限制单账号单日访问总量，仅依靠框架默认规则会出现会话中断、权限丢失、采集中断等问题，因此必须通过自定义中间件实现 Cookie 的全局管理、持久化与灵活分发。

1.3 会话保持的应用场景划分

结合爬虫业务形态，可将会话保持需求划分为三类，不同场景对应不同的中间件实现方案：

1. 固定静态 Cookie 场景：站点无需动态登录，直接使用抓包获取的固定 Cookie 即可维持会话，适用于公开受限栏目、基础权限校验站点；
2. 动态获取 Cookie 场景：需要先访问登录接口、首页接口，从响应中提取动态生成的 Cookie，再携带该 Cookie 完成后续采集，适用于登录鉴权类站点；
3. 多会话轮询场景：配置多组 Cookie 轮流使用，分散访问压力，规避单账号访问频次限制，适用于大规模整站采集。

二、项目前置准备与环境复用

2.1 项目结构复用

本文完全基于上一篇science_crawler科普栏目采集项目进行功能扩展，无需重新创建项目，沿用原有目录结构、数据结构、解析逻辑。核心改动集中在middlewares.py中间件文件、settings.py全局配置文件，爬虫主文件science_spider.py仅做少量适配调整。

项目核心目录回顾：

plaintext

science_crawler/ ├── science_crawler/ │ ├── __init__.py │ ├── items.py │ ├── middlewares.py # 新增Cookie中间件位置 │ ├── pipelines.py │ ├── settings.py # 中间件启用、优先级配置 │ └── spiders/ │ └── science_spider.py └── scrapy.cfg

2.2 抓包获取 Cookie 实操方法

无论使用静态 Cookie 还是动态 Cookie，都需要先通过浏览器抓包获取原始数据，这是开发的前置步骤，操作流程如下：

1. 使用主流浏览器访问目标科普站点，完成登录、进入指定栏目等操作，保持会话有效；
2. 按下 F12 打开开发者工具，切换至Network网络面板，刷新页面；
3. 选中任意一条目标域名下的请求，在请求头（Request Headers）中找到Cookie字段，复制完整内容；
4. 将字符串格式的 Cookie 转换为 Python 字典格式，便于代码调用。

常规浏览器抓取的 Cookie 为长字符串，格式示例：userid=123456; token=abcdef123456; sid=987654，拆分后可转为键值对字典。

三、方案一：静态 Cookie 全局中间件（固定会话）

该方案适用于无需登录、Cookie 长期有效的站点，将抓包获取的固定 Cookie 写入中间件，所有请求统一携带该组 Cookie，全程维持单一固定会话，实现成本最低，是入门级会话保持方案。

3.1 编写静态 Cookie 中间件

打开项目middlewares.py文件，在文件末尾新增自定义下载中间件代码，完整代码如下：

python

运行

# -*- coding: utf-8 -*- from scrapy import signals class StaticCookieMiddleware(object): """ 静态Cookie中间件：全局统一配置固定Cookie，维持单一会话 """ # 全局静态Cookie字典，替换为抓包获取的实际键值对 STATIC_COOKIE = { "userid": "12345678", "token": "kepu_token_20260607", "session_id": "s9876543210" } def process_request(self, request, spider): """ 下载中间件核心方法：请求发送前触发 为每一条请求统一附加Cookie :param request: 请求对象 :param spider: 当前爬虫实例 :return: 无返回值，直接修改请求对象 """ # 为请求对象绑定全局静态Cookie request.cookies = self.STATIC_COOKIE

代码原理

1. 中间件类继承 Python 基础 object 类，Scrapy 下载中间件无需强制继承指定父类，依靠约定方法名实现功能；
2. STATIC_COOKIE为全局常量字典，存储抓包解析后的 Cookie 键值对，可根据目标站点实际参数增删字段；
3. process_request是下载中间件核心回调方法，每一次发起网络请求前都会自动执行。该方法接收request请求对象作为参数，直接对request.cookies属性赋值，即可让当前请求携带指定 Cookie；
4. 该中间件作用于当前爬虫的所有请求，包括栏目页、列表页、详情页、分页链接，全程使用同一组 Cookie，保证会话连续性。

3.2 配置中间件优先级并启用

中间件编写完成后，必须在settings.py中手动启用并设置优先级，否则中间件不会生效。打开settings.py，找到DOWNLOADER_MIDDLEWARES配置项，添加自定义中间件：

python

运行

# 下载中间件配置：键为中间件路径，值为优先级（数值越小，执行顺序越靠前） DOWNLOADER_MIDDLEWARES = { # 禁用Scrapy内置Cookie中间件（可选，避免冲突） 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware': None, # 启用自定义静态Cookie中间件，优先级设置为500 'science_crawler.middlewares.StaticCookieMiddleware': 500, }

配置原理

1. DOWNLOADER_MIDDLEWARES是 Scrapy 下载中间件的注册入口，字典格式管理所有生效的下载中间件；
2. 优先级数值范围无严格限制，行业通用区间为 0~1000。数值越小，中间件越先执行。Cookie 相关中间件建议优先级设置在 400~600 之间，保证在请求头、代理中间件之后执行；
3. 将内置CookiesMiddleware设置为None代表禁用框架默认 Cookie 处理逻辑，防止默认逻辑与自定义中间件冲突，静态 Cookie 场景下推荐禁用。

3.3 爬虫测试与效果验证

保持上一篇science_spider.py爬虫代码不变，在项目根目录执行爬虫启动命令：

bash

运行

scrapy crawl science_spider

验证方式

1. 日志验证：在爬虫运行日志中查看请求状态码，若原本 403、401 无权限的页面变为 200，说明 Cookie 生效、会话保持成功；
2. 页面内容验证：对比浏览器会话状态与爬虫采集结果，若爬虫可正常获取原本受限的栏目内容、分页数据，代表会话状态正常；
3. 请求抓包验证：开启本地网络抓包工具，查看爬虫发起的请求头，Cookie字段与配置的静态字典完全一致。

3.4 方案优缺点分析

静态 Cookie 中间件实现简单、运行稳定，适合中小型科普站点、Cookie 长期不变的场景，具体优劣如下：

• 优点：代码量少、无额外网络请求、执行效率高、调试简单；
• 缺点：Cookie 硬编码在代码中，若站点更新 Cookie 规则、过期失效，需要手动修改代码；仅支持单一会话，无法应对单账号访问限制。

四、方案二：动态 Cookie 中间件（登录获取会话）

多数正规科普平台、知识门户会强制要求用户登录后才可浏览完整内容，Cookie 由登录接口动态生成，存在时效性，无法长期使用固定静态 Cookie。此时需要开发动态 Cookie 中间件，先模拟登录请求，从登录响应中提取服务端下发的 Cookie，再将动态 Cookie 分发给后续所有采集请求，实现动态会话保持。

4.1 动态登录流程梳理

动态获取 Cookie 的完整流程分为四步，也是中间件的核心执行逻辑：

1. 爬虫启动后，优先向站点登录接口发起 POST 请求，提交账号、密码、验证码等登录参数；
2. 接收登录接口的响应，从响应头Set-Cookie字段或响应体中提取动态生成的会话 Cookie；
3. 将提取到的 Cookie 全局保存至内存；
4. 后续所有栏目、列表、详情页请求统一携带该动态 Cookie，维持登录会话。

4.2 编写动态 Cookie 中间件

继续在middlewares.py文件中新增动态 Cookie 中间件，代码实现登录请求、Cookie 提取、全局分发全逻辑：

python

运行

# -*- coding: utf-8 -*- import scrapy from scrapy.http import Response class DynamicCookieMiddleware(object): """ 动态Cookie中间件：模拟登录接口，动态获取会话Cookie并全局分发 """ # 存储全局动态Cookie，初始为空 dynamic_cookie = None # 登录接口地址，替换为目标站点实际登录URL login_url = "https://www.kepu.com/science/login" # 登录表单数据，根据站点接口要求填写账号、密码等参数 login_form_data = { "username": "demo_user", "password": "demo_pwd123", "remember": "1" } def __init__(self): # 初始化标记：判断是否已完成登录、获取Cookie self.has_login = False def process_request(self, request, spider): """请求预处理：未登录则先执行登录，已登录则附加Cookie""" # 跳过登录接口本身，避免循环请求 if request.url == self.login_url: return # 未登录状态，发起登录请求 if not self.has_login: spider.logger.info("检测到未登录，开始执行模拟登录，获取动态会话Cookie") # 构造登录POST请求 login_request = scrapy.Request( url=self.login_url, method="POST", body=scrapy.FormRequest.from_response( Response(url=self.login_url), formdata=self.login_form_data ).body, callback=self.after_login, dont_filter=True # 关闭请求去重，登录请求允许重复执行 ) # 暂停当前请求队列，优先执行登录请求 return login_request # 已登录，为常规采集请求附加动态Cookie if self.dynamic_cookie: request.cookies = self.dynamic_cookie def after_login(self, response): """登录请求回调方法：解析响应，提取Cookie""" # 从登录响应中提取所有Cookie，转换为字典格式 self.dynamic_cookie = response.cookies self.has_login = True spider.logger.info(f"登录成功，已获取动态会话Cookie：{self.dynamic_cookie}") # 重新发起被暂停的原始请求 return response.request

代码原理拆解

1. 全局变量定义：dynamic_cookie用于内存存储动态 Cookie，login_url、login_form_data配置登录接口与表单参数，需根据目标站点接口文档或抓包结果修改；
2. 初始化标记：has_login作为状态位，区分爬虫是否已完成登录，防止重复发起登录请求；
3. process_request 逻辑分支
   • 路径判断：跳过登录接口自身请求，避免死循环；
   • 未登录分支：构造POST登录请求，dont_filter=True关闭 Scrapy 去重机制，保证登录请求正常执行；
   • 已登录分支：将内存中存储的动态 Cookie 绑定到当前采集请求；
4. after_login 回调方法：登录请求完成后，response.cookies可直接获取服务端返回的全部 Cookie 字典，赋值给全局变量，同时修改登录状态位，最后重新发起被暂停的原始采集请求，恢复正常采集流程。

4.3 中间件切换配置

在settings.py中修改下载中间件配置，禁用静态 Cookie 中间件，启用动态 Cookie 中间件：

python

运行

DOWNLOADER_MIDDLEWARES = { 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware': None, # 禁用静态中间件 # 'science_crawler.middlewares.StaticCookieMiddleware': 500, # 启用动态登录Cookie中间件 'science_crawler.middlewares.DynamicCookieMiddleware': 500, }

4.4 适配验证码与加密参数补充说明

主流站点登录接口会增加验证码、密码加密、签名校验等防护，针对此类场景做补充说明：

1. 图形验证码：可对接第三方验证码识别接口，在登录请求前增加验证码识别逻辑，将识别结果填入表单参数；
2. 密码加密：抓包查看前端 JS 加密逻辑，使用 Python 复写加密算法，将明文密码加密后再提交；
3. 时效签名：接口携带时间戳、随机串签名，在中间件中动态生成对应参数，保证登录请求合法。

上述扩展逻辑均可以在当前动态 Cookie 中间件的基础上迭代，无需改动整体架构。

4.5 方案优缺点分析

• 优点：完全模拟真实用户登录行为，适配登录鉴权类站点，Cookie 由服务端动态下发，适配站点规则更新；
• 缺点：代码复杂度高于静态方案，需要对接登录接口；账号密码硬编码存在安全风险；单次仅维持单一登录会话。

五、方案三：多组 Cookie 轮询中间件（多会话负载均衡）

大规模整站采集场景下，单一会话长期高频访问极易触发站点访问频次限制、IP 封禁、账号风控。此时采用多 Cookie 轮询中间件，配置多组有效 Cookie，中间件按照规则轮流分发 Cookie，实现多会话负载均衡，分散访问压力，是企业级爬虫常用方案。

5.1 多 Cookie 轮询中间件代码实现

基于轮询算法开发中间件，内置多组静态 Cookie，依次分配给每一条请求，代码如下：

python

运行

# -*- coding: utf-8 -*- import itertools class MultiCookieMiddleware(object): """ 多Cookie轮询中间件：多组会话轮流使用，实现负载均衡，规避访问限制 """ # 多组Cookie列表，每组代表一个独立会话，可根据需求扩充数量 COOKIE_LIST = [ {"userid": "10001", "token": "token_001", "sid": "sid_001"}, {"userid": "10002", "token": "token_002", "sid": "sid_002"}, {"userid": "10003", "token": "token_003", "sid": "sid_003"}, ] # 构建无限轮询迭代器，循环遍历Cookie列表 cookie_iter = itertools.cycle(COOKIE_LIST) def process_request(self, request, spider): """请求预处理：依次取出轮询迭代器中的Cookie""" # 从迭代器中获取下一组Cookie current_cookie = next(self.cookie_iter) # 为当前请求绑定Cookie request.cookies = current_cookie spider.logger.debug(f"当前请求使用会话Cookie：{current_cookie['userid']}")

代码原理

1. Cookie 池定义：COOKIE_LIST列表存储多组独立 Cookie，每一组对应一个独立会话，数量可根据业务规模自由增减；
2. 轮询迭代器：使用 Python 内置itertools.cycle()创建无限循环迭代器，迭代器会循环遍历列表内的所有 Cookie，实现轮询效果；
3. 请求分发：每一次执行process_request时，通过next()取出迭代器下一组 Cookie，绑定到请求对象，保证请求均匀分配至不同会话；
4. 该中间件无状态标记，全程循环执行，无需额外登录逻辑，适合多账号、多会话长期采集场景。

5.2 启用多 Cookie 中间件配置

修改settings.py中间件配置，切换为轮询中间件：

python

运行

DOWNLOADER_MIDDLEWARES = { 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware': None, 'science_crawler.middlewares.MultiCookieMiddleware': 500, }

5.3 轮询策略扩展

除基础顺序轮询外，还可扩展随机选取策略，进一步打乱访问规律，提升反爬规避能力，随机版核心代码替换如下：

python

运行

import random class MultiCookieMiddleware(object): COOKIE_LIST = [ {"userid": "10001", "token": "token_001", "sid": "sid_001"}, {"userid": "10002", "token": "token_002", "sid": "sid_002"}, {"userid": "10003", "token": "token_003", "sid": "sid_003"}, ] def process_request(self, request, spider): # 随机选取一组Cookie current_cookie = random.choice(self.COOKIE_LIST) request.cookies = current_cookie

5.4 方案优缺点分析

• 优点：多会话隔离，分散访问压力，有效规避单账号访问频次限制；支持顺序轮询、随机选取多种策略，反爬能力更强；
• 缺点：需要提前准备多组有效 Cookie，Cookie 批量失效时维护成本较高；无法自动动态刷新 Cookie。

六、Cookie 持久化存储（会话落地保存）

上述三种方案的 Cookie 均存储在程序内存中，爬虫停止运行、服务器重启后，内存数据全部丢失，再次启动爬虫需要重新获取 Cookie、重建会话。针对长期运行的常驻爬虫，需要实现Cookie 本地文件持久化，将有效会话保存至本地文件，实现重启复用。

6.1 JSON 文件持久化实现

以动态 Cookie 场景为例，改造中间件，增加文件读写逻辑，将登录获取的 Cookie 保存为 JSON 文件，爬虫启动时优先读取本地文件：

python

运行

import json import os import scrapy from scrapy.http import Response class PersistCookieMiddleware(object): """Cookie持久化中间件：本地JSON文件存储会话，重启爬虫复用会话""" cookie_file = "cookie_cache.json" login_url = "https://www.kepu.com/science/login" login_form_data = {"username": "demo_user", "password": "demo_pwd123"} dynamic_cookie = None has_login = False def __init__(self): # 初始化时读取本地Cookie文件 self.load_cookie_from_file() def load_cookie_from_file(self): """从本地JSON文件加载Cookie""" if os.path.exists(self.cookie_file): with open(self.cookie_file, "r", encoding="utf-8") as f: self.dynamic_cookie = json.load(f) self.has_login = True def save_cookie_to_file(self, cookie_data): """将Cookie写入本地JSON文件""" with open(self.cookie_file, "w", encoding="utf-8") as f: json.dump(cookie_data, f, ensure_ascii=False, indent=2) def process_request(self, request, spider): if request.url == self.login_url: return if not self.has_login: spider.logger.info("本地无有效Cookie，执行模拟登录") login_request = scrapy.Request( url=self.login_url, method="POST", body=scrapy.FormRequest.from_response( Response(url=self.login_url), formdata=self.login_form_data ).body, callback=self.after_login, dont_filter=True ) return login_request if self.dynamic_cookie: request.cookies = self.dynamic_cookie def after_login(self, response): self.dynamic_cookie = response.cookies self.has_login = True # 登录成功后持久化Cookie到文件 self.save_cookie_to_file(self.dynamic_cookie) spider.logger.info("登录成功，Cookie已保存至本地文件") return response.request

代码原理

1. __init__初始化方法执行时，优先读取本地cookie_cache.json文件，若文件存在且数据有效，直接加载 Cookie、标记已登录状态；
2. load_cookie_from_file、save_cookie_to_file为文件读写工具方法，实现 Cookie 的落地存储与读取；
3. 仅当本地无有效 Cookie 时，才会执行模拟登录流程，登录成功后立即将新 Cookie 写入文件；
4. 爬虫重启后，直接复用本地文件中的会话，无需重复登录，大幅提升常驻爬虫运行效率。

6.2 过期 Cookie 处理补充

持久化后的 Cookie 存在过期问题，可增加过期校验逻辑：在 JSON 文件中额外存储 Cookie 获取时间，爬虫启动时对比当前时间与存储时间，超出时效则自动删除文件并重新登录。

七、常见问题排查与故障解决

结合大量实战场景，整理 Cookie 会话保持开发、运行过程中的高频故障、原因与解决方案，汇总如下表：

表格

7.1 日志调试技巧

Scrapy 日志是排查 Cookie 问题的核心工具，在settings.py中开启详细日志，查看 Cookie 传递状态：

python

运行

# 设置日志等级，DEBUG级别输出全部细节 LOG_LEVEL = "DEBUG"

运行爬虫后，可在日志中清晰看到每一条请求绑定的 Cookie 内容、登录执行状态、文件读写日志，快速定位问题。

八、结合整站采集项目的全流程联调

将本文开发的 Cookie 中间件与上一篇分层遍历采集项目联调，完成带会话状态的整站科普栏目采集全流程，整体执行流程如下：

1. 启动爬虫，中间件优先读取本地持久化 Cookie，无有效数据则自动模拟登录；
2. 登录成功后，全局分发动态 Cookie，维持会话状态；
3. 爬虫发起顶级栏目页请求，携带会话 Cookie，正常获取栏目列表；
4. 递归遍历二级栏目、文章列表、分页链接，所有请求统一沿用同一会话；
5. 解析详情页数据，提交至管道完成数据清洗，全程会话不中断；
6. 爬虫停止后，Cookie 保存至本地文件，下次启动直接复用。

联调过程中无需修改爬虫解析逻辑、数据结构、管道代码，充分体现 Scrapy 中间件解耦、可插拔的设计优势，新增会话保持功能不会影响原有业务逻辑。