当前位置：首页 > news >正文

《Python爬虫实战：请求伪装与反反爬——从被403到稳拿数据》

news 2026/7/5 13:36:55

一、前言

前两篇讲了怎么发请求、怎么找接口。但有读者跟着跑完发现：一模一样的代码，自己跑就被 403 拦了——因为目标网站有反爬。

这很正常。反爬是爬虫路上绕不过的坎。这篇文章不讲玄学，直接给能用的方法。

二、最常见的三种反爬与应对

1. User-Agent 检测

请求头中的 User-Agent 如同请求的"身份证"，服务器通过它可以判断访问者是否为真实浏览器。requests 库默认的 UA 为python-requests/2.x，特征明显，极易被识别为非真人访问。

应对：每次请求换一个常见的浏览器 UA。

2. 请求频率限制

一秒钟发十几二十个请求，服务器直接拉黑 IP。

应对：每次请求之间随机等 1-3 秒。

3. Cookie/Session 检测

有些网站需要先访问首页拿到 Cookie，再访问其他页面才给数据。跳过这一步直接请求详情页，返回空白。

应对：用requests.Session()自动管理 Cookie。

为了方便读者快速定位和解决反爬问题，下面是一个遇到 403 等反爬错误时的排查流程图：

flowchart TD A[请求被拒（403/429等）] --> B{检查 User-Agent} B -->|UA 可疑| C[更换为常见浏览器 UA] B -->|UA 正常| D{检查请求频率} D -->|频率过高| E[添加随机延迟（1-3秒）] D -->|频率正常| F{检查 Cookie/Session} F -->|缺少 Cookie| G[先访问首页获取 Cookie] F -->|Cookie 正常| H[其他原因排查] C --> I[重新发起请求] E --> I G --> I I --> J{是否成功？} J -->|是| K[✅ 请求成功] J -->|否| L[🔄 返回第一步继续排查]

该流程图概括了本文介绍的三种主要反爬机制的排查路径。按照这个顺序检查，可以解决大部分因 UA、频率、Cookie 导致的访问问题。

三、代码实战：带伪装能力的爬虫模板

把上面三种应对手段打包成一个通用工具函数，以后爬任何网站都能复用：

import requests import random import time # 常见的浏览器 User-Agent 池 USER_AGENTS = [ "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36", "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:120.0) Gecko/20100101 Firefox/120.0", ] def create_session(): """创建一个带伪装能力的请求会话""" session = requests.Session() session.headers.update({ "User-Agent": random.choice(USER_AGENTS), "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", "Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8", }) return session def safe_request(url, session=None, retries=3): """带重试和延时的安全请求函数""" if session is None: session = create_session() for attempt in range(retries): try: time.sleep(random.uniform(1, 2.5)) response = session.get(url, timeout=10) if response.status_code == 200: return response elif response.status_code == 403: print(f"被拦了（第{attempt+1}次重试）...") session.headers.update({ "User-Agent": random.choice(USER_AGENTS) }) continue else: print(f"状态码异常：{response.status_code}") continue except Exception as e: print(f"请求异常：{e}") continue return None # 使用示例 session = create_session() resp = safe_request("http://books.toscrape.com", session) if resp: print("请求成功！")