当前位置：首页 > news >正文

Python爬虫POST请求实战：从基础到高级反爬策略

news 2026/8/8 5:50:51

1. 从GET到POST：为什么爬虫必须掌握POST请求

刚接触Python爬虫的朋友，最开始学的几乎都是requests.get()。这很自然，毕竟我们打开浏览器，输入网址，回车，本质上就是一个GET请求。它简单、直观，用来抓取静态网页信息，比如新闻列表、商品详情页，确实够用。但如果你以为爬虫就是反复调用get()，那可能连很多网站的门都摸不着。

我遇到过不少新手，兴冲冲地写了个爬虫去抓某个网站的数据，结果返回的不是想要的数据，而是一句冷冰冰的“暂无数据”或者直接403。排查半天，发现浏览器里明明能正常显示数据。问题出在哪？十有八九，这个网站的数据是通过POST请求动态加载的。GET请求的参数是挂在URL后面的，像?keyword=python&page=2，一目了然。而POST请求，是把数据藏在请求的“身体”（body）里发送给服务器的，你在地址栏里根本看不见。现在绝大多数搜索、登录、表单提交、翻页加载（尤其是Ajax动态加载）的接口，用的都是POST。

所以，不会POST请求，你的爬虫能力就被限制在了互联网的浅水区。那些真正有价值、动态交互的数据，比如电商的搜索列表、社交媒体的评论、需要登录后才能查看的个人信息，都藏在POST请求的背后。requests库的post()方法，就是你潜入深水区的潜水装备。这篇文章，我就以一个老爬虫工程师的角度，带你彻底搞懂requests.post()，不止是会用，更要明白背后的门道，避开那些我踩过的坑。

2. POST请求的核心：请求体（Body）与请求头（Headers）的奥秘

GET和POST在requests库里的调用看起来很像，无非是把get()换成post()。但魔鬼藏在细节里，这两个方法的灵魂完全不同。GET的核心是URL，POST的核心是请求体（Body）和与之配套的请求头（Headers）。理解这对组合，是写好POST爬虫的关键。

2.1 请求体（Body）的三种主要格式

服务器通过请求头里的Content-Type字段来判断你发送的body是什么格式，然后才能正确解析。我们常用的主要有三种：

1. 表单格式 (application/x-www-form-urlencoded)这是最常见的一种，模拟网页表单提交。数据格式就像GET的查询字符串，但放在body里。比如username=admin&password=123456。

import requests url = 'https://example.com/login' # 数据以字典形式传给 `data` 参数 data = { 'username': 'your_username', 'password': 'your_password' } response = requests.post(url, data=data) # requests会自动将字典转换为urlencoded格式，并设置Content-Type为 application/x-www-form-urlencoded

注意：这是最基本的形式，但很多现代网站登录会有额外的token或加密，直接这样发大概率会失败。我们后面会讲如何处理。

2. JSON格式 (application/json)这是目前API接口最流行的数据交换格式。数据是一个JSON字符串。

import requests import json url = 'https://api.example.com/search' # 数据以字典形式传给 `json` 参数是最方便的做法 json_data = { 'query': 'Python爬虫', 'page': 1, 'size': 20 } response = requests.post(url, json=json_data) # 使用`json`参数，requests会自动将字典序列化为JSON字符串，并设置Content-Type为 application/json

这是我最推荐的方式，清晰且不易出错。你也可以手动序列化后传给data参数，但必须自己设置请求头：

headers = {'Content-Type': 'application/json'} response = requests.post(url, data=json.dumps(json_data), headers=headers)

3. 多部分表单数据 (multipart/form-data)主要用于上传文件。它会将body分成多个部分，每个部分包含一个字段。

url = 'https://example.com/upload' files = {'file': open('report.pdf', 'rb')} # 以二进制读模式打开文件 data = {'comment': '这是上传的文件'} response = requests.post(url, files=files, data=data) # 使用`files`参数，requests会自动构建multipart/form-data格式的body和对应的Content-Type

2.2 请求头（Headers）的伪装艺术

请求头是爬虫的“身份证”和“通行证”。服务器用它来识别客户端的身份、能力和意图。一个赤裸裸的、只带着Python-requests默认头信息的请求，就像没穿衣服走在街上，异常显眼，极易被拦截。

必须处理的几个关键请求头：

User-Agent: 这是最重要的标识。默认的python-requests/2.28.2就是在告诉网站：“我是爬虫，快来封我。”必须把它换成常见浏览器的值。

headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36' } response = requests.post(url, json=json_data, headers=headers)

Content-Type: 如上所述，它告诉服务器body的格式。当你使用data=、json=或files=参数时，requests通常会帮你设置好。但如果你手动构建了body字符串，就必须自己设置。
Referer: 表示这个请求是从哪个页面发起的。对于一些有页面流程限制的接口（比如必须先访问A页面，才能提交B页面的表单），设置正确的Referer能绕过检查。
Cookie: 维持会话状态。登录后的身份凭证通常保存在Cookie里。你可以使用requests.Session()对象来自动管理Cookie，这比手动提取、设置要方便可靠得多。
其他认证头: 如Authorization: Bearer <token>用于JWT认证，X-CSRFToken用于防御跨站请求伪造等。这些需要从网站的前端代码或之前的响应中提取。

一个实战中的技巧：不要只复制一个固定的User-Agent。可以准备一个列表，每次请求随机选取，这样能更好地模拟真实用户的行为。同样，Referer也可以根据爬取逻辑动态设置。

3. 实战演练：逆向分析一个动态网页的POST接口

理论说再多，不如动手干一票。我们以一个虚构的、但非常典型的商品搜索页面为例。假设我们要爬取“某电商网站”搜索“Python书籍”的结果列表。

第一步：浏览器中观察

打开浏览器开发者工具（F12），切换到Network（网络）标签。
在网站搜索框输入“Python书籍”，点击搜索。
在网络面板中，你会看到一大堆请求。重点关注类型为XHR或Fetch的请求，这些通常是Ajax请求。在筛选框输入search、list、query等关键词能帮你快速定位。
找到目标请求后，点击它，查看Headers和Payload（在Chrome中）或请求（在Firefox中）。

第二步：解析请求详情在Headers里，你需要记录：

Request URL: POST请求的目标地址。注意，这个地址可能和你在地址栏看到的网页地址完全不同。
Request Method: 确认是POST。
Request Headers: 复制下Content-Type,User-Agent,Cookie（如果有）等重要信息。

在Payload里（Chrome）或请求体（Firefox），你需要查看发送的数据。如果是Form Data，你会看到键值对；如果是Request Payload，通常是JSON格式，你需要复制这个JSON结构。

第三步：用Python复现请求假设我们分析出的信息如下：

URL:https://api.fake-mall.com/search/product
Content-Type:application/json
Payload:{"keyword": "Python书籍", "pageIndex": 1, "pageSize": 20, "sortType": "default"}

那么我们的爬虫代码雏形就是：

import requests import json url = 'https://api.fake-mall.com/search/product' headers = { 'User-Agent': 'Mozilla/5.0...', 'Content-Type': 'application/json', # 如果接口需要，可能还有 'Referer': 'https://www.fake-mall.com/' } payload = { "keyword": "Python书籍", "pageIndex": 1, # 翻页关键参数 "pageSize": 20, "sortType": "default" } try: response = requests.post(url, json=payload, headers=headers) response.raise_for_status() # 检查请求是否成功（状态码非200则抛出异常） data = response.json() # 将响应的JSON字符串解析为Python字典 # 处理data，提取商品列表 for product in data.get('productList', []): print(f"商品名: {product.get('name')}, 价格: {product.get('price')}") except requests.exceptions.RequestException as e: print(f"请求出错: {e}") except json.JSONDecodeError as e: print(f"JSON解析出错: {e}, 响应文本: {response.text[:200]}") # 打印前200字符方便调试

第四步：处理翻页翻页通常就是修改payload里的pageIndex或page参数，用一个循环即可。

for page in range(1, 6): # 假设爬取前5页 payload['pageIndex'] = page response = requests.post(url, json=payload, headers=headers) # ... 处理每一页的数据

注意：务必在循环内加入延时（如time.sleep(1)），避免请求过快被服务器封禁。这是一个基本的道德和自我保护措施。

4. 高级技巧与常见反爬策略应对

如果所有网站都像上面那么简单，爬虫工程师就要失业了。现实是，网站会设置各种障碍。下面是我总结的几个典型难题和破解思路。

4.1 参数加密与签名很多APP或网页的接口，其POST数据不是明文的keyword=xxx，而是一串毫无规律的加密字符串，或者带有一个根据算法生成的sign（签名）参数。这是为了确保请求的完整性和来源合法性。

应对策略：逆向分析前端JavaScript代码。你需要找到生成这些加密参数或签名的JS函数。使用浏览器开发者工具的Sources面板，搜索关键词如encrypt、sign、md5、hmac等。然后用Python的execjs库来执行这些JS代码，或者更彻底地，用Python重写其加密逻辑。这是一个技术难点，需要耐心和一定的JS功底。

4.2 动态Token（如CSRF Token）很多网站的表单里会隐藏一个名为csrf_token、authenticity_token的字段，每次刷新页面都会变。提交POST请求时必须带上这个token，否则服务器会拒绝。

应对策略：使用requests.Session()！Session对象会像浏览器一样，自动保存一次会话中的Cookie。通常流程是：

先用Session发一个GET请求到目标表单页面。
从返回的HTML页面中，用lxml或BeautifulSoup解析出隐藏的token值。
将这个token值加入到后续POST请求的data中。
用同一个Session对象发送POST请求，它会自动携带上一步GET请求获得的Cookie。

import requests from bs4 import BeautifulSoup session = requests.Session() session.headers.update({'User-Agent': '...'}) # 1. 获取表单页面和token login_page_url = 'https://example.com/login' resp_get = session.get(login_page_url) soup = BeautifulSoup(resp_get.text, 'html.parser') csrf_token = soup.find('input', {'name': 'csrf_token'}).get('value') # 2. 构造登录数据并POST login_data = { 'username': '...', 'password': '...', 'csrf_token': csrf_token } resp_post = session.post(login_page_url, data=login_data) # 登录成功后，session会自动保存登录后的cookie，后续请求都带着登录状态

4.3 请求频率限制与IP封禁这是最直接的反爬手段。你的IP如果短时间内发出太多请求，会被暂时或永久封禁。

应对策略：
- 增加延迟：在每个请求间使用time.sleep(random.uniform(1, 3))，加入随机性更逼真。
- 使用代理IP池：这是应对IP封禁的终极方案。你需要有一批代理IP，然后在请求时通过proxies参数轮换使用。
```
proxies = { 'http': 'http://10.10.1.10:3128', 'https': 'http://10.10.1.10:1080', } response = requests.post(url, json=data, headers=headers, proxies=proxies)
```
- 设置超时和重试：使用requests的适配器或第三方库（如retrying）来配置重试逻辑，应对网络波动或临时封禁。

4.4 检查JavaScript渲染有些网站的数据，在初始的HTML源码里根本不存在，是通过执行JavaScript代码后，再通过Ajax（即POST/GET请求）动态填充的。你用requests直接拿到的HTML是空的容器。

应对策略：
1. 首选：像之前一样，在Network面板里找到那个动态加载数据的Ajax请求（通常是POST），直接模拟这个请求。这是最高效的方式。
2. 备选：如果Ajax请求参数过于复杂（如加密），可以考虑使用Selenium或Playwright这类浏览器自动化工具。它们能真正驱动浏览器渲染页面，等数据加载完成后再获取HTML。但代价是速度慢、资源消耗大。

5. 调试与错误处理：从报错信息中寻找线索

你的POST请求很可能第一次不会成功。别慌，系统的报错信息是最好的老师。

5.1 检查响应状态码

200 OK：成功。可以继续解析response.json()或response.text。
400 Bad Request：客户端错误。通常是你的请求参数格式不对、缺少必要字段或字段值非法。仔细核对你的payload字典，和浏览器里捕获的原始payload逐字段对比。注意数字和字符串类型，有时API要求"page": "1"（字符串）而不是"page": 1（整数）。
401 Unauthorized / 403 Forbidden：未授权/禁止访问。说明你需要登录（401）或者没有权限（403）。检查你的请求头里是否包含了正确的Cookie或Authorization信息。先用Session完成登录流程。
404 Not Found：接口地址错了。确认URL是否正确。
429 Too Many Requests：请求频率太高。必须立刻降低请求速度，增加延迟，或使用代理IP。
500 Internal Server Error：服务器内部错误。可能是你发送的数据触发了服务器端的bug，也可能是服务器暂时故障。可以稍后重试。

5.2 解析响应内容即使状态码是200，也不一定代表拿到了数据。很多API会在JSON返回体里用一个code或status字段来表示业务逻辑的成功与否。

resp_json = response.json() if resp_json.get('code') == 0: # 假设0代表成功 data = resp_json['data'] else: print(f"业务逻辑错误: {resp_json.get('msg')}")

5.3 使用打印和日志进行调试在开发阶段，把关键信息打印出来是非常有用的。

import logging logging.basicConfig(level=logging.DEBUG) # 这会打印出requests发出的所有HTTP信息，非常详细，但可能包含敏感信息，调试完记得关闭。 # 或者手动打印 print("请求URL:", response.request.url) print("请求头:", dict(response.request.headers)) print("请求体:", response.request.body) # 查看实际发出的数据 print("响应状态码:", response.status_code) print("响应头:", dict(response.headers)) print("响应文本前500字符:", response.text[:500])

通过对比浏览器发送的请求和你代码发送的请求（看上面打印的request.body和request.headers），几乎能定位99%的问题。

6. 工程化实践：构建一个健壮的POST请求爬虫模块

当你要爬取大量数据时，就不能再把所有代码写在一个文件里了。需要一些工程化的思路来提高代码的可维护性和健壮性。

6.1 使用Session管理会话如前所述，requests.Session()是管理Cookie、保持连接池、复用TCP连接的最佳选择。你应该为每个需要保持状态的爬虫任务创建一个Session实例。

6.2 配置统一的请求头与超时将固定的请求头配置在Session或一个全局变量中，避免每次请求都写一遍。

DEFAULT_HEADERS = { 'User-Agent': '...', 'Accept': 'application/json, text/javascript, */*; q=0.01', 'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8', 'Accept-Encoding': 'gzip, deflate, br', } session = requests.Session() session.headers.update(DEFAULT_HEADERS) session.timeout = (5, 15) # (连接超时， 读取超时) 单位秒

6.3 实现简单的代理IP池和重试机制一个最简单的代理IP池可以是一个列表，每次请求前随机选取一个。结合重试，可以提高成功率。

import random from retrying import retry # 需要安装：pip install retrying proxy_list = [ 'http://ip1:port', 'http://ip2:port', # ... ] @retry(stop_max_attempt_number=3, wait_fixed=2000) # 最多重试3次，每次间隔2秒 def make_post_request(url, data): proxy = {'https': random.choice(proxy_list)} try: resp = session.post(url, json=data, proxies=proxy, timeout=10) resp.raise_for_status() return resp except requests.exceptions.ProxyError: # 代理失败，从列表中移除该代理 proxy_list.remove(proxy['https']) raise # 重新抛出异常，触发重试 except requests.exceptions.Timeout: print("请求超时") raise

6.4 数据解析与存储分离将网络请求、HTML/JSON解析、数据存储的逻辑分开。这样如果网站改版，你只需要修改解析部分；如果换数据库，只需要修改存储部分。

class ProductSpider: def __init__(self): self.session = requests.Session() self.session.headers = DEFAULT_HEADERS def fetch_page(self, page): """负责发送请求""" url = '...' payload = {'page': page} resp = self.session.post(url, json=payload) return resp.json() def parse_products(self, json_data): """负责解析数据""" product_list = [] for item in json_data.get('list', []): product = { 'name': item.get('title'), 'price': float(item.get('price', 0)), 'sku': item.get('skuId') } product_list.append(product) return product_list def save_to_csv(self, product_list, filename): """负责存储数据""" import csv with open(filename, 'a', newline='', encoding='utf-8-sig') as f: writer = csv.DictWriter(f, fieldnames=['name', 'price', 'sku']) writer.writerows(product_list) def run(self, start_page, end_page): """主流程""" for page in range(start_page, end_page+1): print(f"正在爬取第{page}页...") try: data = self.fetch_page(page) products = self.parse_products(data) self.save_to_csv(products, 'products.csv') time.sleep(random.uniform(1, 2)) # 礼貌性延迟 except Exception as e: print(f"第{page}页爬取出错: {e}") continue

6.5 处理异常与日志记录使用Python的logging模块替代print，可以方便地控制日志级别，将日志输出到文件。

import logging logging.basicConfig( level=logging.INFO, format='%(asctime)s - %(name)s - %(levelname)s - %(message)s', handlers=[ logging.FileHandler('spider.log'), logging.StreamHandler() # 同时输出到控制台 ] ) logger = logging.getLogger(__name__) # 在代码中使用 logger.info(f"开始爬取第{page}页") logger.warning(f"代理IP {proxy} 失效，已移除") logger.error(f"请求失败: {e}", exc_info=True) # exc_info=True会打印异常堆栈

走到这一步，你已经不再是简单地调用requests.post()了，而是在构建一个有一定抗风险能力的数据采集系统。记住，爬虫的核心是模拟人的行为，但要比人更守规矩（控制频率、处理错误）。每一次失败的请求，其状态码和响应体都是宝贵的调试信息。多观察、多分析、多思考网站背后的逻辑，你的POST爬虫之路就会越走越顺。

查看全文

http://www.jsqmd.com/news/1350899/