闲鱼爬虫实战：模拟手机端破解反爬策略，爬取指定商品搜索数据，爬取闲鱼搜索指定商品（需手机端模拟）o 技术点：抓包分析、cookie与token

闲鱼作为国内最大的二手交易平台，拥有海量的用户生成商品信息。对于数据分析师、价格监测系统或者市场调研人员来说，能够自动化获取闲鱼商品数据具有重要意义。然而，闲鱼的反爬机制较为严格，且网页版功能受限，真正的数据接口隐藏在移动端 App 中。本文将带您从零开始，通过抓包分析、模拟手机请求、维护 Cookie 与 Token，构建一套可用的闲鱼搜索爬虫，并提供完整代码。

涵盖技术原理、环境配置、代码实现、反爬应对策略等环节。请注意：本教程仅用于学习和研究目的，请勿对闲鱼服务器造成压力，实际使用时需遵守相关法律法规及平台 robots 协议。

目录

一、项目背景与技术选型

1.1 为什么要模拟手机端？

1.2 技术栈介绍

二、抓包分析：获取闲鱼搜索接口

2.1 配置抓包环境（以 Charles 为例）

2.2 定位搜索接口

2.3 提取必要 Header

三、构建基础爬虫框架（使用复用 Token 方案）

3.1 获取有效凭证

3.2 编写请求函数

四、进阶：动态签名分析与破解思路

4.1 x-sign 生成原理（简要逆向思路）

4.2 x-mini-wua 处理

4.3 实现动态签名生成代码

五、完整生产级爬虫代码（含动态签名 + 代理 + 重试）

一、项目背景与技术选型

1.1 为什么要模拟手机端？

闲鱼的 Web 端（闲鱼 - 闲不住？上闲鱼！）功能极度简化，搜索接口返回的数据不完整，且很多关键字段缺失。相比之下，手机 App 拥有完整的数据结构，并且闲鱼的服务端对 App 接口返回的 JSON 更加丰富。

因此，我们的思路是：

• 使用抓包工具获取闲鱼手机 App 的真实 API 接口。

• 用 Python 模拟 Android 或 iOS 客户端的 HTTP 请求。

• 维持会话（Cookie 与 Token）以通过反爬验证。