当前位置：首页 > news >正文

5分钟搞定闲鱼市场调研：Python自动化数据采集工具完全指南

news 2026/7/11 15:42:53

5分钟搞定闲鱼市场调研：Python自动化数据采集工具完全指南

【免费下载链接】xianyu_spider闲鱼APP数据爬虫（废弃项目）项目地址: https://gitcode.com/gh_mirrors/xia/xianyu_spider

还在为手工整理闲鱼商品信息而头疼吗？每天花费数小时在闲鱼APP上滑动屏幕、截图、记录价格，不仅效率低下，还容易出错。今天我要介绍的闲鱼APP数据采集工具，正是为了解决这个问题而生。这个基于Python的自动化工具，能帮你轻松完成商品信息收集，让市场调研变得简单高效。

市场调研的痛点与解决方案

想象一下，你正在研究二手手机市场，想知道iPhone 13在闲鱼上的平均价格是多少，或者你想了解某个特定品牌包包的价格分布。传统的手工方式需要你：

打开闲鱼APP，手动搜索关键词
逐个记录商品标题、价格、图片
截图保存重要信息
整理到Excel表格中进行分析

这个过程不仅耗时耗力，而且容易遗漏重要信息。使用这个自动化工具后，你只需要设置一次，就能自动完成所有工作，将宝贵的时间用于更有价值的市场分析。

三步快速部署：5分钟开始采集数据

第一步：环境准备与项目获取

首先确保你的电脑上安装了Python 3.6或更高版本，然后按照以下步骤操作：

# 克隆项目代码到本地 git clone https://gitcode.com/gh_mirrors/xia/xianyu_spider cd xianyu_spider # 创建Python虚拟环境（推荐） python -m venv venv source venv/bin/activate # Linux/Mac # 或 venv\Scripts\activate # Windows # 安装必要的依赖包 pip install -r requirements.txt

第二步：安卓设备连接与配置

你需要一部安卓手机，并开启开发者选项和USB调试模式。通过USB线连接手机到电脑后，在命令行中输入：

adb devices

这会显示你的设备ID，记下这个ID，稍后需要用到。

第三步：运行采集脚本

打开xianyu.py文件，找到第41行，将设备ID替换为你的设备ID：

d = u2.connect("你的设备ID") # 这里填写刚才获取的设备ID

现在你可以运行主程序了：

python xianyu.py

程序启动后会显示免责声明，输入"Y"确认后，工具就会开始自动采集数据。

闲鱼数据采集工具运行界面

看到这个界面，说明工具正在工作中。它会自动打开闲鱼APP，搜索你设定的关键词，然后像真人一样滑动屏幕，采集商品信息。

核心功能详解：数据采集的完整流程

自动化搜索与数据提取

这个工具使用uiautomator2框架来模拟用户在手机上的操作。简单来说，它会：

自动打开闲鱼APP- 就像你手动点击图标一样
输入搜索关键词- 在搜索框中自动输入文字
滑动浏览商品- 模拟手指滑动屏幕的动作
提取商品信息- 识别每个商品的标题、价格和图片
保存到Excel- 将数据整理成表格格式

整个过程中，工具会像真人一样操作，避免被平台检测为异常行为。

数据输出与格式整理

程序运行完成后，会在当前目录生成一个以日期命名的Excel文件，比如"2024-01-01结果.xlsx"。打开这个文件，你会看到整理好的商品数据：

闲鱼数据采集结果Excel表格

每行数据包含三个关键信息：

标题：商品的完整描述
价格：商品的售价
图片：商品的缩略图

这样的结构化数据可以直接用于数据分析，或者导入到其他工具中进行进一步处理。

灵活配置：按需调整采集策略

修改搜索关键词

默认情况下，工具会搜索"餐饮券"，但你可以轻松修改为任何你感兴趣的商品类别。在xianyu.py文件末尾找到这行代码：

keyword = '餐饮券' # 修改为你想要的关键词

比如：

keyword = 'iPhone 二手'- 采集二手iPhone信息
keyword = '名牌包包'- 采集名牌包包信息
keyword = '家具闲置'- 采集家具类商品信息

控制采集深度与数量

通过调整max_page参数，你可以控制采集的商品数量：

max_page = 5 # 默认值，大约采集100-150个商品 max_page = 10 # 采集更多商品，适合深度分析

每次翻页大约会加载20-30个商品，你可以根据实际需求调整这个数值。

实际应用场景：从数据到洞察

市场行情分析

如果你打算在闲鱼上出售二手商品，了解市场价格至关重要。这个工具可以帮你：

批量采集同类商品价格：快速获取几十甚至上百个商品的价格信息
分析价格分布：找出最受欢迎的价格区间
监控价格变化：定期运行脚本，跟踪价格波动趋势

竞品调研与选品研究

无论是个人卖家还是电商运营，了解竞争对手的情况都很有帮助：

收集竞品信息：批量获取竞争对手的商品标题、价格、图片
分析商品描述：研究热门关键词和描述方式
发现热门商品：通过关键词搜索找到交易活跃的商品
识别蓝海市场：找到需求大但竞争相对较小的品类

个人二手物品定价参考

当你需要出售个人闲置物品时，这个工具可以帮你：

了解同类商品市场价格：避免定价过高或过低
分析商品描述技巧：学习热门商品的描述方式
参考图片拍摄角度：优化自己的商品图片展示

闲鱼数据采集工具配置界面

调试与优化：确保采集准确性的技巧

使用WEditor进行界面元素定位

如果你发现工具无法正常工作，或者闲鱼APP更新了界面布局，可以使用WEditor工具来重新定位界面元素。在命令行中输入：

weditor

这会打开一个调试工具界面，帮助你查看和调试自动化操作：

闲鱼自动化采集调试工具界面

这个界面显示了工具如何识别APP中的各个元素，确保准确采集数据。你可以通过这个工具：

查看闲鱼APP的界面结构
定位需要点击或输入的元素
调试自动化脚本的执行过程

保持操作自然与合规使用

为了避免被平台限制，工具内置了随机等待时间，模拟真实用户的操作节奏。建议不要修改这些等待时间，让操作看起来更自然。

重要提示：请务必遵守以下使用规范：

采集的数据仅用于学习和研究目的
不要将数据用于商业用途或违反平台规则
尊重其他用户的隐私和权益
控制采集频率，避免对平台造成过大压力

技术原理简析：自动化背后的工作机制

uiautomator2框架简介

这个工具基于uiautomator2框架开发，这是一个用于Android UI自动化的Python库。它通过ADB（Android Debug Bridge）与手机通信，能够：

启动和停止应用：控制闲鱼APP的打开和关闭
模拟用户操作：点击、滑动、输入文字等
获取界面元素：识别屏幕上的文本、图片、按钮等
截图和保存：捕获商品图片并保存到本地

数据提取与处理流程

工具的核心数据提取逻辑在get_list_data()函数中实现：

def get_list_data(): result = [] TimeUtil.random_sleep() view_list = d.xpath( '//android.widget.ScrollView//android.view.View').all() if len(view_list) > 0: for el in view_list: item_info = el.info el_description = remove_unicode(str(item_info['contentDescription'])) el_text = str(item_info['text']).replace('\n', '') if el_description != "" and el_description != "筛选": amount = get_amount(el_description) if amount is not None and amount != '': img_path = save_image(el.screenshot()) result.append({ 'title': el_description, 'amount': amount, 'img': img_path }) return result

这个函数会：

等待随机时间，模拟真实用户浏览
获取屏幕上所有商品元素的列表
提取每个商品的描述信息
从描述中解析出价格
截图保存商品图片
将数据整理成结构化格式

常见问题与解决方案

设备连接问题

如果遇到设备连接问题，可以尝试以下解决方案：

错误：atxagent 下次必须通过adb启动

# 查看设备是否成功连接 adb devices # 进入手机shell环境 adb shell # 赋予设备权限 chmod 775 /data/local/tmp/atx-agent # 后台启动atx-agent /data/local/tmp/atx-agent server -d

错误：device显示unauthorized

# 手机里点击【撤销USB调试授权】 # 电脑上重启adb adb kill-server adb start-server # 然后重新连接设备

数据采集不完整

如果发现采集的数据不完整，可以：

增加等待时间：在代码中适当增加TimeUtil.random_sleep()的参数
检查界面元素：使用WEditor确认界面元素定位是否准确
调整滑动参数：修改swipe_up()函数中的坐标参数

进阶应用：从使用者到开发者

扩展采集字段

如果你想采集更多信息，比如商品发布时间、卖家信息等，可以修改get_list_data()函数：

# 在result.append中添加更多字段 result.append({ 'title': el_description, 'amount': amount, 'img': img_path, 'seller': seller_info, # 新增卖家信息 'location': location, # 新增商品所在地 'time': post_time # 新增发布时间 })

优化数据输出格式

你可以修改to_excel()函数来生成更复杂的报表：

# 添加更多列 sheet['D1'] = '卖家' sheet['E1'] = '地区' sheet['F1'] = '发布时间' # 填充更多数据 sheet["D" + str(index + start_row)] = data['seller'] sheet["E" + str(index + start_row)] = data['location'] sheet["F" + str(index + start_row)] = data['time']