微信小程序爬虫零基础实战：抓包+接口加密破解+动态数据全流程

一、引言

很多刚接触爬虫的开发者都会有一个误区：觉得微信小程序爬虫和普通网页爬虫差不多，只要能抓包就能拿到数据。但真正动手的时候才发现，小程序的接口不仅有严格的HTTPS证书校验，请求参数和响应数据还经常被加密，甚至还有复杂的签名验证机制，普通的requests请求根本行不通。

我当初第一次尝试爬取某电商小程序的时候，光是绕过证书校验就花了两天时间，后来又卡在了AES加密的响应数据上，前前后后折腾了一周才终于拿到了想要的数据。踩了无数坑之后，我总结出了一套通用的微信小程序爬虫方法论，从零基础的环境配置到复杂的接口加密破解，一步步带你搞定小程序数据采集。

本文不会讲那些空洞的理论，所有内容都来自实战经验。只要你有基本的Python基础，跟着本文的步骤走，就能在半天内写出一个能正常运行的小程序爬虫。

二、微信小程序爬虫的核心难点

微信小程序和普通网页的运行机制完全不同，这也导致了它的反爬门槛比普通网页高得多。

小程序爬虫的核心难点主要集中在以下四个方面：

1. HTTPS证书校验：微信内置了证书白名单，普通的抓包工具证书会被拒绝
2. 接口参数加密：几乎所有重要接口都有签名参数，防止请求被篡改
3. 响应数据加密：敏感数据会用AES等算法加密，抓包只能看到乱码
4. 设备指纹检测：会收集设备信息，同一设备请求过多会被封禁

三、环境准备与基础抓包

3.1 工具准备

我们需要准备以下工具：

• Charles/Fiddler：抓包工具，推荐使用Charles
• 夜神模拟器：安卓模拟器，方便配置证书和调试
• Xposed框架：用于绕过微信的证书校验
• JustTrustMe模块：禁用所有SSL证书校验
• wxappUnpacker：小程序反编译工具

3.2 证书校验绕过

这是小程序爬虫的第一道坎，也是最容易卡住新手的地方。安卓7.0以上系统默认不信任用户安装的证书，而微信只信任系统证书。

最稳定的解决方案：使用夜神模拟器（安卓7.1版本）+ Xposed + JustTrustMe。这个组合可以绕过几乎所有APP的证书校验，包括微信。

具体步骤：

1. 安装夜神模拟器并开启ROOT权限
2. 安装Xposed框架和JustTrustMe模块
3. 重启模拟器，确保模块生效
4. 配置模拟器的代理指向电脑的Charles
5. 在Charles中开启SSL代理

完成以上步骤后，打开微信任意小程序，就能在Charles中看到完整的HTTPS请求和响应了。

3.3 抓包分析接口

抓包成功后，我们需要分析哪些接口是我们需要的。通常可以通过以下特征来判断：

• 请求方法为POST
• Content-Type为application/json
• 响应数据包含我们需要的字段
• 请求URL中包含api、v1、v2等关键词

这里有一个小技巧：在Charles中设置断点，然后在小程序中进行操作，就能快速定位到对应的接口。

四、核心：接口加密破解

这是小程序爬虫最关键的部分。绝大多数小程序都会使用以下三种加密方式中的一种或多种。

4.1 MD5签名破解

MD5签名是最常见也是最简单的加密方式。通常的做法是将所有请求参数按照一定顺序拼接，然后加上一个固定的密钥，最后计算MD5值作为sign参数。

破解步骤：

1. 使用wxappUnpacker反编译小程序

nodewuWxapkg.js 小程序包名.wxapkg

2. 在反编译后的js文件中搜索"sign"、“md5”、"signature"等关键词
3. 找到签名生成函数，分析参数拼接顺序和密钥
4. 用Python实现相同的签名逻辑

实战代码示例：

importhashlibdefgenerate_sign(params,secret_key):"""生成MD5签名"""# 将参数按键名升序排序sorted_params=sorted(params.items())# 拼接参数sign_str=''fork,vinsorted_params:sign_str+=f'{k}={v}&'# 加上密钥sign_str+=f'key={secret_key}'# 计算MD5returnhashlib.md5(sign_str.encode('utf-8')).hexdigest().upper()

4.2 AES响应数据解密

很多小程序会将敏感的响应数据用AES算法加密，抓包只能看到一串Base64编码的乱码。

破解步骤：

1. 反编译小程序，搜索"AES"、“encrypt”、"decrypt"等关键词
2. 找到解密函数，提取AES密钥和IV
3. 注意：密钥和IV通常是固定的，或者由某个固定字符串生成
4. 用Python的Crypto库实现解密

实战代码示例：

importbase64fromCrypto.CipherimportAESfromCrypto.Util.Paddingimportunpaddefaes_decrypt(encrypted_data,key,iv):"""AES-CBC模式解密"""# 解码Base64encrypted_bytes=base64.b64decode(encrypted_data)# 创建AES解密器cipher=AES.new(key.encode('utf-8'),AES.MODE_CBC,iv.encode('utf-8'))# 解密并去除填充decrypted_bytes=unpad(cipher.decrypt(encrypted_bytes),AES.block_size)# 转换为字符串returndecrypted_bytes.decode('utf-8')

4.3 动态密钥处理

有些比较严格的小程序会使用动态密钥，每次请求的密钥都不一样。这种情况下，我们需要：

1. 找到密钥的获取接口
2. 先请求密钥接口获取当前密钥
3. 再用这个密钥加密请求参数或解密响应数据

五、完整Python爬虫实现

现在我们将前面的所有步骤整合起来，实现一个完整的小程序爬虫。

importrequestsimporthashlibimportbase64importtimeimportrandomfromCrypto.CipherimportAESfromCrypto.Util.PaddingimportunpadclassWxAppSpider:def__init__(self):self.session=requests.Session()# 从抓包中获取的基础请求头self.base_headers={'User-Agent':'Mozilla/5.0 (Linux; Android 7.1.2; SM-G955N Build/N2G48H; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/90.0.4430.210 Mobile Safari/537.36 MicroMessenger/8.0.48.2580(0x28003033) Process/appbrand0','Content-Type':'application/json','Referer':'https://servicewechat.com/wx1234567890abcdef/12/page-frame.html'}# 从反编译中获取的加密密钥self.sign_key='your_sign_key'self.aes_key='your_aes_key_16bytes'self.aes_iv='your_aes_iv_16bytes'defgenerate_sign(self,params):"""生成MD5签名"""sorted_params=sorted(params.items())sign_str=''fork,vinsorted_params:sign_str+=f'{k}={v}&'sign_str+=f'key={self.sign_key}'returnhashlib.md5(sign_str.encode('utf-8')).hexdigest().upper()defaes_decrypt(self,encrypted_data):"""AES解密响应数据"""encrypted_bytes=base64.b64decode(encrypted_data)cipher=AES.new(self.aes_key.encode('utf-8'),AES.MODE_CBC,self.aes_iv.encode('utf-8'))decrypted_bytes=unpad(cipher.decrypt(encrypted_bytes),AES.block_size)returndecrypted_bytes.decode('utf-8')defget_goods_list(self,page=1,page_size=20):"""获取商品列表"""url='https://api.example.com/wxapp/goods/list'# 构造请求参数params={'page':page,'pageSize':page_size,'timestamp':int(time.time()*1000),'nonce':''.join(random.choices('0123456789abcdef',k=16))}# 添加签名params['sign']=self.generate_sign(params)try:response=self.session.post(url,json=params,headers=self.base_headers,timeout=10)ifresponse.status_code==200:result=response.json()ifresult['code']==0:# 解密数据encrypted_data=result['data']decrypted_data=self.aes_decrypt(encrypted_data)returndecrypted_dataelse:print(f"请求失败:{result['msg']}")else:print(f"请求失败，状态码:{response.status_code}")exceptExceptionase:print(f"请求异常:{e}")returnNone# 使用示例if__name__=='__main__':spider=WxAppSpider()forpageinrange(1,6):print(f"正在爬取第{page}页...")data=spider.get_goods_list(page)ifdata:print(f"第{page}页爬取成功")# 这里可以添加数据保存逻辑else:print(f"第{page}页爬取失败")# 随机延迟，模拟人类行为time.sleep(random.uniform(1,3))

六、常见问题与反反爬策略

1. 证书校验绕过失败：确保JustTrustMe模块正确安装并启用，使用安卓7.1及以下版本的模拟器
2. 加密参数变化：定期反编译小程序，检查加密逻辑是否有更新
3. 请求频率限制：添加随机延迟，使用代理池轮换IP
4. 设备指纹检测：模拟不同的设备信息，随机化User-Agent和请求头
5. 登录态失效：定期更新Cookie和Token，保持登录状态

七、总结

微信小程序爬虫虽然比普通网页爬虫复杂，但只要掌握了正确的方法，其实并没有想象中那么难。核心思路就是：先绕过证书校验抓包，然后反编译小程序找到加密逻辑，最后用Python模拟相同的加密和解密过程。

需要特别提醒的是，本文仅供技术研究使用。请遵守《网络安全法》和相关法律法规，不要爬取他人的敏感数据，不要将爬虫技术用于非法用途。尊重他人的知识产权和数据安全，才能让技术发挥真正的价值。