逆向AES加密接口与动态Token获取：Python爬虫实战解析

1. 项目概述与核心挑战

最近在做一个数据采集相关的项目，目标是一个提供全国建筑市场信息的网站。这类网站通常包含企业资质、人员信息、项目业绩等关键数据，对于行业分析、市场调研来说价值很高。但和很多现代网站一样，它采用了AES加密来保护接口返回的数据，并且访问接口需要一个动态的accesstoken。这听起来像是一个典型的“前端加密、后端解密”的反爬策略组合拳。如果你直接上手用requests库去请求接口，拿回来的很可能是一堆你看不懂的乱码，或者干脆就是加密后的密文字符串。这个项目的核心，就是如何像浏览器一样，先拿到合法的通行证（accesstoken），再破解数据保险箱（AES解密），最终拿到结构化的明文信息。

这不仅仅是写几行爬虫代码那么简单，它涉及到对网站登录认证流程的逆向、对前端JavaScript加密逻辑的分析，以及对AES加密算法在Web场景下具体应用模式的理解。整个过程更像是一次小型的“安全审计”，你需要暂时站在网站开发者的角度，去理解他们是如何设计这套保护机制的，然后再以数据采集者的身份，找到合规且稳定的方式绕过它。我之所以说“合规”，是因为我们的所有操作都基于公开的接口和前端加载的代码，不涉及破解服务器、不进行暴力请求，核心思路是模拟合法用户的行为。下面，我就把这次实战中趟过的路、踩过的坑，以及最终稳定运行的方案，完整地分享给你。

2. 逆向工程：定位accesstoken与加密逻辑

动手写代码之前，最关键的一步是“侦察”。我们需要弄清楚两件事：第一，accesstoken从哪里来，如何获取；第二，数据返回后，是用哪种模式的AES加密的，密钥和初始向量（IV）又藏在哪里。

2.1 网络请求追踪与accesstoken来源分析

打开目标网站的开发者工具（F12），切换到 Network（网络）面板。在进行任何页面操作（如登录、搜索、翻页）前，先清空现有记录，然后触发一个数据加载动作，比如点击查询按钮。

很快，你会看到一系列的网络请求。我们的目标是找到那个返回实际数据（通常是JSON格式）的XHR（Fetch）请求。找到后，重点查看它的Request Headers（请求头）。accesstoken极大概率就藏在Authorization或是一个自定义的X-Access-Token头字段里。记下这个请求的URL和请求方式（GET/POST）。

接下来，问题来了：这个accesstoken是首次打开网页就有的，还是通过某个登录接口获取的？你需要顺着请求的调用栈（Initiator）往回找。在Network面板中，选中那个数据请求，查看其Initiator标签页，它显示了是哪个脚本发起了这个请求。点击跳转到Sources（源代码）面板的对应位置。

更常见的情况是，accesstoken是在用户登录成功后，由服务器返回并保存在前端的（例如 localStorage 或 sessionStorage）。因此，你需要找到登录的请求。在Network面板中过滤XHR或Fetch请求，尝试进行登录操作，找到一个返回内容包含token、accessToken等字段的请求响应。这个响应体就是accesstoken的源头。

实操心得：很多网站的登录流程现在都异常复杂，可能涉及图形验证码、滑块验证、或是一次性密码。如果登录逆向难度太大，可以退而求其次，观察accesstoken是否有一定的有效期，并且是否在页面刷新后依然有效（即存储在localStorage中）。如果是，你可以手动登录一次，然后从Application面板的Local Storage里直接把accesstoken复制出来，硬编码到你的爬虫脚本里临时使用。但这并非长久之计，脚本需要定期手动更新token。

2.2 解密函数与AES参数挖掘

找到返回加密数据的接口后，查看其Response（响应）。你看到的可能是一个看似乱码的字符串，或者是一个JSON对象，但其data字段的值是一长串非常规的字符（密文）。这时，就需要在前端代码里找到解密的函数。

在Network面板，找到加载的JavaScript文件（通常是app.xxxx.js或chunk-xxx.js这类经过打包的文件）。由于代码可能被压缩和混淆，直接搜索关键词是最高效的方法。在Sources面板按Ctrl+Shift+F进行全局搜索。

搜索哪些关键词呢？

1. AES相关：AES、CryptoJS（一个常用的前端加密库）、decrypt、encrypt、mode、padding。
2. 响应处理相关：查看数据请求的成功回调函数，看其中是否有对response.data进行处理的代码，可能会调用一个解密函数。
3. 特定字段名：如果响应JSON中有像encryptedData这样的字段名，直接搜索它。

一旦找到疑似解密的函数，比如decryptData(encryptedStr)，就要仔细分析它。关键信息通常包括：

• 密钥（Key）：用于AES加密解密的秘密字符串。它可能硬编码在代码里（风险高，但简单），更可能是通过某个接口动态获取，或是根据固定规则（如时间戳）生成。
• 初始向量（IV）：用于CBC等模式，增加加密安全性。同样需要找到其值或生成方式。
• 加密模式：最常见的是CBC（密码分组链接模式）。
• 填充方式：最常见的是PKCS7（在PKCS5 padding上扩展）。前端CryptoJS库通常使用Pkcs7。
• 输出格式：密文通常以Base64或Hex（十六进制）字符串形式传输。

一个典型的前端解密代码片段（CryptoJS）可能长这样：

// 假设这是经过格式化后的代码 function decryptData(ciphertextBase64) { var key = CryptoJS.enc.Utf8.parse("这是一个16/24/32字节的密钥"); var iv = CryptoJS.enc.Utf8.parse("这是一个16字节的IV"); var decrypted = CryptoJS.AES.decrypt(ciphertextBase64, key, { iv: iv, mode: CryptoJS.mode.CBC, padding: CryptoJS.pad.Pkcs7 }); return decrypted.toString(CryptoJS.enc.Utf8); }

你的任务就是在混淆的代码中找到类似的逻辑，并提取出key和iv。有时，key和iv并非明文，而是通过CryptoJS.enc.Utf8.parse或CryptoJS.enc.Hex.parse处理一个字符串得到的，你需要找到那个原始字符串。

避坑指南：极度警惕“动态密钥”。有些网站会将当前时间戳、accesstoken的一部分或其他变量经过MD5或SHA256哈希后，截取固定长度作为密钥。这意味着密钥每次请求都可能变化。你必须完整复现这个密钥的生成算法，这是本项目最大的难点之一。如果发现密钥生成逻辑过于复杂且混淆严重，需要评估项目成本。

3. 核心工具选型与Python环境搭建

逆向分析完成后，我们就需要在Python环境中复现整个流程。工具链的选择至关重要。

3.1 网络请求库：Requests vs. Playwright

• Requests：轻量级、速度快、资源消耗小，是处理HTTP API请求的首选。它适用于接口参数规律、无需执行JavaScript的场景。在本项目中，一旦我们获取到accesstoken并知晓数据接口URL，用requests构造请求头（携带accesstoken）并发起请求是最直接的方式。
• Playwright / Selenium：浏览器自动化工具。当登录流程极度复杂（如需要处理图形验证码、复杂的JavaScript鉴权逻辑），或者accesstoken的生成逻辑深深嵌在难以逆向的JS代码中时，使用无头浏览器模拟真人操作是终极方案。你可以用它们来自动完成登录，然后从浏览器上下文中提取出最终的accesstoken和必要的Cookie。

我的选择与理由：优先尝试纯requests方案。因为它的效率和稳定性远超浏览器自动化。只有当requests路径完全走不通（如密钥生成算法无法逆向）时，才考虑引入playwright。本项目假设我们已经通过逆向分析，找到了相对固定的密钥或可复现的密钥生成算法，因此主要使用requests。

3.2 加密解密库：PyCryptodome

Python中进行AES加解密的库主要有pycrypto（已停止维护）和它的继任者pycryptodome。pycryptodome功能完整，API友好，是行业标准选择。

安装命令：

pip install pycryptodome requests

如果遇到安装问题，可以尝试使用国内镜像源：

pip install pycryptodome requests -i https://pypi.tuna.tsinghua.edu.cn/simple

3.3 辅助工具：正则表达式与JSON处理

• re：Python内置的正则表达式模块，用于从混淆的JavaScript代码中提取密钥、IV等字符串。
• json：Python内置模块，用于解析接口返回的JSON数据和解密后的明文数据。

4. 实战代码：从获取Token到解密数据

假设我们已经通过分析，得到了以下信息：

1. 登录接口：POST https://api.example.com/login， 提交username和password，返回{“access_token”: “your_token_here”}。
2. 数据接口：GET https://api.example.com/data/market， 需要在请求头中设置Authorization: Bearer your_token_here。
3. 返回的数据中，encrypted_data字段是AES-CBC-PKCS7Padding加密后的Base64字符串。
4. 密钥（Key）：通过分析JS，发现是固定的字符串“MySuperSecretKey16”（16字节）。
5. 初始向量（IV）：同样是固定的“InitVector16Byte”（16字节）。

下面我们来编写完整的爬虫脚本。

4.1 步骤一：模拟登录获取accesstoken

import requests import json from urllib.parse import urljoin BASE_URL = “https://api.example.com“ LOGIN_URL = urljoin(BASE_URL, “/login”) DATA_URL = urljoin(BASE_URL, “/data/market”) def get_access_token(username, password): “”“模拟登录，获取accesstoken”“” login_payload = { “username”: username, “password”: password } headers = { “User-Agent”: “Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36”, “Content-Type”: “application/json” } try: response = requests.post(LOGIN_URL, json=login_payload, headers=headers, timeout=10) response.raise_for_status() # 检查HTTP错误 result = response.json() # 假设返回格式为 {“code”: 200, “data”: {“access_token”: “xxx”}} if result.get(“code”) == 200: access_token = result.get(“data”, {}).get(“access_token”) if access_token: print(“[成功] 获取到accesstoken”) return access_token else: raise ValueError(“响应中未找到access_token字段”) else: raise ValueError(f”登录失败，返回码: {result.get(‘code’)}, 信息: {result.get(‘msg’)}”) except requests.exceptions.RequestException as e: print(f”[错误] 登录请求失败: {e}”) return None except json.JSONDecodeError as e: print(f”[错误] 登录响应不是有效的JSON: {e}”) return None # 使用示例 username = “your_username” password = “your_password” access_token = get_access_token(username, password) if not access_token: print(“无法获取token，程序退出”) exit(1)

注意事项：

1. 异常处理：网络请求必须包含超时和异常处理，避免脚本因单次请求失败而崩溃。
2. JSON解析：使用response.json()前，最好用try-except包裹，防止服务器返回非JSON内容（如HTML错误页面）导致解析失败。
3. Token存储：对于需要长期运行的脚本，应将获取到的access_token及其过期时间（如果有）保存到文件或数据库中，下次运行时先检查是否过期，避免频繁登录触发风控。

4.2 步骤二：请求加密数据接口

拿到access_token后，我们用它来构造请求头，获取加密数据。

def fetch_encrypted_data(access_token, page=1, size=20): “”“携带token请求数据接口”“” headers = { “User-Agent”: “Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36”, “Authorization”: f”Bearer {access_token}” # 注意格式，可能是 ‘Bearer ‘ 或 ‘token ‘ } params = { “pageNum”: page, “pageSize”: size # 根据实际接口添加其他参数 } try: response = requests.get(DATA_URL, headers=headers, params=params, timeout=15) response.raise_for_status() result = response.json() # 假设返回格式为 {“code”:200, “encrypted_data”: “Base64StringHere”} if result.get(“code”) == 200: encrypted_data_b64 = result.get(“encrypted_data”) if encrypted_data_b64: print(f”[成功] 获取到第{page}页的加密数据”) return encrypted_data_b64 else: print(“[警告] 响应中未找到encrypted_data字段，可能数据为空或结构已变”) return None else: print(f”[错误] 数据请求失败，返回码: {result.get(‘code’)}, 信息: {result.get(‘msg’)}”) return None except requests.exceptions.RequestException as e: print(f”[错误] 数据请求失败: {e}”) return None except json.JSONDecodeError as e: print(f”[错误] 数据响应不是有效的JSON: {e}”) return None # 使用示例 encrypted_b64_string = fetch_encrypted_data(access_token, page=1) if not encrypted_b64_string: print(“无法获取加密数据，程序退出”) exit(1)

4.3 步骤三：使用PyCryptodome进行AES解密

这是最核心的一步。我们需要用Python复现之前在前端JS里看到的AES-CBC-PKCS7解密逻辑。

import base64 from Crypto.Cipher import AES from Crypto.Util.Padding import unpad def aes_cbc_decrypt(encrypted_b64, key_str, iv_str): “”“ 使用AES-CBC模式解密Base64编码的密文。 注意：前端CryptoJS的PKCS7填充，在Python中对应的是PKCS7（或通用的unpad）。 PyCryptodome的 `unpad` 函数处理的就是PKCS7。 “”“ # 1. 将字符串密钥和IV转换为字节，并确保长度正确 # AES-128 需要16字节密钥， AES-192需要24字节， AES-256需要32字节。 # CBC模式需要16字节的IV。 key = key_str.encode(‘utf-8’) iv = iv_str.encode(‘utf-8’) # 这里可以添加长度检查或自动补齐逻辑（根据实际情况） # 例如，如果密钥不足16字节，可以后面补零；如果超过，可以截断（不推荐，最好找到原版密钥）。 # if len(key) < 16: # key = key.ljust(16, b‘\0’) # elif len(key) > 16: # key = key[:16] # 对iv做同样处理 # 2. 解码Base64密文 try: encrypted_bytes = base64.b64decode(encrypted_b64) except Exception as e: print(f”[错误] Base64解码失败: {e}”) return None # 3. 创建AES解密器 cipher = AES.new(key, AES.MODE_CBC, iv) # 4. 解密并去除填充 try: decrypted_padded_bytes = cipher.decrypt(encrypted_bytes) # 使用unpad去除PKCS7填充 decrypted_bytes = unpad(decrypted_padded_bytes, AES.block_size) except ValueError as e: # 可能填充不正确，或者密钥/IV错误 print(f”[错误] 解密或去除填充失败: {e}”) # 可以尝试直接输出解密后的字节，看看是否已经是明文但包含乱码 # print(“解密后字节（未unpad）:”, decrypted_padded_bytes) return None # 5. 将解密后的字节转换为字符串（假设是UTF-8编码的JSON） try: decrypted_text = decrypted_bytes.decode(‘utf-8’) return decrypted_text except UnicodeDecodeError as e: print(f”[错误] 解密结果无法用UTF-8解码: {e}”) # 可能是编码问题，尝试其他编码如 ‘gbk’ # return decrypted_bytes.decode(‘gbk’, errors=‘ignore’) return None # 使用示例（使用之前逆向得到的固定密钥和IV） KEY = “MySuperSecretKey16” # 确保这是16/24/32字节 IV = “InitVector16Byte” # 确保这是16字节 decrypted_json_str = aes_cbc_decrypt(encrypted_b64_string, KEY, IV) if decrypted_json_str: print(“[成功] 数据解密完成”) # 将解密后的JSON字符串解析为Python字典 data_dict = json.loads(decrypted_json_str) print(json.dumps(data_dict, indent=2, ensure_ascii=False)) # 美化打印 else: print(“解密失败，请检查密钥、IV或密文格式。”)

4.4 步骤四：整合与数据持久化

将以上步骤串联起来，并加入循环翻页、错误重试和数据保存的逻辑。

import time import pandas as pd from typing import List, Dict def main(): # 1. 获取Token token = get_access_token(“your_username”, “your_password”) if not token: return all_data = [] max_pages = 10 # 设置最大爬取页数，防止无限循环 retry_max = 3 for page in range(1, max_pages + 1): print(f”\n正在处理第 {page} 页...”) encrypted_data = None # 带重试的数据请求 for retry in range(retry_max): encrypted_data = fetch_encrypted_data(token, page=page) if encrypted_data: break else: print(f”第{retry+1}次请求失败，{‘重试…’ if retry < retry_max-1 else ‘跳过该页。’}”) time.sleep(2) # 等待一段时间后重试 if not encrypted_data: print(f”第{page}页数据获取失败，跳过。”) continue # 2. 解密数据 decrypted_str = aes_cbc_decrypt(encrypted_data, KEY, IV) if not decrypted_str: print(f”第{page}页数据解密失败，跳过。”) continue # 3. 解析JSON try: page_data = json.loads(decrypted_str) # 假设解密后的结构是 {“list”: […], “total”: 100} data_list = page_data.get(“list”, []) if not data_list: print(f”第{page}页无数据，可能已爬取完毕。”) break all_data.extend(data_list) print(f”第{page}页成功解析 {len(data_list)} 条记录。”) # 礼貌性延迟，避免请求过快 time.sleep(1) except json.JSONDecodeError as e: print(f”第{page}页解密后的内容不是有效JSON: {e}”) # 可以打印出解密后的字符串前500字符帮助调试 print(f”解密内容预览: {decrypted_str[:500]}”) continue # 4. 保存数据 if all_data: df = pd.DataFrame(all_data) filename = f”building_market_data_{time.strftime(‘%Y%m%d_%H%M%S’)}.csv” df.to_csv(filename, index=False, encoding=‘utf_8_sig’) # 使用utf_8_sig避免Excel打开乱码 print(f”\n[完成] 共爬取 {len(all_data)} 条数据，已保存至 {filename}”) else: print(“\n[完成] 未爬取到任何数据。”) if __name__ == “__main__”: main()

5. 高级问题排查与实战技巧

在实际操作中，几乎不可能一帆风顺。下面是我遇到的一些典型问题及解决方法。

5.1 常见错误与解决方案

5.2 使用execjs执行JavaScript代码

当密钥生成逻辑非常复杂，用Python重写困难时，可以将关键的JS函数提取出来，用execjs在Python环境中执行。

import execjs # 假设你从网站JS中提取出了生成密钥的函数字符串 key_gen_js_code = “”” function generateKey(timestamp) { var str = “someSalt” + timestamp; // 一些复杂的哈希、转换操作... return CryptoJS.MD5(str).toString().substr(0, 16); } “”” # 创建一个JS上下文，可能需要加载CryptoJS库 # 首先，找到网站加载的CryptoJS库的源码（通常是一个单独的 .js 文件），将其内容保存为字符串 `crypto_js_lib` with open(‘crypto-js.min.js’, ‘r’, encoding=‘utf-8’) as f: crypto_js_lib = f.read() ctx = execjs.compile(crypto_js_lib + “\n” + key_gen_js_code) # 调用JS函数 timestamp = int(time.time() * 1000) # 模拟前端 Date.now() dynamic_key = ctx.call(“generateKey”, timestamp) print(f”动态生成的密钥: {dynamic_key}”) # 然后使用这个dynamic_key进行解密

重要提醒：使用execjs性能较差，且环境配置可能麻烦。它应该是解决动态密钥问题的最后手段。

5.3 请求头与反爬策略

现代网站的反爬不止于加密。你的爬虫还需要看起来像一个正常的浏览器。

• 必备请求头：
  • User-Agent: 使用常见的浏览器UA字符串。
  • Referer: 通常设置为目标网站的域名或上一级页面URL。
  • Accept/Accept-Language/Accept-Encoding: 模仿浏览器。
  • Content-Type: 对于POST请求，根据接口要求设置application/json或application/x-www-form-urlencoded。
• Cookie管理：requests的Session对象可以自动管理Cookie，在登录后保持会话。

  session = requests.Session() # 先使用session登录 session.post(LOGIN_URL, data=...) # 后续请求会自动携带登录后的cookie response = session.get(DATA_URL)

• 请求频率控制：在循环中增加time.sleep(random.uniform(1, 3))来模拟人类操作间隔，避免被封IP。

6. 项目总结与扩展思考

走到这里，一个能够自动获取Token、解密AES数据的爬虫就基本完成了。回顾整个过程，技术核心在于逆向分析能力，而不是单纯的编码。你需要耐心地使用开发者工具，像侦探一样梳理网站的认证和数据流。

这个项目模式具有很强的通用性。许多采用前后端分离、接口加密的网站或APP，其数据抓取思路都是相通的：分析认证流程获取凭证 -> 定位数据接口 -> 逆向数据解密/解压算法 -> 用代码复现整个链条。

对于更深入的需求，你可以考虑以下扩展方向：

1. 自动化与健壮性：将脚本改造成定时任务，加入更完善的日志、错误报警（如邮件、钉钉机器人通知）和断点续爬功能。
2. 数据清洗与入库：解密后的JSON数据可能需要进一步清洗、去重、格式化，然后存入MySQL、MongoDB或Elasticsearch等数据库，便于后续分析。
3. 应对更复杂的加密：如果遇到RSA非对称加密（用于加密传输AES密钥）、或WebSocket传输数据，则需要学习相应的密码学知识和网络协议分析工具。
4. 道德与法律边界：始终牢记，爬虫应遵守网站的robots.txt协议，尊重数据版权，控制请求频率，避免对目标服务器造成负担。将爬取的数据用于个人学习、研究或合法的商业分析，切勿用于侵犯他人权益的用途。

最后，调试这类项目最需要的就是耐心和细致。一个字符的差异、一个字节的顺序都可能导致解密失败。多使用打印语句输出中间变量，多和浏览器中正常运行的结果进行比对，问题总能被定位和解决。希望这篇详尽的总结能帮你少走弯路。