避坑指南：爬取深交所、上交所、中金所期权数据时，你可能遇到的编码、反爬与数据清洗问题

三大交易所期权数据爬取实战：编码陷阱、反爬策略与数据清洗全解析

当我们需要获取深交所、上交所和中金所的期权数据时，往往会遇到各种预料之外的挑战。这些挑战不仅来自网站的反爬机制，还包括数据编码、格式解析等看似简单却暗藏玄机的问题。本文将分享我在实际项目中遇到的典型问题及其解决方案，希望能帮助开发者少走弯路。

1. 深交所XLSX文件解析的编码之谜

深交所提供的期权数据通常以XLSX格式返回，看似简单的文件下载却隐藏着编码陷阱。很多开发者第一次尝试时，会直接使用requests获取响应内容并保存为xlsx文件，却发现打开后全是乱码。

核心问题在于响应内容的直接解析。深交所返回的xlsx文件实际上是一个二进制流，不能直接当作文本处理。以下是正确处理流程：

import requests import pandas as pd from io import BytesIO url = 'http://www.szse.cn/api/report/ShowReport?SHOWTYPE=xlsx&CATALOGID=option_hyfxzb&TABKEY=tab1&txtSearchDate=20230101' response = requests.get(url) # 正确方式：使用BytesIO直接读取二进制流 excel_data = BytesIO(response.content) df = pd.read_excel(excel_data)

常见错误及解决方案：

• 错误1：直接打印response.text导致乱码
• 解决：始终使用response.content处理二进制数据
• 错误2：先保存到本地再读取
• 解决：使用内存中的BytesIO避免不必要的磁盘IO

提示：深交所接口对请求频率有限制，建议在循环中添加适当的延时，如time.sleep(0.5)

2. 上交所CSV数据流的解码技巧

上交所的期权数据通常以CSV格式提供，但这里有几个容易忽略的细节：

1. 编码问题：数据使用GBK编码而非UTF-8
2. 流式处理：大数据量时建议使用流式处理
3. 反爬机制：需要添加Referer头部

优化后的代码示例：

import requests from contextlib import closing import pandas as pd headers = { 'Referer': 'http://www.sse.com.cn/' } url = 'http://query.sse.com.cn/derivative/downloadRisk.do?trade_date=20230104&productType=0' with closing(requests.get(url, headers=headers, stream=True)) as r: # 逐行解码GBK编码的CSV数据 lines = (line.decode('gbk') for line in r.iter_lines()) df = pd.DataFrame([line.split(',') for line in lines])

关键点说明：

• stream=True启用流式下载，避免大文件内存溢出
• decode('gbk')正确处理中文字符
• Referer头部绕过基础反爬

数据清洗时常见的坑：

3. 中金所XML数据解析的健壮性处理

中金所的期权数据以XML格式提供，这种结构化的数据看似容易解析，实则暗藏玄机：

1. 字段缺失：不是所有节点都包含完整字段
2. 类型转换：需要处理字符串到数值的转换
3. 异常处理：必须防御性地处理各种解析异常

健壮的XML解析方案：

from lxml import etree import pandas as pd def parse_cffex_xml(content): root = etree.fromstring(content) records = [] for daily_data in root.xpath('//dailydata'): try: record = { 'instrumentid': daily_data.xpath('instrumentid/text()')[0], 'tradingday': daily_data.xpath('tradingday/text()')[0], 'openprice': float(daily_data.xpath('openprice/text()')[0]), # 其他字段类似处理 } records.append(record) except IndexError: continue # 跳过缺失关键字段的记录 return pd.DataFrame(records)

异常处理的最佳实践：

1. 字段缺失：使用try-except捕获IndexError
2. 类型转换：单独处理每个字段的类型转换
3. 数据验证：检查关键字段是否存在

注意：中金所的XML接口对请求频率非常敏感，建议控制在每分钟不超过10次请求

4. 数据清洗与质量保证

获取原始数据只是第一步，确保数据质量才是真正的挑战。以下是三大交易所数据常见的清洗任务：

深交所数据清洗重点：

• 处理合并单元格
• 统一日期格式
• 过滤测试数据

上交所数据清洗流程：

1. 去除首尾的非数据行
2. 统一列名
3. 处理特殊值（如"-"表示无数据）

中金所数据质量检查清单：

• 验证合约代码有效性
• 检查价格合理性（无负值）
• 确保交易量不为空

数据验证的Python实现：

def validate_option_data(df): # 检查必要字段 required_fields = ['instrumentid', 'tradingday', 'closeprice'] if not all(field in df.columns for field in required_fields): raise ValueError("缺少必要字段") # 检查价格合理性 price_fields = ['openprice', 'highestprice', 'lowestprice', 'closeprice'] for field in price_fields: if field in df.columns and (df[field] < 0).any(): print(f"警告：{field}包含负值") return df.dropna(subset=required_fields)

5. 反爬策略应对指南

三大交易所都部署了不同程度的反爬措施，以下是实战中总结的应对策略：

反爬类型与对策对照表：

请求头配置示例：

headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36', 'Referer': 'http://www.sse.com.cn/', 'Accept-Language': 'zh-CN,zh;q=0.9', 'Connection': 'keep-alive' }

智能延时策略：

import random import time def smart_delay(last_request_time): elapsed = time.time() - last_request_time if elapsed < 1.0: # 确保至少1秒间隔 sleep_time = random.uniform(0.5, 2.0) time.sleep(sleep_time)

6. 性能优化与代码结构建议

当需要长时间运行爬虫时，代码的健壮性和性能就变得至关重要。以下是几个优化方向：

代码结构优化：

1. 将各交易所的爬取逻辑封装为独立类
2. 实现统一的错误处理机制
3. 添加自动重试功能

内存管理技巧：

• 使用生成器而非列表处理大型数据集
• 及时释放不再需要的资源
• 分批处理数据而非一次性加载

示例：带重试机制的请求函数：

def robust_request(url, max_retries=3, timeout=10): for attempt in range(max_retries): try: response = requests.get(url, headers=headers, timeout=timeout) if response.status_code == 200: return response except (requests.Timeout, requests.ConnectionError) as e: print(f"请求失败({attempt+1}/{max_retries}): {str(e)}") time.sleep(2 ** attempt) # 指数退避 raise Exception(f"无法获取 {url} 的数据")

数据存储建议：

• 使用SQLite或MySQL存储历史数据
• 实现增量更新而非全量抓取
• 添加数据获取时间戳

在实际项目中，我发现将数据直接存入数据库比先保存为CSV再导入效率高得多。特别是使用SQLAlchemy的bulk_insert_mapping方法，可以大幅提升大批量数据的写入速度。