当前位置：首页 > news >正文

Python爬虫实战：自动化采集天天基金排行榜数据，构建个人金融数据库

news 2026/7/30 16:33:15

1. 从排行榜到数据：一个基金爱好者的数据采集实践

作为一个长期关注基金市场的普通投资者，我发现自己经常陷入一个循环：打开天天基金网的各类排行榜（比如近一年收益排行、定投排行、热门基金排行），看着琳琅满目的基金列表，一个个点进去看详情，手动记录关键指标，然后再去对比分析。这个过程不仅耗时耗力，而且当我想回溯历史某一天的榜单情况时，往往无从下手。数据是死的，但市场是活的，如果能把这些动态的排行榜数据“固化”下来，形成自己的数据库，无论是做趋势分析、基金筛选还是构建自己的观察池，都会方便得多。这就是我决定动手爬取天天基金排行榜信息的初衷——不是为了什么高深的量化研究，只是想用技术手段，把公开信息高效地“搬”到自己的电脑里，解放双手，提升个人投资研究的效率。

天天基金网作为国内领先的基金数据平台，其排行榜数据丰富、更新及时，是观察市场风向和基金表现的重要窗口。然而，直接通过浏览器手动获取这些数据，效率极低且难以进行批量处理和长期跟踪。通过编写爬虫程序，我们可以自动化地获取这些公开数据，将其结构化存储，为后续的分析工作打下基础。本文将详细拆解这一过程，从环境准备、页面分析、数据抓取到数据清洗与存储，分享一套完整、可复现的实操方案，并重点剖析其中可能遇到的“坑”及应对策略。无论你是编程新手想入门网络爬虫，还是有一定基础的数据爱好者希望构建自己的金融数据源，相信都能从中获得启发。

2. 环境搭建与核心工具选型

工欲善其事，必先利其器。在开始爬取之前，我们需要搭建一个稳定、高效的开发环境，并选择合适的技术工具。我的核心选择基于几个原则：易于上手、社区活跃、能有效应对反爬机制、以及适合处理结构化数据。

2.1 Python环境与必备库

我选择Python作为开发语言，主要是因为其在数据抓取和处理领域的生态极其丰富。你需要确保安装了Python 3.7或更高版本。接下来，通过pip安装以下几个核心库：

Requests: 用于发送HTTP请求，获取网页源代码。它是爬虫的基石，简单易用。
```
pip install requests
```
BeautifulSoup4 (bs4): 用于解析HTML和XML文档，从复杂的网页结构中提取我们需要的数据。它像一把“梳子”，能把杂乱的HTML代码梳理成清晰的数据树。
```
pip install beautifulsoup4
```
Pandas: 数据处理和分析的瑞士军刀。我们将用它来清洗、整理爬取到的数据，并最终导出为Excel或CSV文件。
```
pip install pandas
```
lxml: 一个高性能的HTML/XML解析器。BeautifulSoup可以搭配不同的解析器，lxml在速度和容错性上通常比Python内置的html.parser更优。
```
pip install lxml
```

为什么是这些库？Requests+BeautifulSoup的组合是处理静态页面的黄金搭档，对于天天基金网这类主要数据直接渲染在HTML中的网站非常有效。Pandas则是数据处理的终点，能将列表、字典形式的数据轻松转换为规整的表格。如果未来遇到更复杂的动态加载页面（数据通过JavaScript异步请求获取），我们可能需要引入Selenium或Playwright，但经过分析，天天基金排行榜的基础列表数据是静态的，因此当前组合足够。

2.2 开发工具与目录结构

我使用VSCode或PyCharm作为代码编辑器。建议在项目开始时规划好目录结构，这能让代码更清晰，也便于管理爬取的数据。一个简单的结构如下：

fund_rank_crawler/ ├── main.py # 主程序入口 ├── config.py # 配置文件（如请求头、URL模板） ├── parser.py # 页面解析函数 ├── saver.py # 数据存储函数 ├── utils.py # 工具函数（如随机延时、日志记录） ├── data/ # 存放爬取结果的文件夹 │ ├── 20240515_rank.xlsx │ └── raw_html/ # 可选：存放原始HTML用于调试 └── requirements.txt # 项目依赖库列表

这种模块化的设计，将不同的功能（网络请求、解析、存储）分离，使得代码易于维护和扩展。例如，当网站改版导致解析逻辑失效时，你只需要修改parser.py文件，而不必触动主流程。

3. 目标页面分析与请求策略制定

在动手写代码之前，我们必须像侦探一样，仔细“勘察”目标网站。盲目请求只会导致IP被封或拿到无用的数据。我们的目标是天天基金网的“基金排行”页面（例如：http://fund.eastmoney.com/data/fundranking.html）。

3.1 分析数据加载方式与URL规律

首先，用浏览器（推荐Chrome）打开排行榜页面，按下F12打开开发者工具，切换到“Network”（网络）选项卡，然后刷新页面或点击翻页。观察发出的网络请求。

你会发现，排行榜的数据并非一次性加载全部，而是通过翻页动态加载。关键点在于：翻页时，页面并没有整体刷新，而是通过一个特定的接口（API）获取JSON格式的数据。通过筛选XHR/Fetch请求，你能找到一个类似http://fund.eastmoney.com/data/rankhandler.aspx?op=ph&dt=kf&ft=all&rs=&gs=0&sc=1nzf&st=desc&sd=2023-05-15&ed=2024-05-15&qdii=&tabSubtype=,,,,,&pi=1&pn=50&dx=1的请求。这个URL包含了所有筛选和分页参数：

op,dt,ft: 操作类型、数据类型、基金类型（如all表示全部）。
sc&st: 排序字段和顺序（如sc=1nzf表示近1年增长率，st=desc表示降序）。
sd&ed: 统计开始日期和结束日期。
pi&pn: 页码（page index）和每页显示数量（page number）。
dx=1: 通常表示返回数据。

这个发现至关重要。它意味着我们不需要去解析复杂的HTML来提取表格数据，而是可以直接向这个“数据接口”发送请求，获取结构化的JSON数据，这比解析HTML要简单、稳定得多。我们的爬虫策略就从“解析HTML”升级为“调用数据API”。

3.2 请求头（Headers）的伪装与反爬应对

直接使用requests.get()调用上述接口，很可能会失败，或者返回一些错误信息。这是因为服务器会检查请求头（Headers），判断请求是否来自真实的浏览器。

我们需要复制浏览器中该请求的Headers，特别是以下几个关键字段：

User-Agent: 用户代理，标识浏览器和操作系统。必须设置为一个常见的浏览器值。
Referer: 表示请求来自哪个页面，对于有来源检查的接口是必须的。这里通常是排行榜页面的URL。
Cookie: 网站用于识别用户会话的凭证。初期可以不带，但如果被限制，可能需要获取并携带简单的Cookie。

在代码中，我们可以这样构建请求头：

import requests headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36', 'Referer': 'http://fund.eastmoney.com/data/fundranking.html', # 如果有必要，可以从浏览器复制Cookie字符串添加在这里 # 'Cookie': 'your_cookie_string_here' } url = 'http://fund.eastmoney.com/data/rankhandler.aspx?op=ph&dt=kf&ft=all&sc=1nzf&st=desc&sd=2023-05-15&ed=2024-05-15&pi=1&pn=100&dx=1' response = requests.get(url, headers=headers)

实操心得一：动态User-Agent与代理IP。如果大规模、高频次爬取，固定一个User-Agent和IP地址很容易被识别并封锁。一个进阶策略是准备一个User-Agent列表，每次请求随机选取一个。对于IP限制，可以考虑使用可靠的代理IP池。但对于个人低频次使用，使用真实浏览器的Headers并控制请求频率通常就足够了。

3.3 请求频率控制与道德考量

即使我们找到了数据接口，也不能无节制地疯狂请求。过于频繁的请求会对服务器造成压力，属于不友好的行为，也极易触发反爬机制（如封禁IP）。

必须实施请求延时。在循环请求不同页码的数据时，在每次请求之间插入随机延时。

import time import random def delay(): time.sleep(random.uniform(1, 3)) # 随机休眠1到3秒

这个简单的delay()函数可以在每次成功获取一页数据后调用。将间隔时间随机化，是为了让请求行为更接近人类操作，避免规律性的访问被识别为机器人。

4. 数据解析、清洗与结构化存储

成功获取到API返回的数据后，我们发现它并不是一个标准的JSON。返回内容通常包裹在一个函数调用中，如var rankData = {...}。我们需要先提取出有效的JSON字符串。

4.1 解析非标准JSON响应

API返回的数据可能长这样：{"datas":[...], "allRecords":5000, ...}，但外面可能有一层jsonp包装。我们需要进行简单的文本处理。

import json import re def parse_api_response(text): # 方法1：尝试直接查找JSON部分，如果返回的是标准JSON try: # 尝试匹配 { 开头， } 结尾的完整JSON对象 json_str_match = re.search(r'(\{.*\})', text, re.DOTALL) if json_str_match: data = json.loads(json_str_match.group(1)) return data except json.JSONDecodeError: pass # 方法2：如果返回格式是 jsonp，如 `callback({...})` # 去除函数调用包装，提取括号内的内容 match = re.search(r'\((.*)\)', text, re.DOTALL) if match: try: data = json.loads(match.group(1)) return data except json.JSONDecodeError: print("JSON解析失败，返回文本为：", text[:500]) return None return None # 使用示例 raw_text = response.text rank_data = parse_api_response(raw_text) if rank_data and 'datas' in rank_data: fund_list = rank_data['datas'] # 基金数据列表 total_count = rank_data.get('allRecords', 0) # 总记录数

fund_list是一个列表，其中每个元素是一个长字符串，不同字段之间用逗号分隔。这是天天基金API的一个特点，我们需要根据其字段顺序进行拆分。

4.2 字段拆分与数据清洗

我们需要知道这个长字符串每个位置的字段代表什么。这需要通过观察和对照网页显示来推断。例如，通过爬取少量数据并与网页核对，我得到了一份常见的字段映射（字段顺序可能随接口或时间变化，需自行验证）：

0: 基金代码 1: 基金简称 2: 日期 3: 单位净值 4: 累计净值 5: 日增长率 6: 近1周 7: 近1月 8: 近3月 9: 近6月 10: 近1年 11: 近2年 12: 近3年 13: 今年来 14: 成立来 15: 自定义（可能是手续费等） ...（后面还有更多字段，如基金公司等）

解析函数如下：

def parse_fund_data_row(row_str): """解析单条基金数据字符串""" fields = row_str.split(',') # 根据推断的映射关系创建字典，注意索引可能超出范围，需做判断 fund_info = { '基金代码': fields[0] if len(fields) > 0 else '', '基金简称': fields[1] if len(fields) > 1 else '', '日期': fields[2] if len(fields) > 2 else '', '单位净值': fields[3] if len(fields) > 3 else '', '累计净值': fields[4] if len(fields) > 4 else '', '日增长率': fields[5] if len(fields) > 5 else '', '近1周': fields[6] if len(fields) > 6 else '', '近1月': fields[7] if len(fields) > 7 else '', '近3月': fields[8] if len(fields) > 8 else '', '近6月': fields[9] if len(fields) > 9 else '', '近1年': fields[10] if len(fields) > 10 else '', '近2年': fields[11] if len(fields) > 11 else '', '近3年': fields[12] if len(fields) > 12 else '', '今年来': fields[13] if len(fields) > 13 else '', '成立来': fields[14] if len(fields) > 14 else '', } # 简单的数据清洗：去除百分号，尝试转换为数值 for key in ['日增长率', '近1周', '近1月', '近3月', '近6月', '近1年', '近2年', '近3年', '今年来', '成立来']: if fund_info[key] and fund_info[key].strip(): # 去除空格和百分号 cleaned = fund_info[key].strip().replace('%', '') try: # 尝试转换为浮点数 fund_info[key] = float(cleaned) except ValueError: # 转换失败，保留原字符串（可能是‘--’等） fund_info[key] = cleaned else: fund_info[key] = None # 空值处理为None # 净值也尝试转换 for key in ['单位净值', '累计净值']: if fund_info[key] and fund_info[key].strip(): try: fund_info[key] = float(fund_info[key]) except ValueError: pass return fund_info

实操心得二：字段映射的验证与维护。网站接口的字段顺序并非一成不变，尤其是当网站前端改版或增加新指标时。因此，在正式大规模爬取前，务必用小样本（如第一页数据）进行解析，并将解析结果与网页上显示的内容逐条核对，确保映射关系正确。可以将这个字段映射关系写在配置文件中，方便后续调整。

4.3 使用Pandas进行数据整合与存储

将所有解析后的基金字典存入一个列表后，Pandas就可以大显身手了。

import pandas as pd def save_to_excel(fund_data_list, filename): """将基金数据列表保存为Excel文件""" if not fund_data_list: print("没有数据可保存。") return # 创建DataFrame df = pd.DataFrame(fund_data_list) # 调整列顺序，让关键信息靠前 column_order = ['基金代码', '基金简称', '日期', '单位净值', '累计净值', '日增长率', '近1周', '近1月', '近3月', '近6月', '近1年', '近2年', '近3年', '今年来', '成立来'] # 只保留df中实际存在的列 existing_columns = [col for col in column_order if col in df.columns] # 将其他列追加在后面 other_columns = [col for col in df.columns if col not in existing_columns] final_columns = existing_columns + other_columns df = df[final_columns] # 保存到Excel filepath = f'./data/{filename}.xlsx' df.to_excel(filepath, index=False, engine='openpyxl') # 指定engine避免警告 print(f"数据已保存至: {filepath}") return filepath

使用Pandas的好处是，我们可以轻松地进行后续操作，比如：

数据筛选：df[df[‘近1年’] > 20]筛选出近一年收益大于20%的基金。
排序：df.sort_values(by=‘近1年’, ascending=False)按近一年收益降序排列。
导出多种格式：除了Excel，还可以用to_csv()保存为CSV，用to_json()保存为JSON，非常灵活。

5. 构建完整爬虫流程与异常处理

将上述各个环节串联起来，并加入健壮的异常处理和日志记录，就构成了一个完整的爬虫程序。

5.1 主程序逻辑设计

主程序的逻辑应该是清晰的循环：构造请求URL -> 发送请求 -> 解析响应 -> 提取并清洗数据 -> 存储 -> 延时 -> 下一页。

import logging from datetime import datetime def setup_logging(): logging.basicConfig( level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s', handlers=[ logging.FileHandler(f'./data/crawl_{datetime.now().strftime("%Y%m%d")}.log'), logging.StreamHandler() ] ) def main(): setup_logging() logging.info("开始爬取天天基金排行榜数据...") base_url = "http://fund.eastmoney.com/data/rankhandler.aspx" params = { 'op': 'ph', 'dt': 'kf', 'ft': 'all', 'sc': '1nzf', # 按近1年排序，可根据需要修改 'st': 'desc', 'sd': '2023-05-15', # 起始日期 'ed': '2024-05-15', # 结束日期 'pi': 1, # 页码，会在循环中改变 'pn': 100, # 每页数量，最大似乎可到200 'dx': '1', } all_funds = [] max_pages = 10 # 限制爬取页数，防止过量请求 current_page = 1 while current_page <= max_pages: params['pi'] = current_page logging.info(f"正在爬取第 {current_page} 页...") try: response = requests.get(base_url, params=params, headers=headers, timeout=10) response.raise_for_status() # 如果状态码不是200，抛出HTTPError异常 data = parse_api_response(response.text) if not data or 'datas' not in data: logging.warning(f"第 {current_page} 页未获取到有效数据。响应: {response.text[:200]}") break page_funds = data['datas'] if not page_funds: logging.info("已爬取所有数据。") break for fund_str in page_funds: fund_info = parse_fund_data_row(fund_str) if fund_info: all_funds.append(fund_info) logging.info(f"第 {current_page} 页爬取完成，获得 {len(page_funds)} 条记录。") current_page += 1 # 请求间隔延时 delay() except requests.exceptions.RequestException as e: logging.error(f"网络请求失败 (第{current_page}页): {e}") break # 或等待后重试 except Exception as e: logging.error(f"处理第 {current_page} 页时发生未知错误: {e}") break # 所有页面爬取完成后，保存数据 if all_funds: timestamp = datetime.now().strftime("%Y%m%d_%H%M%S") filename = f'fund_rank_{timestamp}' save_to_excel(all_funds, filename) logging.info(f"爬虫结束。共爬取 {len(all_funds)} 条基金数据。") else: logging.warning("未爬取到任何数据。") if __name__ == '__main__': main()

5.2 关键异常处理与重试机制

网络爬虫运行在复杂的环境中，必须考虑各种异常情况。

网络请求异常：requests库可能抛出多种异常，如连接超时(ConnectTimeout)、请求超时(ReadTimeout)、HTTP错误(HTTPError)等。我们使用try...except块捕获requests.exceptions.RequestException，并进行相应处理，比如记录日志、等待一段时间后重试。

import time max_retries = 3 retry_delay = 5 for attempt in range(max_retries): try: response = requests.get(url, headers=headers, timeout=10) response.raise_for_status() break # 成功则跳出重试循环 except requests.exceptions.Timeout: logging.warning(f"请求超时，第{attempt+1}次重试...") time.sleep(retry_delay) except requests.exceptions.RequestException as e: logging.error(f"请求失败: {e}") break # 其他错误可能无法通过重试解决 else: logging.error(f"经过{max_retries}次重试仍失败，跳过此页。") continue # 跳过当前页，继续下一页

数据解析异常：JSON解析失败、字段索引越界、数据类型转换错误等。在parse_fund_data_row函数内部，我们已经通过if len(fields) > n和try...except进行了基本的容错处理，确保单条数据解析失败不会导致整个程序崩溃，只是丢弃或标记该条异常数据。
反爬虫识别：如果服务器返回了非200状态码（如403、429），或者返回的HTML/JSON中包含“访问过于频繁”、“验证”等字样，说明可能触发了反爬。此时应立刻停止当前循环，延长等待时间，或者检查请求头（特别是Cookie和Referer）是否失效。对于个人使用，最有效的方法就是降低请求频率和模拟更真实的浏览器行为。

6. 数据应用扩展与进阶思考

爬取数据只是第一步，让数据产生价值才是目的。这里分享几个简单的应用方向和进阶思路。

6.1 基础应用：构建个人基金观察池

将爬取到的数据保存到Excel后，你可以利用Excel的筛选和排序功能，快速找到符合自己条件的基金。例如：

寻找“双十”基金经理：虽然排行榜不直接提供基金经理信息，但你可以根据基金代码，再去批量抓取基金经理的任职时长和年化回报（这需要另一个爬虫任务），结合排行榜的业绩数据做初步筛选。
多维度对比：不要只看“近1年”排名。将“近1年”、“近2年”、“近3年”、“最大回撤”（需从其他页面获取）等指标放在一起看，可以找出业绩相对稳定，而非仅仅短期冲得高的基金。
定期更新与跟踪：将爬虫脚本设置为定时任务（例如每周日晚上运行一次），持续将数据追加到同一个数据库或Excel的不同Sheet中。这样你就拥有了一个随时间变化的基金业绩面板，可以观察基金的排名波动情况。

6.2 进阶思路：从单次爬取到系统化数据管道

如果需求从“偶尔抓一次”变成“持续监控”，那么就需要更系统的设计：

数据存储升级：从单文件Excel转向数据库（如SQLite、MySQL）。数据库便于管理历史数据、进行复杂查询和关联分析。可以设计两张表：一张fund_basic存基金代码、名称等不变信息；一张fund_rank_history存每次爬取的排名、净值、收益率等随时间变化的信息。
爬虫任务调度：使用APScheduler或操作系统的crontab（Linux/macOS）/任务计划程序（Windows）来定时执行爬虫脚本。
增加数据维度：排行榜数据是“果”，我们还可以去爬“因”。例如：
- 基金详情页：抓取基金规模、成立日期、基金经理、持仓行业分布、重仓股票等信息。
- 基金公司页：抓取基金公司的管理规模、旗下基金整体业绩等。
- 将这些数据关联起来，分析就能更深入，比如“某基金经理管理的不同基金业绩是否同步？”、“规模大的基金公司是否在特定风格上更有优势？”。
可视化监控：使用Matplotlib、Plotly或Pyecharts等库，将分析结果图表化。例如，绘制你观察池中基金近半年来的排名走势曲线图，一目了然地看到哪些基金在稳步上升，哪些在持续下滑。