Python批量查分爬虫实战：从网页解析到反爬应对

1. 项目概述：当“查分”遇上“批量”，一个刚需场景的自动化解法

又到了一年一度的各类考试、资格认证成绩集中发布期。无论是学生查询期末考、四六级、考研分数，还是职场人查询职业资格、职称评审结果，面对成百上千的考生信息，手动一个个去官网输入姓名、证件号查询，不仅效率低下，还容易出错。这个痛点催生了一个非常具体且高频的需求：批量查分。而“批量查分爬虫”这个项目，正是为了解决这个痛点而生的自动化工具。它本质上是一个能够模拟人工操作，自动登录指定查分网站，并批量提交查询请求、抓取并结构化返回成绩数据的程序。

我之所以对这个项目印象深刻，是因为它完美诠释了“技术服务于具体场景”的理念。它不追求酷炫的AI算法，也不涉及复杂的系统架构，但其带来的效率提升是颠覆性的。想象一下，一个辅导员需要统计全系300名学生的成绩，手动操作可能需要一整天，且精神高度紧张；而一个稳定运行的批量查分脚本，可能只需要一杯咖啡的时间，并且生成整齐的Excel表格。这个项目适合任何有Python基础，并且面临类似批量信息查询需求的开发者、行政人员或学生干部。它的核心价值在于将重复、枯燥的机械劳动自动化，解放人力，提升准确率。

2. 核心思路与技术选型：为什么是“爬虫”而不是“API”？

接到“批量查分”需求时，技术路径通常有两条：一是寻找官方或第三方提供的批量查询API接口；二是通过爬虫技术模拟浏览器行为。在绝大多数情况下，第一条路是走不通的。考试主办方出于安全、负载和商业考虑，极少会开放公开的批量查询API。因此，基于HTTP请求的网页爬虫成为了最实际、有时也是唯一的选择。

这个选择背后有几个关键考量：

1. 可行性：只要网站提供了面向个人的查询页面，且查询逻辑是标准的HTTP请求（GET/POST），理论上就可以被爬虫模拟。
2. 可控性：爬虫的每一个步骤——从打开网页、填写表单到解析数据——都可以由代码精确控制，便于调试和错误处理。
3. 灵活性：可以适应不同网站的不同反爬策略，通过调整请求头、使用会话（Session）、添加延迟等方式进行应对。

整个项目的核心思路可以拆解为一个清晰的流程：输入批量信息 -> 模拟会话 -> 循环查询 -> 解析提取 -> 结构化输出。技术栈上，Python是首选，因其丰富的网络请求和数据处理库。核心库通常包括：

• requests：用于发送HTTP请求，比urllib更简洁易用。
• BeautifulSoup4或lxml：用于解析HTML页面，提取所需的成绩数据。
• pandas：用于将抓取到的数据整理成结构化的DataFrame，并方便地导出为Excel或CSV文件。
• （可选）selenium：如果目标网站查询逻辑复杂，大量依赖JavaScript动态加载数据，则可能需要使用这个浏览器自动化工具来模拟真实用户操作。

注意：在技术选型上，务必优先尝试requests+BeautifulSoup的方案。selenium虽然强大，但资源消耗大、速度慢，且更易被网站识别为自动化脚本。仅在静态页面分析无法奏效时（如表单提交后数据由JS渲染），才考虑使用。

2.1 合法合规与伦理边界：爬虫的红线在哪里？

这是开发任何爬虫项目前必须严肃对待的第一课。“批量查分爬虫”的用途决定了其必须严格遵守法律法规和网站的使用条款。

• 尊重robots.txt：首先检查目标网站的robots.txt文件，看其是否禁止爬虫访问查分页面。
• 避免对服务器造成压力：这是最重要的伦理和技术准则。必须在代码中设置合理的请求间隔（例如，每次查询间隔2-5秒），严禁使用多线程/异步并发进行暴力查询，否则可能构成拒绝服务攻击（DoS），导致网站瘫痪，这不仅是道德问题，更可能引发法律风险。
• 数据用途限定：爬取的成绩数据应严格用于事先授权的、正当的统计与管理目的，不得公开传播、用于商业用途或任何侵犯个人隐私的行为。通常，操作者应是成绩查询对象的直接管理者（如班主任、项目负责人）或已获得其明确授权。
• 用户代理（User-Agent）标识：虽然模拟浏览器请求是爬虫的常规操作，但建议在请求头中使用真实的浏览器标识，并可在代码注释中说明工具用途和联系方式，以示友好。

3. 实战拆解：构建一个健壮的批量查分爬虫

我们以一个虚构的“全国计算机等级考试（NCRE）成绩查询”网站为例，来拆解构建爬虫的全过程。假设查询页面是一个简单的POST表单，需要提交“姓名”和“准考证号”。

3.1 环境准备与依赖安装

首先，确保你的Python环境（建议3.6以上）已经就绪。使用pip安装必要的库：

pip install requests beautifulsoup4 pandas openpyxl

• openpyxl是pandas导出Excel文件所需的引擎。

3.2 关键步骤一：手动分析与抓包

这是爬虫成功与否的基石。不要急于写代码，先用浏览器（Chrome/Firefox）的“开发者工具”（F12）手动完成一次查询，并观察网络请求。

1. 打开查分页面：记录下页面的URL。
2. 填写并提交查询：在开发者工具的“Network”（网络）面板中，勾选“Preserve log”（保留日志）。输入一个测试用的姓名和准考证号，点击查询。
3. 定位关键请求：在网络请求列表中，查找类型为“POST”或“GET”的请求，其名称往往与查询功能相关（如queryScore）。点击该请求，查看“Headers”（标头）和“Payload”（负载，或叫请求体）。
4. 分析请求参数：
   • Request Headers：重点关注Cookie,User-Agent,Content-Type等。爬虫需要模拟这些标头。
   • Request Payload：如果是POST请求，这里会看到提交的表单数据，通常是name=张三&ticket=20241101001这样的键值对，也可能是JSON格式。记下这些参数的键名。

这个步骤帮你弄明白：向哪个URL（接口地址）发送什么类型的请求（GET/POST），需要携带哪些参数和请求头。

3.3 关键步骤二：使用Session维持会话

很多查分网站需要登录，或者查询操作依赖于会话（Session）。使用requests.Session()可以自动处理Cookies，模拟一个持续的浏览器会话。

import requests session = requests.Session() # 设置一个合理的浏览器User-Agent headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } session.headers.update(headers) # 如果需要先登录（假设登录接口是/login，需要用户名密码） login_data = {'username': 'your_user', 'password': 'your_pass'} login_url = 'https://example.com/login' # session.post(login_url, data=login_data) # 根据实际情况调用

3.4 关键步骤三：构建查询循环与数据解析

假设我们已经分析出查询接口为https://example.com/query，采用POST表单提交，参数为name和ticket。

import pandas as pd from bs4 import BeautifulSoup import time # 1. 读取批量信息（例如一个包含姓名和准考证号的CSV文件） df_input = pd.read_csv('考生信息.csv') results = [] # 用于存储所有查询结果 # 2. 遍历每一条信息进行查询 for index, row in df_input.iterrows(): name = row['姓名'] ticket = row['准考证号'] # 构建请求数据 query_data = { 'name': name, 'ticket': str(ticket) # 确保准考证号是字符串 } query_url = 'https://example.com/query' try: # 发送POST请求 response = session.post(query_url, data=query_data, timeout=10) response.encoding = 'utf-8' # 根据网站编码调整，也可能是'gbk' # 检查请求是否成功 if response.status_code == 200: # 使用BeautifulSoup解析返回的HTML soup = BeautifulSoup(response.text, 'html.parser') # 3. 解析成绩数据（这是最核心且最易变的部分） # 需要根据实际网页结构定位成绩所在的HTML元素 # 例如，假设成绩在一个id为“score”的div里 score_div = soup.find('div', id='score') if score_div: score_text = score_div.get_text(strip=True) # 获取纯文本 # 进一步清洗和拆分成绩，例如“笔试：85，上机：90” # 这里需要根据实际页面格式编写解析逻辑 written_score = ... # 解析笔试分数 practical_score = ... # 解析上机分数 result = { '姓名': name, '准考证号': ticket, '笔试成绩': written_score, '上机成绩': practical_score, '总成绩': written_score + practical_score, # 假设如此计算 '状态': '成功' } else: # 未找到成绩元素，可能查询无结果或页面结构变化 result = { '姓名': name, '准考证号': ticket, '笔试成绩': 'N/A', '上机成绩': 'N/A', '总成绩': 'N/A', '状态': '未查询到结果或页面解析失败' } else: # HTTP请求失败 result = { '姓名': name, '准考证号': ticket, '笔试成绩': 'N/A', '上机成绩': 'N/A', '总成绩': 'N/A', '状态': f'请求失败，状态码：{response.status_code}' } except requests.exceptions.RequestException as e: # 网络请求异常（超时、连接错误等） result = { '姓名': name, '准考证号': ticket, '笔试成绩': 'N/A', '上机成绩': 'N/A', '总成绩': 'N/A', '状态': f'网络请求异常：{e}' } results.append(result) # 4. 至关重要的延迟！避免请求过快 time.sleep(3) # 间隔3秒，这是一个保守且友好的值 # 可选：打印进度 print(f"已查询: {name} - {ticket} -> {result['状态']}") # 5. 将结果转换为DataFrame并保存 df_output = pd.DataFrame(results) df_output.to_excel('批量查询结果.xlsx', index=False) print("批量查询完成，结果已保存至‘批量查询结果.xlsx’")

3.5 解析逻辑的深度探讨：应对多变的网页结构

上面代码中的soup.find('div', id='score')是一个理想化的例子。现实中，网页结构千变万化，解析逻辑是爬虫中最需要定制化和鲁棒性的部分。

• 多套查找方案：不要只依赖一种定位方式（如id）。可以组合使用class、标签名、属性等。例如：

  # 方案1：通过id查找 score_element = soup.find('span', id='totalScore') # 方案2：通过class查找（可能多个元素有相同class） score_elements = soup.find_all('td', class_='score-cell') # 方案3：通过文本内容特征查找 score_element = soup.find(string=re.compile(r'总分：\d+'))

• 结构备份与正则表达式：对于非常规结构，有时直接用正则表达式（re模块）从响应文本中提取数据更有效。
• 异常处理：在解析代码块内使用try...except，捕获AttributeError（访问不存在的属性）等异常，避免因单个页面解析失败导致整个程序崩溃。

4. 高级策略与反爬应对

简单的查分网站可能没有反爬措施，但稍具规模的平台可能会有。

4.1 常见反爬机制及应对

4.2 使用Selenium应对复杂场景

当网站完全依赖JavaScript渲染，所有数据都由JS动态生成时，requests无法获取到最终内容。此时需要selenium。

from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC driver = webdriver.Chrome() # 需要下载对应ChromeDriver driver.get("查分页面URL") for info in student_list: name_input = driver.find_element(By.ID, "nameInput") ticket_input = driver.find_element(By.ID, "ticketInput") query_button = driver.find_element(By.ID, "queryBtn") name_input.clear() name_input.send_keys(info['name']) ticket_input.clear() ticket_input.send_keys(info['ticket']) query_button.click() # 等待成绩区域加载出来 try: score_element = WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.ID, "scoreResult")) ) score = score_element.text # 记录score except: # 处理超时或未找到 score = "N/A" time.sleep(5) # Selenium操作更慢，间隔需要更长 driver.quit()

实操心得：Selenium是最后的手段。它慢、吃资源、不稳定（浏览器和驱动版本需匹配）。优先尝试分析AJAX请求，用requests解决。如果非用不可，务必使用WebDriverWait进行显式等待，而不是time.sleep固定等待，这样更高效稳定。

5. 工程化与稳定性提升

一个用于实际生产的批量查分脚本，不能只是简单的循环。需要考虑以下几点：

5.1 完善的日志记录

不要只依赖print。使用Python内置的logging模块，将运行状态、查询结果、错误信息记录到文件，方便事后排查。

import logging logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s', handlers=[logging.FileHandler('query.log'), logging.StreamHandler()]) # 在查询循环中，用 logging.info(f"查询 {name} 成功，成绩：{score}") 替代 print

5.2 断点续查与状态保存

如果要查询的名单有上千条，程序可能因网络波动或网站变更而中断。你需要实现“断点续查”功能。

• 思路：在开始查询前，检查是否已存在一个结果文件（如result.json）。如果存在，则加载已查询的结果。在循环中，跳过已成功查询的记录。每次成功查询一条，就立即将结果追加保存到文件或数据库。这样即使程序中途崩溃，重启后也能从上次中断的地方继续。

5.3 配置化

将目标URL、请求头、表单字段名、解析规则等易变的内容提取到配置文件（如config.yaml或config.json）中。这样当网站改版时，你只需要修改配置文件，而无需深入代码逻辑。

5.4 结果校验与告警

程序运行完毕后，应自动生成一份简单的报告：总计多少条，成功多少条，失败多少条，失败的原因分布。对于查询失败的记录，应单独输出到一个文件，供人工复核。甚至可以集成邮件通知功能，在脚本运行完成后，将结果报告发送到指定邮箱。

6. 常见问题排查与实战技巧

在开发和运行过程中，你肯定会遇到各种问题。下面是一些典型场景及解决思路：

问题1：返回的状态码是200，但获取到的HTML内容里没有成绩数据，而是登录页面或错误提示。

• 排查：这通常意味着会话（Cookies）失效，或者网站有初始化的Token/签名未获取。解决方案：重新分析整个查询流程。确保你的Session在查询前访问了正确的首页，并携带了所有必要的Cookies。检查查询请求是否缺少了某个隐藏的表单字段（如csrf_token），这个字段可能需要在查询前从一个初始化页面中提取。

问题2：查询前几次成功，后面突然全部返回“请求过于频繁”或验证码。

• 排查：触发了网站的IP频率限制。解决方案：立即大幅增加请求间隔（time.sleep(10)或更长）。考虑在代码中随机化间隔时间（如time.sleep(random.uniform(5, 15))），模拟人的不规则操作。这是最有效且最友好的方法。

问题3：解析成绩时，代码因AttributeError（NoneTypeobject has no attribute ‘text’）而崩溃。

• 排查：网页结构可能对查询无结果的考生返回了不同的HTML，或者网站微调了页面。解决方案：加强解析代码的健壮性。永远不要直接score = soup.find(...).text。应该先判断找到的元素是否存在。

  score_element = soup.find('div', class_='score') if score_element: score = score_element.get_text(strip=True) else: # 处理未找到的情况，可能是“查无此人” score = “未找到” logging.warning(f"未找到 {name} 的成绩元素，页面结构可能已变。")

问题4：导出的Excel文件打开乱码。

• 排查：编码问题。解决方案：确保在解析HTML时设置了正确的编码（response.encoding = ‘utf-8/gbk’），并且在pandas输出Excel时，可以指定引擎。对于中文，使用openpyxl引擎通常没问题。

个人经验之谈：写爬虫，七分靠分析，三分靠编码。拿到一个查分网站，花60%的时间去仔细分析它的网络请求流程、参数构成和反爬策略，再用30%的时间写一个结构清晰、异常处理完善的代码，最后10%的时间进行小规模测试和参数调优。盲目写代码只会事倍功半。另外，对于重要的批量查询任务，务必先在测试环境或用少量（3-5条）测试数据跑通整个流程，确认无误后再进行全量查询。最后，保持对技术的敬畏和对规则的遵守，让工具在合规的范围内创造价值。