当前位置： 首页 > news >正文

Python网页数据抓取：从urllib/requests到pandas的实战指南

news 2026/8/5 2:57:16

1. 项目概述：从“能爬”到“会爬”的思维转变

“用Python爬取网页数据”几乎是每个开发者或数据分析师入门时都会接触到的技能点。但很多人止步于“能跑通代码”，面对稍微复杂一点的网站就束手无策，或者写出的爬虫既不稳定又低效。今天，我们不谈那些花哨的框架和复杂的反爬对抗，就聚焦于Python标准库和核心数据处理库提供的两种最基础、最核心的网页数据获取方法：urllib（及其衍生）和pandas。这两种方法代表了两种截然不同的爬虫哲学和适用场景，理解它们，你就能在80%的日常数据抓取任务中游刃有余。

简单来说，urllib（通常我们实际用的是更友好的requests库）是“手动挡”，它给你提供了最底层的HTTP请求工具，让你能精细地控制请求的每一个环节，从请求头、Cookie到会话维持，适合处理结构复杂、有反爬机制或需要交互的网页。而pandas的read_html方法则是“自动挡”，它专为抓取网页中的表格数据而生，一行代码就能把HTML中的<table>标签变成规整的DataFrame，适合快速获取公开的、结构化的数据报表。

这篇文章的目标，是让你不仅知道怎么用这两样工具，更理解在什么情况下该用哪个，以及如何把它们用得更稳、更快。我会结合近十年爬各种公开数据源的经验，把那些官方文档里不会写的细节、容易踩的坑，以及如何组合使用这两种方法的技巧，一次性讲清楚。

2. 核心方法一：使用urllib/requests进行通用网页抓取

这是最传统、也是最灵活的方法。虽然Python标准库自带urllib.request，但在实际开发中，99%的人会选择更人性化的第三方库requests。它语法简洁，功能强大，是处理HTTP请求的事实标准。我们以requests为核心来讲解这套方法。

2.1 环境准备与基础请求

首先，确保你的环境里安装了requests库。如果还没装，在命令行里执行pip install requests即可。一个最简单的GET请求长这样：

import requests url = ‘https://httpbin.org/get‘ response = requests.get(url) print(response.status_code) # 打印状态码，200表示成功 print(response.text) # 打印网页的HTML内容

这看起来很简单，但这里有几个新手极易忽略的关键点：

  1. 状态码检查：不是所有返回了内容的请求都是成功的。一定要检查response.status_code，常见的如200（成功）、404（未找到）、403（禁止访问）、429（请求过多）等。不检查状态码就直接处理response.text，是很多爬虫莫名崩溃的根源。
  2. 编码问题：response.text是requests推测编码后解码成的字符串。如果推测错误，你会看到一堆乱码。更可靠的方式是使用response.content获取原始的字节流，然后用正确的编码（如‘utf-8’， ‘gbk’）去解码：html = response.content.decode(‘utf-8’)。如何知道网页编码？可以看响应头response.headers.get(‘Content-Type’)，或者用chardet库检测。
  3. 设置请求头（Headers）：这是应对基础反爬的第一步。很多网站会检查User-Agent，如果发现是Python的默认UA，可能会拒绝服务。模拟一个浏览器的请求头是基本操作：
headers = { ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36‘ } response = requests.get(url, headers=headers)

实操心得：不要只用一种User-Agent。准备一个列表，每次请求随机选取一个，能有效降低被简单封禁的风险。此外，Referer和Accept-Language等头信息有时也很关键，特别是对于需要维持登录状态或地域性网站。

2.2 数据解析：从HTML到结构化数据

拿到HTML只是第一步，就像得到了一本未经索引的书。我们需要从中提取出表格、列表、段落等具体信息。这里最常用的工具是BeautifulSoup和lxml。

pip install beautifulsoup4 lxml

lxml是一个解析器，速度非常快；BeautifulSoup则提供了非常人性化的API来导航和搜索解析树。通常我们结合使用：

from bs4 import BeautifulSoup # 假设html变量已经存储了网页字符串 soup = BeautifulSoup(html, ‘lxml‘) # 指定使用lxml解析器 # 1. 通过标签名查找：找到所有的<a>标签 all_links = soup.find_all(‘a‘) for link in all_links: print(link.get(‘href‘)) # 获取href属性 # 2. 通过CSS类名查找：找到所有class=‘title‘的div titles = soup.find_all(‘div‘, class_=‘title‘) # 3. 通过ID查找：找到id=‘main‘的元素 main_content = soup.find(id=‘main‘) # 4. 使用CSS选择器（最强大灵活） # 找到所有article标签下，class包含‘post‘的h2标签 headlines = soup.select(‘article h2.post‘) for h in headlines: print(h.text.strip()) # 获取标签内的文本，并去除首尾空格

解析的核心在于理解网页结构。你需要打开浏览器的开发者工具（F12），使用“检查元素”功能，去观察你要的数据被包裹在怎样的HTML标签和CSS选择路径中。不要试图用正则表达式去解析复杂的HTML，那会是一场噩梦。BeautifulSoup的select方法支持绝大部分CSS选择器语法，是定位元素的首选。

2.3 处理动态内容与复杂交互

现代网站大量使用JavaScript在浏览器端渲染内容，直接请求HTML得到可能是一个空的骨架。这时，简单的requests+BeautifulSoup就无能为力了。处理这类动态网页，主要有两种思路：

  1. 分析网络请求：打开开发者工具的“网络”（Network）选项卡，刷新页面，观察浏览器实际发送了哪些XHR（Ajax）或Fetch请求来获取数据。这些请求往往返回结构化的JSON数据，比解析HTML简单得多。直接用requests模拟这些请求即可。这是最高效的方法。
  2. 使用无头浏览器：当数据渲染逻辑过于复杂，或者有大量用户交互时，就需要动用Selenium或Playwright这样的工具来模拟一个真实的浏览器。它们能执行JavaScript，等待元素加载，模拟点击、滚动等操作。
# 使用Selenium的示例（需安装浏览器驱动） from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC driver = webdriver.Chrome() # 需要提前下载chromedriver并放在PATH中 driver.get(‘https://example.com‘) try: # 等待某个特定元素出现，最多等10秒 element = WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.CSS_SELECTOR, “.dynamic-content“)) ) # 此时页面已加载完成，可以获取渲染后的HTML html = driver.page_source # 之后同样可以用BeautifulSoup解析html finally: driver.quit()

注意事项：无头浏览器方案资源消耗大、速度慢，应作为最后的手段。优先尝试“分析网络请求”的方法。使用Selenium时，注意设置合理的等待时间（显式等待优于强制time.sleep），并及时关闭浏览器实例释放资源。

2.4 应对反爬虫策略与伦理规范

即使是最简单的爬虫，也需要遵守一些基本规则，这既是技术需要，也是法律和伦理要求。

  1. 遵守robots.txt：在网站根目录下的robots.txt文件指明了哪些路径允许或禁止爬虫访问。使用robotparser模块可以解析它。尊重这个协议是爬虫开发者的基本素养。
  2. 设置请求间隔：疯狂地高频率请求会对方服务器造成压力，容易被封IP。在循环请求中插入time.sleep(random.uniform(1, 3))是基本操作。对于大型爬取，可以考虑使用更复杂的速率限制策略。
  3. 使用代理IP池：当单个IP被封锁后，更换IP是继续爬取的必要手段。你可以使用一些商业代理服务，或者（在合法合规的前提下）自建代理池。requests使用代理很简单：
    proxies = {“http“: “http://10.10.1.10:3128“, “https“: “http://10.10.1.10:1080“} response = requests.get(url, proxies=proxies)
  4. 处理Cookie和Session：对于需要登录的网站，使用requests.Session()对象可以自动保持Cookie，模拟一个持续的会话。
    session = requests.Session() login_data = {‘username‘: ‘...‘, ‘password‘: ‘...‘} session.post(login_url, data=login_data) # 登录 # 之后的请求都会携带登录后的cookie response = session.get(protected_page_url)
  5. 伦理与法律底线：只爬取公开的、非敏感的数据。不要绕过付费墙，不要爬取个人隐私信息，不要对目标网站造成明显的性能影响。你的爬虫行为应该像一个有礼貌的、慢速浏览的人类用户。

3. 核心方法二：使用pandas快速抓取表格数据

如果你要抓取的数据恰好以HTML表格（<table>标签）的形式存在于网页中，那么恭喜你，pandas为你提供了一把“瑞士军刀”。pd.read_html()这个函数堪称爬虫界的“神器”，它能够自动识别网页中的所有表格，并将其转换为DataFrame对象的列表。

3.1read_html的基本用法与威力

它的基础用法简单到令人发指：

import pandas as pd url = ‘https://en.wikipedia.org/wiki/List_of_countries_by_GDP_(nominal)‘ tables = pd.read_html(url) print(f“在该页面找到了 {len(tables)} 个表格。“) # 假设我们想要第一个表格 df = tables[0] print(df.head())

是的，就这么一行核心代码。pd.read_html()内部会使用lxml或html5lib等解析器来解析HTML，并调用BeautifulSoup来寻找所有<table>标签，然后将它们一一转换为DataFrame。它自动处理了表头（<thead>）、表格主体（<tbody>）、跨行跨列（rowspan,colspan）等复杂的HTML表格特性。

这个方法最适合的场景：各类百科页面、政府公开数据网站、金融数据网站（如上市公司财报）等，这些地方经常用规整的HTML表格来展示数据。

3.2 关键参数详解与实战技巧

read_html有很多参数可以让你更精准地抓取数据，下面是一些最常用的：

  • match：一个字符串或正则表达式。只返回包含该文本的表格。这在页面有多个表格时非常有用。
    # 只抓取包含“2023年”字样的表格 tables = pd.read_html(url, match=‘2023年‘)
  • header：指定哪一行作为列名（表头）。默认为0（第一行）。如果表格没有表头，设为None。
    # 使用第一行作为表头 df = pd.read_html(url, header=0)[0] # 没有表头，pandas会自动生成0,1,2...作为列名 df_no_header = pd.read_html(url, header=None)[0]
  • index_col：指定哪一列作为行索引。
  • attrs：一个字典，用于通过<table>标签的属性来精确定位表格。例如，attrs={‘id‘: ‘main_table‘}或attrs={‘class‘: ‘data‘}。
  • encoding：手动指定网页编码，解决乱码问题。
  • flavor：指定底层使用的解析器。‘lxml‘速度最快，‘html5lib‘容错性最好（能解析混乱的HTML），‘bs4‘使用BeautifulSoup。

实操心得：read_html并非万能。它对于结构良好、标准的HTML表格支持完美。但如果表格是用<div>和<span>等标签模拟出来的，或者数据是通过JavaScript动态加载的，read_html就无能为力了。此时，你需要回到方法一，用requests或Selenium获取数据后，再手动解析。一个快速判断的方法是：在浏览器中查看网页源代码（Ctrl+U），搜索<table关键字，看你的目标数据是否存在于静态的<table>标签内。

3.3 数据清洗与后续处理

read_html抓取的数据往往不能直接使用，通常需要一些清洗：

  1. 查看列名和数据概览：
    print(df.columns) # 查看列名 print(df.info()) # 查看数据类型和缺失值 print(df.head()) # 查看前几行
  2. 重命名列：自动抓取的列名可能很奇怪。
    df.columns = [‘排名‘, ‘国家/地区‘, ‘GDP（百万美元）‘, ‘年份‘]
  3. 处理缺失值：表格中的空单元格会被读为NaN。
    df = df.dropna() # 删除包含缺失值的行 # 或 df[‘某列‘] = df[‘某列‘].fillna(0) # 用0填充某列的缺失值
  4. 数据类型转换：数字可能被识别为字符串（尤其是包含逗号、货币符号时）。
    # 移除逗号和货币符号，转换为浮点数 df[‘GDP（百万美元）‘] = df[‘GDP（百万美元）‘].str.replace(‘[$,]‘, ‘‘, regex=True).astype(float)
  5. 保存数据：清洗完后，可以保存到本地文件。
    df.to_csv(‘gdp_data.csv‘, index=False, encoding=‘utf-8-sig‘) # 保存为CSV df.to_excel(‘gdp_data.xlsx‘, index=False) # 保存为Excel，需要安装openpyxl或xlsxwriter

4. 两种方法的对比与混合使用策略

现在，我们对两种方法有了深入的理解。下表从多个维度进行对比，帮助你决策：

特性维度requests+BeautifulSoup/Seleniumpandas.read_html()
核心能力通用HTTP请求与HTML/JSON解析，可处理任何网页结构。专精于提取HTML中的表格数据。
灵活性极高。可定制请求、处理动态内容、模拟登录、应对复杂反爬。较低。仅限于静态HTML中的标准表格。
上手难度中等。需要学习HTTP、HTML/CSS选择器，甚至JavaScript逆向。极低。一行代码即可获得结构化数据。
速度取决于网站和反爬。静态页面快，动态页面或需对抗时慢。极快。针对表格解析高度优化。
适用场景新闻文章、商品详情、评论列表、社交媒体动态、需要交互的页面。财务报表、统计年鉴、排行榜、公开数据集页面等表格化数据。
输出需要自己编写解析逻辑，输出格式自定义。直接输出Pandas DataFrame，便于后续分析。

混合使用策略（这才是高手做法）： 在实际项目中，很少只用一种方法。更常见的策略是混合使用，取长补短。

  1. 用requests获取页面，用read_html解析表格：这是非常高效的组合。read_html可以直接接受HTML字符串作为输入，而不仅仅是URL。

    import requests import pandas as pd from io import StringIO url = ‘某个包含表格的页面‘ headers = {‘User-Agent‘: ‘...‘} response = requests.get(url, headers=headers) response.encoding = ‘utf-8‘ # 确保编码正确 # 将获取的HTML文本直接传递给read_html tables = pd.read_html(StringIO(response.text)) # 或者直接传递字符串（某些版本可能需要StringIO包装） # tables = pd.read_html(response.text)

    这样做的好处是，你可以先用requests处理复杂的请求逻辑（如加请求头、处理Cookie、使用代理），再利用pandas强大的表格解析能力，省去了自己写BeautifulSoup解析表格的麻烦。

  2. 主框架用requests/BeautifulSoup，局部用read_html：一个页面可能主要部分是文本，但嵌入了一两个数据表格。你可以先用BeautifulSoup定位到包含表格的那个特定<div>或片段，然后将这个片段的HTML字符串单独提取出来，喂给pd.read_html()。

    soup = BeautifulSoup(html, ‘lxml‘) table_section = soup.find(‘div‘, class_=‘financial-table‘) # 找到表格所在区域 if table_section: # 将该区域HTML转换为字符串，然后解析 df_list = pd.read_html(str(table_section)) financial_df = df_list[0]

这种混合模式极大地提升了开发效率和代码的简洁性。

5. 常见问题排查与实战经验录

即使掌握了方法，在实际操作中还是会遇到各种问题。下面是我总结的一些典型问题及其解决思路。

5.1 请求被拒绝或无数据返回

  • 现象：status_code返回403、404或200但内容为空/错误。
  • 排查步骤：
    1. 检查请求头：特别是User-Agent，务必模拟成主流浏览器。可以尝试添加Referer,Accept,Accept-Language等。
    2. 检查Cookie/Session：某些页面需要先访问首页获取初始Cookie，或者需要登录。使用requests.Session()。
    3. 检查网络环境：某些网站对海外IP或数据中心IP有访问限制。尝试更换网络或使用质量较高的住宅代理IP。
    4. 分析JavaScript：如果返回的HTML骨架里没有数据，大概率是动态加载。按2.3节的方法，使用浏览器开发者工具分析XHR/Fetch请求。
    5. 查看Robots.txt：确认你没有违反网站的爬虫协议。

5.2 数据解析失败或错位

  • 现象：BeautifulSoup找不到元素，或read_html返回空列表/数据错乱。
  • 排查步骤：
    1. 确认解析器：确保BeautifulSoup(html, ‘lxml‘)中的lxml已正确安装。如果环境复杂，可以换用容错性更好的html5lib。
    2. 验证选择器：在浏览器的开发者工具中，使用$()或$$()测试你的CSS选择器是否能准确选中目标元素。BeautifulSoup的select方法语法与浏览器基本一致。
    3. 处理动态加载：如果元素是JS动态生成的，BeautifulSoup在静态HTML里自然找不到。需要改用Selenium或分析数据接口。
    4. 检查表格结构：对于read_html，如果表格结构非常不规则（例如多层表头、大量合并单元格），解析可能会出错。可以尝试指定flavor=‘html5lib‘获得更好的容错，或者手动指定header,skiprows等参数进行调整。

5.3pandas.read_html报错或性能问题

  • 常见错误：ImportError（缺少lxml或html5lib库），ValueError: No tables found。
  • 解决：
    • No tables found：首先确认页面源代码中是否存在<table>标签。如果没有，此方法不适用。如果有，尝试添加attrs参数精确定位，或使用flavor=‘html5lib‘。
    • 性能：read_html解析非常大的HTML文件或非常复杂的表格时可能较慢。如果页面很大但只需要其中一个表格，先用BeautifulSoup提取出特定表格的HTML片段，再交给read_html解析，可以显著提升速度。

5.4 编码与乱码问题

这是一个中文网络世界特有问题，且极其常见。

  • 请求阶段：服务器返回的编码声明可能与实际不符。优先使用response.content.decode(‘实际编码‘)的方式。用chardet库检测是一种方法：import chardet; chardet.detect(response.content)。
  • 存储阶段：将数据保存为CSV时，如果包含中文，推荐使用encoding=‘utf-8-sig‘，这个编码会在文件开头添加BOM，使得Excel等软件能正确识别UTF-8编码的中文。保存为Excel通常无此问题。

5.5 实战经验：编写健壮的生产级爬虫脚本

  1. 异常处理：网络请求和解析处处可能出错，必须用try...except包裹。
    import time from requests.exceptions import RequestException def safe_request(url, retries=3): for i in range(retries): try: resp = requests.get(url, headers=headers, timeout=10) resp.raise_for_status() # 如果状态码不是200，抛出HTTPError异常 return resp except RequestException as e: print(f“第{i+1}次请求失败: {e}“) if i < retries - 1: wait_time = 2 ** i # 指数退避 print(f“等待{wait_time}秒后重试...“) time.sleep(wait_time) else: print(“重试次数耗尽，放弃。“) return None
  2. 日志记录：不要只用print。使用logging模块记录信息、警告和错误，便于后期排查。
  3. 数据去重与增量更新：爬取时记录已爬取的URL或数据唯一标识，避免重复。设计脚本时考虑如何只爬取新增或更新的数据。
  4. 遵守速率限制：在循环中务必加入time.sleep()，并且睡眠时间最好有一定随机性，模拟人类行为。
  5. 分离配置与代码：将URL、请求头、代理列表等配置信息放在单独的配置文件（如config.py或settings.yaml）中，方便管理和修改。

爬虫技术本身不难，难的是在复杂的网络环境中稳定、高效、合规地获取数据。从requests的手动控制到pandas的自动提取，这两种方法构成了你数据获取工具箱的基石。理解它们的原理和边界，根据实际场景灵活选择和组合，你就能应对绝大多数数据抓取任务。记住，最好的爬虫是那个既能拿到数据，又让对方服务器几乎感觉不到存在的“隐形人”。

http://www.jsqmd.com/news/1330422/

相关文章：

  • 告别语言障碍：PowerToys中文版让你的Windows效率工具真正说中文
  • 生成式与智能体AI认知能力缺陷分类体系
  • AI艺术收入分成平台实操指南：艺术家如何评估与参与
  • 2026 年现阶段洞头专业的双排链轮品牌哪个好,用它替代单排链轮，一年能省多少维修成本？老机修工看完直呼内行-隆驰机械配件 - 行业推荐官【认证】
  • 中国海警南海执法现场分析：警告用语、法律依据与媒体记录视角
  • Win10全局字体替换：安全修改注册表实现苹方字体美化方案
  • 保研面试准备指南：从学生思维到研究者思维的跨越
  • MATLAB绘图进阶：从静态图表到动态交互的完整指南
  • Zotero文献管理全攻略：从安装配置到Word引用上标问题解决
  • 2026 年 7 月新发布：崇左靠谱的精密冷拔管生产厂家深度剖析,用它做零件的人，居然都没被坑过？-鑫轩钢材 - 企业推荐管【认证】
  • 【2027最新】基于SpringBoot+Vue的学生评奖评优管理系统管理系统源码+MyBatis+MySQL
  • 机械臂运动学原理入门：正逆解、D-H 参数、轨迹规划基础
  • 程序员外包合同模板：从需求定义到付款验收的完整防坑指南
  • 2026 年新发布：大理有实力的428407 H型钢批发厂家联系方式,别再乱买同类物品了，它居然能解决你半年都搞不定的麻烦 - 鉴选官
  • 虾皮店群自动化管理系统：单机管理200+店铺零关联的底层架构
  • 从滚球控制系统解析PID双环串级与激光传感在机电一体化中的实战应用
  • Docker存储卷核心原理与生产环境实践指南
  • Unity技能系统架构实战：行为树与状态机的融合设计与优化
  • 2026 年佛山正规的透明声屏障定制电话,家住马路边的人，居然能把噪音降到没感觉？这玩意儿到底是怎么做的？-永舟丝网 - 企业推荐官-
  • 如何快速掌握Illustrator脚本工具：设计师的终极效率提升指南
  • Windows笔记本睡眠发热耗电快？现代待机问题排查与S3睡眠恢复指南
  • Redis桌面管理终极指南：AnotherRedisDesktopManager完整使用教程
  • 微积分核心概念辨析：驻点、极值点与拐点的本质区别与判断方法
  • Flink反压机制深度解析：从原理到实战调优
  • 嵌入式控制硬件方案：RK/STM32/ESP32 主控驱动机械臂思路
  • 禅道开源版 11.5 → 22.4 完整升级方案
  • 2026 年现阶段，台州知名的污水厂曝气盘管水下维修平台哪家强,污水厂躺平的曝气盘坏了竟不用拆池？水下修完省了几十万！-蛟龙水下工程施工 - 企业官方推荐【认证】
  • C语言预处理器操作符#、##、#@详解：从基础语法到高级元编程实战
  • 静电场核心概念解析：从库仑定律到高斯定理与电势能
  • 2026 年 8 月新发布：西沙群岛靠谱的排水板生产定做厂家联系电话,别踩坑！关于这款建材的生产门道，竟藏着不少鲜为人知的省钱技巧-双利工程材料 - 行业推荐官-2