Python爬虫实战：Requests+BeautifulSoup+正则批量提取视频选集信息

1. 项目概述：从视频网站精准“收割”选集信息

最近在整理一些在线课程或者追剧的时候，有没有遇到过这样的烦恼？一个几十集甚至上百集的系列视频，你想把每一集的名字都整理出来，做成一个目录或者导入到自己的笔记软件里，结果发现网站根本不提供批量导出功能。手动一集一集地复制粘贴？那简直是“人狗大作战”级别的体力活，枯燥且容易出错。作为一个经常和数据打交道的Pythoner，我本能地想到：这事儿应该让代码来干。

这个项目的核心，就是利用Python来自动化地从一个视频播放页面（比如某个课程的系列页、某个剧集的详情页）中，提取出所有分集（选集）的标题。听起来很简单，不就是“爬虫”嘛。但实际操作起来，你会发现从不同的网站结构里稳定、准确地提取出我们想要的信息，里面有不少门道。它涉及到如何模拟浏览器访问（requests）、如何解析复杂的HTML文档（BeautifulSoup）、以及如何从一堆杂乱的文本中精准匹配出目标（正则表达式）。今天，我就把自己在多个项目中总结出来的这套方法，从思路到代码，从工具选型到避坑指南，完整地分享给你。无论你是想批量下载教程、整理观影清单，还是进行简单的数据分析，这套技能都能让你事半功倍。

2. 核心思路与工具选型解析

2.1 为什么是Requests + BeautifulSoup + 正则？

当我们决定用Python来获取网页数据时，面临第一个选择：用什么工具组合？市面上库很多，但“Requests用于获取，BeautifulSoup用于解析，正则用于精炼”这个铁三角，对于这类结构化信息提取任务，依然是平衡了学习成本、灵活性和稳定性的最佳选择。

• Requests库：它的职责单一而强大——发送HTTP请求，获取网页的原始HTML代码。相比于Python内置的urllib，requests的API设计极其人性化，几行代码就能处理cookies、headers、session等复杂情况。在爬虫中，我们最常遇到的就是403 Forbidden（禁止访问）或429 Too Many Requests（请求过多）这类反爬虫状态码。requests可以让我们方便地添加请求头（如User-Agent模拟浏览器）、设置访问间隔，来应对这些挑战。
• BeautifulSoup库：拿到一堆HTML字符串后，我们需要把它转换成一颗结构化的“树”，然后像在文件管理器中找文件一样，通过标签名、class、id等属性来定位元素。BeautifulSoup就是干这个的解析器。它支持多种解析后端（如lxml,html.parser），能容忍一些不太规范的HTML，并且提供了非常直观的find()、find_all()、select()等方法。对于网页上结构清晰的选集列表（通常是用<ul><li>或者<div>包裹的），用BeautifulSoup可以非常优雅地提取。
• 正则表达式：有时候，我们需要的信息并非规整地放在某个标签的属性里，而是混杂在脚本（<script>）变量、复杂的onclick事件或者一段特定的文本模式中。这时，BeautifulSoup可能就力有不逮了。正则表达式（re库）是处理文本模式的利器。例如，选集标题可能被放在一个JavaScript数组里，像var episodes = [“第一集 xxx”, “第二集 yyy”];，用正则就能快速把这个数组内容提取出来。它的核心理念是“匹配模式”，功能强大但学习曲线较陡，需要谨慎使用，否则容易写出难以维护的“天书”。

注意：这个组合并非万能。对于大量动态渲染（即数据由JavaScript异步加载）的现代网站（如单页应用），直接拿到的HTML里可能没有我们想要的数据。这时可能需要用到Selenium或Playwright这类能控制真实浏览器的工具，或者去分析网站的XHR/Fetch请求，直接请求数据接口（API）。这属于更进阶的爬虫技巧，本文主要聚焦于静态或服务端渲染页面的处理。

2.2 项目流程总览

在动手写代码之前，我们先在脑子里把整个流程过一遍，这能帮你避开很多后期的坑。

1. 目标分析：手动打开目标视频系列页面。按下F12打开开发者工具，切换到“元素”（Elements）面板。找到显示选集列表的那个区域，观察它的HTML结构。它是用一个<div class="episode-list">包裹的吗？每个集名是在<a>标签里，还是在<span>里？它们的class或id有什么共同特征？这一步是后续所有操作的基础，务必做细。
2. 环境准备：确保你的Python环境（无论是用python安装教程新搭的，还是在vscode python环境配置好的）里已经安装了必要的库。通常只需要pip install requests beautifulsoup4。如果网站结构复杂，可能还需要lxml解析器（pip install lxml），它比内置的html.parser更快、容错性更好。
3. 数据获取：使用requests.get()发起请求。关键一步是设置请求头，特别是User-Agent，把自己伪装成一个普通的浏览器，这是绕过最简单反爬的基础。如果页面需要登录才能看，可能还需要处理cookies或session。
4. 内容解析：将requests返回的HTML文本，喂给BeautifulSoup进行解析。然后，利用上一步分析出的HTML结构特征，使用soup.find_all()或soup.select()定位到所有包含集名的元素。
5. 信息提取与清洗：从定位到的元素中，提取出纯文本的集名。这里常常会夹杂着多余的空白符、换行符或者一些你不想要的符号（如“播放”、“HD”图标对应的文字）。需要使用字符串方法（.strip(),.replace()）或简单的正则进行清洗。
6. 数据存储与输出：将清洗好的集名列表，按你喜欢的格式保存下来。可以简单打印到控制台，写入到episodes.txt文本文件，或者保存为episodes.csv方便用Excel打开。
7. 异常处理与优化：网络请求可能会失败（超时、404），网站结构可能会变化。你的代码需要能优雅地处理这些异常，比如记录错误日志、重试机制。对于大量页面，还需要考虑设置请求延迟，避免触发429 Too Many Requests限制。

3. 实战演练：分步拆解与代码实现

光说不练假把式。我们假设一个常见的场景：从一个在线教育网站（结构相对规整）的课程页面，抓取所有章节/视频的名称。下面，我将结合代码，一步步带你走完整个流程。

3.1 步骤一：环境搭建与目标页面分析

首先，安装库。打开你的终端或命令提示符，执行：

pip install requests beautifulsoup4 lxml

lxml是一个高性能的解析器，推荐安装。

假设我们的目标URL是：https://www.example-course.com/course/101（这是一个示例，请替换为真实地址）。用浏览器打开它，找到选集列表。假设通过检查元素，我们发现结构如下：

<div class="chapter-list"> <div class="chapter-item">import requests from bs4 import BeautifulSoup import re import time # 目标URL - 请替换成真实的地址 url = 'https://www.example-course.com/course/101' # 1. 设置请求头，模拟浏览器访问 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } try: # 2. 发送GET请求 response = requests.get(url, headers=headers, timeout=10) # 设置10秒超时 # 检查请求是否成功 response.raise_for_status() # 如果状态码不是200，会抛出HTTPError异常 # 设置正确的编码，避免中文乱码 response.encoding = response.apparent_encoding or 'utf-8' except requests.exceptions.RequestException as e: print(f"网络请求失败: {e}") exit(1) # 3. 使用BeautifulSoup解析HTML，指定'lxml'解析器 soup = BeautifulSoup(response.text, 'lxml') # 4. 根据之前分析的HTML结构，定位选集元素 # 方法A：使用find_all查找所有符合条件的<a>标签 # 假设所有视频链接都在 class="video-list" 下的 <a> 标签里 episode_links = soup.select('.video-list a') # CSS选择器，更简洁 # 或者用 find_all: episode_links = soup.find_all('a', class_=re.compile('video-link')) # 如果class名不固定 # 初始化一个列表来存储提取的集名 episode_titles = [] for link in episode_links: # 获取标签内的纯文本 title = link.get_text(strip=True) # strip=True 可以去除首尾空白字符 # 简单的清洗：这里可以加入更多自定义清洗逻辑 # 例如，如果标题末尾有“（高清）”字样，可以去掉 # title = re.sub(r'\s*（高清）\s*$', '', title) if title: # 确保不是空字符串 episode_titles.append(title) # 也可以顺便把链接提取出来 # episode_url = link.get('href') # print(f"标题: {title}, 链接: {episode_url}") # 5. 打印结果 print(f"共找到 {len(episode_titles)} 个选集：") for idx, title in enumerate(episode_titles, start=1): print(f"{idx:03d}. {title}") # 6. 可选：保存到文件 with open('episode_titles.txt', 'w', encoding='utf-8') as f: for title in episode_titles: f.write(title + '\n') print("选集名称已保存到 episode_titles.txt")

这段代码已经是一个可用的基础版本。它完成了从发送请求到解析、提取、保存的全过程。

3.3 步骤三：应对复杂场景与正则表达式介入

上面的代码适用于结构清晰的页面。但如果页面结构混乱，或者信息藏在<script>标签里呢？比如，你发现选集数据是以JavaScript变量的形式存在的：

<script type="text/javascript"> var courseData = { episodes: [ {"id": 1, "title": "第一讲：课程介绍", "url": "/play/001"}, {"id": 2, "title": "第二讲：环境搭建", "url": "/play/002"}, // ... 更多数据 ] }; </script>

这时，BeautifulSoup很难直接解析JavaScript变量。正则表达式就该上场了。

# 接续上面的代码，在解析完soup之后... # 查找所有的script标签 script_tags = soup.find_all('script') for script in script_tags: # 如果script标签里有内容，并且包含我们感兴趣的关键字，比如'episodes' if script.string and 'episodes' in script.string: script_content = script.string # 使用正则表达式匹配 episodes: [...] 这部分JSON数组 # 这个正则模式尝试匹配 episodes: 后面跟着的，由 [ 开始，到匹配的 ] 结束的整个数组字符串。 # re.DOTALL 让 . 可以匹配换行符。 pattern = r'episodes\s*:\s*(\[.*?\])' match = re.search(pattern, script_content, re.DOTALL) if match: json_str = match.group(1) print("找到疑似选集数据JSON字符串:", json_str[:100]) # 打印前100字符看看 # 注意：这里找到的 json_str 可能不是完全标准的JSON，可能末尾有分号，或者键名没有引号。 # 我们需要进行一些预处理才能用 json.loads 解析。 # 例如，确保键名被双引号包围（一个简单但可能不完美的修复） # json_str_fixed = re.sub(r'(\w+):', r'"\1":', json_str) # 更稳健的做法是使用专门的工具如 `json5` 库，或者继续用正则提取每个标题。 # 方法：直接用正则从数组字符串里提取所有title的值 title_pattern = r'"title"\s*:\s*"([^"]+)"' titles_from_js = re.findall(title_pattern, json_str) if titles_from_js: print("\n从JavaScript中提取到选集标题：") episode_titles.extend(titles_from_js) # 合并到总列表 # 注意去重 episode_titles = list(dict.fromkeys(episode_titles)) break # 找到一个就跳出循环

正则表达式r'"title"\s*:\s*"([^"]+)"'解读：

• \"title\"：匹配键名"title"。
• \s*：匹配0个或多个空白字符（空格、换行等）。
• :：匹配冒号。
• \s*：再次匹配可能的空白。
• \"：匹配开头的双引号。
• ([^\"]+)：捕获组，匹配一个或多个不是双引号的字符，这就是我们想要的标题内容。
• \"：匹配结尾的双引号。re.findall()会返回所有匹配的捕获组内容，即所有标题字符串的列表。

实操心得：正则表达式虽然强大，但极易写错且难以调试。我的建议是：优先使用BeautifulSoup等结构化解析方法，只有当结构化方法完全无效时，才考虑正则。写正则时，可以先用在线测试工具（如 regex101.com）验证你的模式是否能准确匹配目标文本。对于从JavaScript中提取数据，如果网站提供了公开的API接口，直接请求接口获取干净的JSON数据是更优解。

4. 高级技巧与反爬虫策略应对

真实的网站不会让你这么轻松地抓取数据。下面分享几个我爬虫实践中总结的高级技巧和应对策略。

4.1 处理动态加载与请求参数

很多网站的选集列表是滚动加载或点击“加载更多”按钮动态获取的。这种情况下，初始HTML里只有前几集。你需要：

1. 分析网络请求：在开发者工具的“网络”（Network）面板中，筛选XHR或Fetch请求，当你滚动页面或点击按钮时，观察浏览器向哪个地址发送了请求，请求参数是什么（通常在Payload或Query String Parameters标签页里）。
2. 模拟请求：用requests库去模拟这个请求。它通常是一个GET或POST请求，携带一些参数，如page=2,size=20,course_id=101，甚至可能有一个加密的token或signature。
3. 拼接数据：循环请求所有页面，直到没有新数据为止，然后将结果合并。

import requests import json base_api_url = 'https://www.example-course.com/api/episodes' headers = {'User-Agent': '你的User-Agent'} all_episodes = [] page = 1 while True: params = {'course_id': 101, 'page': page, 'page_size': 50} # 有时是POST请求，数据在data里 # response = requests.post(base_api_url, headers=headers, json=params) response = requests.get(base_api_url, headers=headers, params=params) if response.status_code != 200: print(f"请求第{page}页失败，状态码：{response.status_code}") break data = response.json() # 假设返回的是JSON episodes = data.get('data', []) # 根据实际JSON结构调整 if not episodes: print(f"第{page}页无数据，爬取结束。") break for ep in episodes: all_episodes.append(ep.get('title')) print(f"已获取第{page}页，共{len(episodes)}条。") page += 1 time.sleep(1) # 礼貌性延迟，避免请求过快 print(f"总共获取到 {len(all_episodes)} 个选集。")

4.2 伪装与延迟：应对基础反爬

网站通过检查请求头、访问频率等来识别爬虫。

• 完善请求头：除了User-Agent，有时还需要带上Referer（来源页）、Accept-Language等。可以复制浏览器正常访问时的完整请求头。
• 使用Session：requests.Session()可以保持cookies和headersacross requests，模拟一个会话，对于需要登录或有多步交互的网站很有用。
• 设置随机延迟：在循环请求间使用time.sleep(random.uniform(1, 3))，让请求间隔时间随机化，模拟人类操作。
• 处理Cookies：如果网站通过Cookie识别会话，你需要从浏览器中复制Cookie字符串，或者在代码中先访问一次首页获取Cookie。
• 代理IP：如果单个IP被封锁（返回429状态码），就需要使用代理IP池。但这涉及付费服务或自建代理，复杂度较高，对于一般个人项目，优先通过降低频率和完善请求头来避免被封。

4.3 数据清洗与存储优化

提取到的原始文本往往不干净。

• 去除空白与特殊字符：使用.strip()、re.sub(r'\s+', ' ', text)（将多个空白合并为一个空格）。
• 统一格式：比如将所有全角字符转为半角，或者统一去除标题中的“【】”、“()”等。
• 结构化存储：除了存文本文件，存成CSV或JSON更有用。

import csv import json # 存为CSV with open('episodes.csv', 'w', newline='', encoding='utf-8-sig') as f: # utf-8-sig 让Excel正确识别编码 writer = csv.writer(f) writer.writerow(['序号', '选集标题']) # 写入表头 for idx, title in enumerate(episode_titles, start=1): writer.writerow([idx, title]) # 存为JSON episodes_data = [{'id': idx, 'title': title} for idx, title in enumerate(episode_titles, start=1)] with open('episodes.json', 'w', encoding='utf-8') as f: json.dump(episodes_data, f, ensure_ascii=False, indent=2) # ensure_ascii=False 保证中文正常显示

5. 常见问题排查与调试心得

爬虫代码跑不起来或者结果不对是常态。这里有一份我总结的“排错清单”：

调试心得：

• 打印中间结果：这是最有效的调试方法。在关键步骤后，打印response.status_code、response.text[:500]（看前500字符）、soup.prettify()（格式化后的HTML片段）或你定位到的元素列表长度。
• 使用浏览器开发者工具：不仅仅是“元素”面板，“网络”面板是你分析动态请求的利器，“控制台”（Console）可以执行JavaScript来测试你的选择器是否有效（如document.querySelectorAll('.video-list a')）。
• 从小处着手：先写代码提取一个元素，成功了再扩展到循环提取所有元素。先处理静态页面，再挑战动态加载。
• 尊重robots.txt：在爬取前，访问目标网站/robots.txt，了解网站是否允许爬虫以及爬取频率限制。遵守规则是良好的网络公民行为。

最后，我想说，爬虫技术是一把双刃剑。在实践过程中，请务必遵守相关法律法规和网站的服务条款，只爬取公开且允许爬取的数据，并将爬取频率控制在合理范围，避免对目标网站服务器造成负担。把技术用在正道上，比如高效地整理自己的学习资料，才是它最大的价值。希望这篇长文能帮你打开自动化信息收集的大门，如果你在实操中遇到具体问题，欢迎带着你的代码和错误信息继续探讨。