随着现代网页开发技术的进步，越来越多的网站采用了动态加载技术（如 Ajax、JavaScript 渲染等）来展示内容。这意味着，传统的使用静态 HTML 解析库（如 BeautifulSoup）来抓取网页数据的方法可能无法直接适用于这些网页，因为它们的内容通常是通过 JavaScript 动态加载的。
为了解决这一问题，Selenium 和 BeautifulSoup 的组合成为了一个非常强大的工具。Selenium 可以模拟浏览器操作并动态加载页面内容，而 BeautifulSoup 则帮助我们解析页面的 HTML 数据，从中提取所需的信息。
在本教程中，我们将通过 Python、Selenium 和 BeautifulSoup 组合，爬取一个动态加载数据的网页，并提取页面中的数据。
1. 前期准备
在开始之前，请确保你已经安装了以下库和工具：
- Python 3.x：确保你的机器上安装了 Python 3。
- Selenium：Selenium 是一个浏览器自动化工具，能够模拟用户行为来操作浏览器。
- BeautifulSoup：BeautifulSoup 是 Python 的一个库，用于解析 HTML 文档。
- WebDriver：Selenium 需要与 WebDriver 一起使用，ChromeDriver 或 GeckoDriver 是常见的选择，用于与 Chrome 或 Firefox 浏览器进行交互。
安装所需库：
pip install selenium beautifulsoup4下载 WebDriver：
- ChromeDriver 下载链接
- GeckoDriver 下载链接
确保下载与您浏览器版本兼容的 WebDriver。
2. 初始化 Selenium 环境
首先，我们需要使用 Selenium 启动一个浏览器实例（通常是 Chrome），并访问我们需要爬取的动态网页。
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
import time
# 设置 WebDriver 路径
driver_path = 'path/to/your/chromedriver' # 根据实际路径修改
driver = webdriver