Selenium实战：动态渲染与反爬严密的股吧评论数据抓取方案

1. 项目缘起：为什么选择爬取股吧评论？

做量化分析的朋友都知道，情绪因子是A股市场一个非常有意思的观测维度。散户的情绪波动，往往能提前反映在股吧、论坛的讨论热度与情感倾向上。东方财富的股吧，作为国内流量最大、用户最活跃的股票讨论社区，其评论区蕴藏着海量的、未经加工的散户情绪数据。这些数据对于构建市场情绪指数、进行事件驱动型策略研究，甚至是对冲高频交易中的噪音，都有着不可估量的价值。

然而，股吧的页面结构复杂，评论数据加载方式多样（有直接渲染的，也有滚动加载和点击“查看更多”异步加载的），并且东方财富作为大型财经平台，其反爬机制也相当完善。单纯用requests库去模拟HTTP请求，你会发现自己很快就被403拒之门外，或者拿到的HTML里根本没有评论内容。这就是为什么这个项目最终选择了Selenium作为核心工具。它不是一个“轻量级”的爬虫方案，但它能最真实地模拟人类浏览器的行为，完美应对动态渲染和复杂交互，是攻克此类反爬严密的“堡垒型”网站最可靠的“重武器”。

我这次的目标很明确：不是简单地抓取一页评论，而是要构建一个稳定、可配置、能应对反爬、并且能将数据规整存储的爬虫系统。整个过程涉及环境搭建、页面分析、元素定位策略、反爬应对、数据清洗和持久化等多个环节。下面，我就把这次实战中的核心思路、踩过的坑以及总结的经验，毫无保留地分享出来。

2. 战前准备：Selenium环境搭建与核心配置

工欲善其事，必先利其器。用Selenium，第一步就是把环境配通。这里面的坑，从浏览器驱动版本匹配到网络环境配置，一个比一个“经典”。

2.1 浏览器与驱动：版本锁死的艺术

很多人环境跑不起来，十有八九是栽在了Chrome浏览器和chromedriver的版本不匹配上。它们俩必须是大版本号一致。我的经验是：先确定你本地Chrome的版本，再去下载对应版本的chromedriver。

1. 查看Chrome版本：打开Chrome，在地址栏输入chrome://settings/help，回车后就能看到版本号，比如版本 128.0.6613.138（正式版本）。
2. 下载对应驱动：访问https://chromedriver.chromium.org/或国内镜像站。找到与你Chrome大版本号（如128）一致的chromedriver版本下载。如果你的Chrome是最新版，而官网还未提供对应驱动，可以尝试下载版本号最接近的（通常是低一两个小版本），有时也能工作，但最稳妥的是暂时将Chrome回退一个稳定版本。
3. 放置与配置：下载的chromedriver.exe可以放在任意目录，但需要将该目录添加到系统的PATH环境变量中。更简单的做法是，在Python代码里指定它的绝对路径。

一个更“无痛”的解决方案是使用webdriver-manager库。它能自动检测你的浏览器版本并下载匹配的驱动，堪称环境搭建的“救星”。

pip install webdriver-manager

然后在代码中这样使用：

from selenium import webdriver from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager service = Service(ChromeDriverManager().install()) driver = webdriver.Chrome(service=service)

2.2 绕过常见陷阱：urllib3版本冲突与网络环境

在安装依赖时，你可能会遇到这样一个报错：selenium 4.5.0 requires urllib3[socks]~=1.26, but you have urllib3 2.6.3。这是因为Selenium旧版本对urllib3有特定要求。现在的解决方案很简单：安装最新版的Selenium。新版本已经解决了这个依赖冲突。

pip install selenium --upgrade # 通常升级到4.x的最新版即可

另一个至关重要的准备是网络环境。东方财富等国内网站对海外的IP访问有时会施加更严格的限制或出现加载不全的问题。为了保证爬虫的稳定性和速度，务必在国内网络环境下运行你的脚本。使用公司、家庭或国内云服务器的网络，能避免很多意想不到的加载失败和验证码问题。

2.3 驱动初始化：给浏览器加上“隐身斗篷”

直接启动的浏览器实例，很容易被网站识别为自动化脚本。我们需要进行一些配置来让它看起来更像个“真人”。

from selenium import webdriver from selenium.webdriver.chrome.options import Options def create_stealth_driver(): chrome_options = Options() # 核心隐身配置 chrome_options.add_argument('--disable-blink-features=AutomationControlled') chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"]) chrome_options.add_experimental_option('useAutomationExtension', False) # 实用配置 chrome_options.add_argument('--no-sandbox') # 解决Linux下的一些权限问题 chrome_options.add_argument('--disable-dev-shm-usage') # 解决共享内存问题 chrome_options.add_argument('--disable-gpu') # 某些虚拟环境需要 # chrome_options.add_argument('--headless') # 无头模式，不显示浏览器窗口。调试阶段建议先注释掉，方便观察。 # 反反爬：修改navigator.webdriver属性 driver = webdriver.Chrome(options=chrome_options) driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', { 'source': ''' Object.defineProperty(navigator, 'webdriver', { get: () => undefined }); ''' }) return driver

注意：调试阶段，强烈建议不要开启--headless无头模式。亲眼看着浏览器操作，能帮你快速定位是脚本逻辑问题，还是页面元素没加载出来。等脚本完全稳定后，再开启无头模式用于生产环境。

3. 页面攻坚战：分析股吧评论的加载逻辑与元素定位

环境配好，浏览器能跑起来了，接下来就是真正的战斗：找到评论数据在哪里，以及如何把它“掏出来”。东方财富股吧的评论页面，是一个经典的动态渲染+分段加载案例。

3.1 页面结构剖析：不止一个“评论区”

首先，你需要明确目标URL的格式。通常，一个股票帖子的页面链接类似于：https://guba.eastmoney.com/news,{股票代码},{帖子id}.html

打开这样一个页面，你会发现评论呈现是分区的：

1. 主楼评论：帖子正文下方的第一波评论，通常是直接渲染在HTML中的。
2. “查看更多回复”：针对某一条评论的次级回复，需要点击“查看更多回复”或“展开*条回复”才会加载。
3. 分页：帖子热度高时，评论会分页显示，需要点击页码或“下一页”。

我们的策略需要分层处理：先抓取所有直接展示的评论，然后递归地处理“查看更多回复”，最后处理分页。

3.2 元素定位策略：XPath与CSS Selector的抉择

Selenium提供了多种定位元素的方法（id,name,class_name,tag_name,link_text,partial_link_text,xpath,css_selector）。对于股吧这种class名可能随机化、结构复杂的页面，XPath和CSS Selector是最强大的武器。

• CSS Selector：通常更简洁，阅读起来更直观，性能稍好。适合基于id、class、层级关系的定位。
  • 例如：div.reply_item查找所有class包含reply_item的div元素。
• XPath：功能更强大，可以基于文本内容、元素顺序、复杂逻辑关系进行定位。在需要定位“包含特定文字”的按钮（如“查看更多回复”）时，几乎是唯一选择。
  • 例如：//span[contains(text(), ‘查看更多回复’)]查找文本中包含“查看更多回复”的span元素。

我的经验是：优先使用CSS Selector进行常规元素抓取，因为它更稳定；当需要基于可变文本或复杂路径定位时，果断使用XPath。在浏览器开发者工具中，你可以直接右键元素，选择“Copy” -> “Copy XPath”或“Copy selector”，但这只是一个起点，通常需要根据页面结构进行优化和调整，使其更健壮（less brittle）。

3.3 等待的艺术：显式等待是稳定性的基石

这是Selenium爬虫成败的关键。绝对不能使用time.sleep(固定秒数)这种“硬等待”。网络延迟、页面加载速度不确定，固定等待要么浪费时间，要么导致元素未加载就执行操作而报错。

必须使用显式等待（Explicit Wait）。它告诉Selenium：在最多N秒内，持续检查某个条件是否成立（如元素是否出现、是否可点击），一旦成立就立即执行后续操作。

from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.by import By # 等待“查看更多回复”按钮出现并可点击 try: more_button = WebDriverWait(driver, 10).until( EC.element_to_be_clickable((By.XPATH, "//span[contains(text(), '查看更多回复')]")) ) more_button.click() except Exception as e: print("未找到‘查看更多回复’按钮或等待超时：", e) # 这里可以记录日志，然后继续处理下一条评论，而不是让整个脚本崩溃

对于整个评论列表的加载，可以使用等待某个代表列表加载完成的元素出现：

# 等待评论列表容器加载出来 comment_list_present = EC.presence_of_element_located((By.CSS_SELECTOR, "div.comment_list_container")) WebDriverWait(driver, 15).until(comment_list_present)

4. 核心爬取逻辑实现：递归展开与数据提取

有了前面的铺垫，我们可以构建核心的爬取函数了。这个函数需要具备递归展开子回复和翻页的能力。

4.1 定义数据模型与主抓取函数

首先，定义我们要抓取的数据字段。一条评论通常包括：

• comment_id: 评论唯一标识（可从元素id或>import time from dataclasses import dataclass from typing import Optional @dataclass class Comment: comment_id: str user_name: str content: str publish_time: str like_count: int reply_count: int parent_id: Optional[str] = None post_id: Optional[str] = None def fetch_post_comments(driver, post_url): """抓取单个帖子的所有评论""" driver.get(post_url) time.sleep(2) # 初始页面加载，可配合显式等待优化 all_comments = [] current_page = 1 while True: print(f"正在抓取第{current_page}页评论...") # 1. 抓取当前页所有顶层评论 page_comments = extract_comments_from_current_page(driver) all_comments.extend(page_comments) # 2. 对当前页每条评论，尝试展开并抓取其子回复 for comment in page_comments: if comment.reply_count > 0: # 如果有回复 sub_comments = expand_and_fetch_replies(driver, comment.comment_id) all_comments.extend(sub_comments) # 3. 尝试翻到下一页 try: next_button = WebDriverWait(driver, 5).until( EC.element_to_be_clickable((By.CSS_SELECTOR, "a.pagination_next:not(.disabled)")) ) next_button.click() # 等待新页面评论加载 WebDriverWait(driver, 10).until( EC.staleness_of(page_comments[0].web_element) # 等待旧元素失效 ) time.sleep(1) # 短暂稳定等待 current_page += 1 except Exception: print("已是最后一页或翻页失败，停止翻页。") break return all_comments

  4.2 递归展开子回复函数

  这是技术难点。需要定位到具体评论的“展开”按钮，点击后等待子回复加载，再提取数据，并且子回复可能还有更深层的回复。

  def expand_and_fetch_replies(driver, parent_comment_id): """展开并抓取指定父评论下的所有子回复""" sub_comments = [] # 构建定位父评论和其展开按钮的XPath # 假设父评论有一个data-comment-id属性 parent_comment_xpath = f"//div[@data-comment-id='{parent_comment_id}']" try: # 查找该父评论下的“查看更多回复”按钮 more_reply_btn = driver.find_element(By.XPATH, f"{parent_comment_xpath}//span[contains(text(), '查看更多回复')]") driver.execute_script("arguments[0].click();", more_reply_btn) # 使用JS点击，有时更可靠 time.sleep(1.5) # 等待回复加载，可优化为显式等待 # 定位加载出来的子回复列表容器 reply_list_xpath = f"{parent_comment_xpath}/following-sibling::div[contains(@class, 'reply_list')]" WebDriverWait(driver, 8).until( EC.presence_of_element_located((By.XPATH, reply_list_xpath)) ) # 提取子回复 reply_elements = driver.find_elements(By.XPATH, f"{reply_list_xpath}//div[contains(@class, 'reply_item')]") for elem in reply_elements: comment_data = parse_comment_element(elem, parent_comment_id) if comment_data: sub_comments.append(comment_data) # 递归：如果子回复本身也有回复，继续展开 if comment_data.reply_count > 0: grand_sub = expand_and_fetch_replies(driver, comment_data.comment_id) sub_comments.extend(grand_sub) except Exception as e: print(f"展开父评论 {parent_comment_id} 的回复时出错: {e}") # 记录错误，但不要终止整个流程 return sub_comments

  4.3 数据解析与清洗函数

  parse_comment_element函数负责从单个评论HTML元素中提取结构化数据。这里需要仔细研究股吧页面的实际HTML结构。

  def parse_comment_element(comment_element, parent_id=None): """从单个评论元素中解析数据""" try: # 这些选择器需要根据股吧实际HTML结构调整！！！ # 这里只是示例，你必须用开发者工具自己分析 user_elem = comment_element.find_element(By.CSS_SELECTOR, ".user_name a") user_name = user_elem.text.strip() content_elem = comment_element.find_element(By.CSS_SELECTOR, ".comment_content") content = content_elem.text.strip() time_elem = comment_element.find_element(By.CSS_SELECTOR, ".publish_time") publish_time = time_elem.get_attribute("title") or time_elem.text.strip() # 有时时间在title里 like_elem = comment_element.find_element(By.CSS_SELECTOR, ".like_count") like_count = int(like_elem.text) if like_elem.text.isdigit() else 0 # 回复数可能藏在“共X条回复”的文本里 reply_text_elem = comment_element.find_element(By.CSS_SELECTOR, ".reply_text") reply_text = reply_text_elem.text import re reply_count_match = re.search(r'共(\d+)条回复', reply_text) reply_count = int(reply_count_match.group(1)) if reply_count_match else 0 # 获取评论ID - 通常从元素id或data-*属性中获取 comment_id = comment_element.get_attribute("data-comment-id") or comment_element.get_attribute("id") if not comment_id: # 如果都没有，可以自己生成一个唯一标识，比如结合用户和时间戳 comment_id = f"{user_name}_{publish_time}" return Comment( comment_id=comment_id, user_name=user_name, content=content, publish_time=publish_time, like_count=like_count, reply_count=reply_count, parent_id=parent_id ) except Exception as e: print(f"解析评论元素时出错: {e}") # 可以在这里记录日志，或者返回None return None

  5. 反爬对抗与稳定性优化

  东方财富不会坐视数据被轻易抓取。除了动态加载，还可能遇到IP限制、验证码、行为检测等。

  5.1 请求节奏控制与随机化

  即使使用Selenium模拟真人，过于密集的操作也会触发风控。

  • 随机等待时间：在关键操作（点击、翻页）之间插入随机延时。

    import random def random_delay(min_s=1, max_s=3): time.sleep(random.uniform(min_s, max_s)) # 在点击后使用 more_button.click() random_delay(1, 2.5)

  • 滚动页面：在抓取前随机滚动页面，模拟阅读行为。

    def random_scroll(driver): scroll_height = driver.execute_script("return document.body.scrollHeight") scroll_to = random.randint(200, scroll_height // 2) driver.execute_script(f"window.scrollTo(0, {scroll_to});") time.sleep(random.uniform(0.5, 1.5))

  5.2 应对验证码与登录态

  • 验证码：如果遇到验证码弹窗，最简单的策略是暂停脚本，手动处理。可以设置一个超时等待，检测验证码元素是否出现，如果出现则time.sleep(60)，给你手动输入的时间。对于复杂项目，可以考虑集成打码平台API。
  • 登录态：股吧大部分内容无需登录，但某些高频操作或查看更多历史评论可能需要。你可以先用Selenium手动登录一次，然后使用driver.get_cookies()获取cookies并保存。后续脚本运行时，通过driver.add_cookie()加载cookies恢复登录态。注意cookies有有效期。

  5.3 异常处理与断点续爬

  爬虫必须健壮。网络波动、元素定位失败、页面结构微调都可能导致脚本中断。

  • 全面的Try-Except：对每一个可能失败的操作（查找元素、点击、获取文本）进行异常捕获，记录错误日志，并尽可能让程序继续运行或优雅降级。
  • 数据持久化：不要等所有数据抓完再存。应该每抓取一页或一批评论，就立即追加存储到文件（如JSON行格式jsonlines）或数据库。这样即使脚本中途崩溃，已抓取的数据也不会丢失。
  • 状态记录：记录已成功抓取的帖子ID、页码。重启脚本时，可以先读取这个状态文件，跳过已抓取的部分，实现断点续爬。

  import json import os STATE_FILE = 'crawl_state.json' def load_state(): if os.path.exists(STATE_FILE): with open(STATE_FILE, 'r', encoding='utf-8') as f: return json.load(f) return {'last_post_id': None, 'completed_pages': {}} def save_state(state): with open(STATE_FILE, 'w', encoding='utf-8') as f: json.dump(state, f, ensure_ascii=False, indent=2) # 在主循环中使用 state = load_state() if post_id != state.get('last_post_id'): # 开始抓取新帖子 pass

  6. 数据存储、分析与后续思路

  抓取不是终点，让数据产生价值才是。

  6.1 存储方案选择

  • JSON / CSV：适合中小规模数据、快速原型验证。使用jsonlines格式（每行一个JSON对象）便于追加。
  • SQLite：轻量级数据库，无需安装服务器，适合单机爬虫项目。便于进行复杂的查询和去重。
  • MongoDB：文档型数据库，非常适合存储非结构化的评论数据，字段增减灵活。
  • MySQL/PostgreSQL：关系型数据库，如果数据需要与其他结构化数据（如股票行情）关联分析，这是更好的选择。

  这里给出一个SQLite存储的示例：

  import sqlite3 import pandas as pd def init_db(db_path='guba_comments.db'): conn = sqlite3.connect(db_path) c = conn.cursor() c.execute(''' CREATE TABLE IF NOT EXISTS comments ( id INTEGER PRIMARY KEY AUTOINCREMENT, comment_id TEXT UNIQUE, post_id TEXT, parent_id TEXT, user_name TEXT, content TEXT, publish_time TEXT, like_count INTEGER, reply_count INTEGER, crawl_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP ) ''') conn.commit() conn.close() def save_to_db(comment_list, db_path='guba_comments.db'): conn = sqlite3.connect(db_path) for comment in comment_list: try: conn.execute(''' INSERT OR IGNORE INTO comments (comment_id, post_id, parent_id, user_name, content, publish_time, like_count, reply_count) VALUES (?, ?, ?, ?, ?, ?, ?, ?) ''', (comment.comment_id, comment.post_id, comment.parent_id, comment.user_name, comment.content, comment.publish_time, comment.like_count, comment.reply_count)) except sqlite3.IntegrityError: # 重复数据，忽略或更新 pass conn.commit() conn.close()

  6.2 简单的数据分析示例

  数据存好后，可以用pandas进行快速分析。

  import pandas as pd import matplotlib.pyplot as plt # 从数据库读取 conn = sqlite3.connect('guba_comments.db') df = pd.read_sql_query("SELECT * FROM comments WHERE post_id='目标帖子ID'", conn) conn.close() # 1. 评论时间分布 df['publish_time'] = pd.to_datetime(df['publish_time']) df['hour'] = df['publish_time'].dt.hour hourly_counts = df['hour'].value_counts().sort_index() hourly_counts.plot(kind='bar', title='评论时间分布（按小时）') plt.show() # 2. 活跃用户TOP10 active_users = df['user_name'].value_counts().head(10) print("最活跃用户：") print(active_users) # 3. 评论情感倾向（简单关键词法） positive_words = ['看好', '上涨', '牛', '支持', '利好'] negative_words = ['看空', '下跌', '跑', '利空', '垃圾'] def simple_sentiment(text): text = str(text) pos_score = sum(1 for word in positive_words if word in text) neg_score = sum(1 for word in negative_words if word in text) return pos_score - neg_score df['sentiment'] = df['content'].apply(simple_sentiment) sentiment_dist = df['sentiment'].value_counts() print("情感分布：") print(sentiment_dist)

  6.3 项目扩展与优化方向

  1. 分布式爬虫：使用Scrapy-Redis或Celery框架，将任务分发到多台机器或多个浏览器实例，大幅提升抓取效率。
  2. 代理IP池集成：当单IP访问频率过高被限制时，需要集成代理IP。Selenium可以通过--proxy-server命令行参数或ChromeOptions配置代理。
  3. 更智能的反反爬：使用undetected-chromedriver等更高级的库来进一步隐藏自动化特征。模拟更真实的鼠标移动轨迹（如PyAutoGUI）。
  4. 评论情感深度分析：接入NLP模型（如SnowNLP、BERT）进行更准确的情感分析，而不是简单的关键词匹配。
  5. 实时监控与预警：将爬虫部署为定时任务，监控特定股票或关键词的评论情绪变化，当情绪指数剧烈波动时触发预警。

  7. 实战中踩过的坑与心得

  最后，分享几个只有真正动手做过才会深刻体会的教训。

  坑一：XPath/CSS Selector 过于脆弱。股吧前端的class名可能会随着版本更新而改变，甚至包含随机哈希值。不要依赖完整的class名，使用contains函数进行部分匹配。例如，用div[class*="reply_item"]而不是div.reply_item_abc123。同时，尽量使用相对路径和更具语义的标签组合来定位，减少对单一属性的依赖。

  坑二：忽略了iframe。有时评论框或部分内容可能嵌套在iframe中。如果无论如何都找不到元素，检查一下页面里是否有iframe。需要用driver.switch_to.frame(frame_element)切换到对应的iframe内才能操作其中的元素，操作完记得用driver.switch_to.default_content()切回来。

  坑三：内存泄漏与浏览器僵死。长时间运行Selenium爬虫，尤其是打开大量页面而不关闭，会导致Chrome进程内存占用越来越高。我的解决方案是：每处理完50-100个帖子，就完全重启一次浏览器（driver.quit()然后重新create_stealth_driver()）。虽然会损失一些时间，但保证了长期运行的稳定性。

  心得一：日志系统至关重要。不要只用print。使用Python的logging模块，将不同级别的信息（INFO、WARNING、ERROR）输出到文件和控制台。记录下每个帖子的抓取状态、遇到的异常、跳过的条目。当脚本在半夜运行时，这些日志是你第二天排查问题的唯一依据。

  心得二：先爬“小样”，再铺开。不要一开始就写一个抓取全站评论的宏大框架。先针对一个具体的帖子URL，把单页评论抓取、展开回复、翻页这个完整链路跑通，并保存下数据。这个“小样”脚本稳定后，再往外扩展，加入帖子列表遍历、异常处理、状态管理等功能。步步为营，能节省大量调试时间。

  心得三：尊重robots.txt与法律边界。在爬取前，务必查看https://guba.eastmoney.com/robots.txt。虽然robots.txt没有法律强制力，但它表明了网站运营者的态度。控制你的爬取频率，避免对目标网站服务器造成明显压力。数据的用途应限于个人学习与研究，切勿用于商业牟利或侵害他人权益，这是每个技术从业者应有的底线。