当前位置：首页 > news >正文

基于Selenium与PaddleOCR的图片小说自动化采集与识别方案

news 2026/8/12 23:43:28

1. 项目概述：从“看”到“读”的自动化小说采集

最近在折腾一个挺有意思的自动化项目，核心目标是把那些嵌在图片里的小说章节，自动抓取并转换成可编辑的文本。这听起来像是把“看图说话”反过来，变成“看字说话”。市面上很多小说网站，尤其是某些为了防盗版或增加用户粘性的平台，会把小说内容以图片形式呈现，一页一页的，让你没法直接复制粘贴。手动截图再识别？效率太低。用爬虫直接抓？面对图片只能干瞪眼。

这个项目的核心思路，就是结合Selenium自动化测试和OCR文字识别这两项技术，模拟真人操作浏览器，一页一页地“翻看”这些图片小说，然后把看到的每一张图片“读”出来，转换成文字，最后整理成连贯的TXT文档。它解决的痛点非常明确：自动化地、批量地获取那些以图片形式存在、无法通过常规HTML解析获取的文本内容。无论是技术爱好者想研究自动化流程，还是小说爱好者想方便地离线阅读，这个项目都提供了一个清晰的实现路径。

整个流程可以拆解为三个核心环节：导航与截图、图像处理与识别、文本整理与输出。听起来简单，但每个环节都有不少细节和坑等着我们去填。接下来，我就结合自己的实操经验，把这套方案的思路、工具选型、具体实现步骤以及踩过的那些坑，详细拆解一遍。

2. 核心工具选型与思路拆解

工欲善其事，必先利其器。在这个项目里，工具链的选择直接决定了实现的难易度和最终效果。我们的目标是搭建一个稳定、高效且易于维护的自动化流程。

2.1 为什么是Selenium？不仅仅是“自动化测试”

提到Selenium，很多人第一反应是Web自动化测试。没错，它最初确实是为此而生。但它的核心能力——完全模拟用户在浏览器中的真实操作（点击、输入、滚动、等待页面加载），使其成为了处理复杂Web交互场景的利器，远超测试范畴。

对于我们的目标（图片小说页面）来说，Selenium的优势无可替代：

处理动态加载：很多小说网站采用瀑布流或点击“下一页”按钮动态加载新图片。Selenium可以精准定位并点击这些按钮，模拟翻页。
应对反爬机制：简单的requests库请求可能被屏蔽。Selenium驱动真实浏览器，行为与真人无异，能有效绕过一些基于请求头或简单JS验证的反爬。
精准元素定位：我们需要找到小说图片所在的<img>标签，或者承载图片的容器<div>。Selenium提供了丰富的定位方式（ID、Class、XPath、CSS Selector），可以稳定地找到目标。
页面渲染与截图：只有浏览器完全渲染了页面，我们才能截取到包含完整小说图片的页面区域。Selenium可以轻松获取整个页面或特定元素的截图。

工具选型：我选择Python + Selenium的组合。Python生态丰富，语法简洁；Selenium的Python绑定成熟稳定。浏览器驱动方面，ChromeDriver是最主流、兼容性最好的选择，配合无头模式（Headless）可以在后台静默运行，不弹出浏览器窗口，节省资源。

2.2 OCR引擎的抉择：Tesseract vs. PaddleOCR

光学字符识别（OCR）是本项目的“大脑”，负责把图片变成文字。这里有两个主流选择：老牌的Tesseract和后起之秀PaddleOCR。

Tesseract：由谷歌维护的开源OCR引擎，历史悠久，社区庞大。它的优点是安装相对简单，对于清晰的印刷体英文识别率不错。但缺点也很明显：对中文的支持需要单独下载语言包，且对于复杂背景、低分辨率、艺术字体或排版特殊的图片（如小说图片可能有的水印、边框），识别准确率会大幅下降，需要大量的预处理和后期调参。

PaddleOCR：百度飞桨推出的开源OCR工具包。它的最大优势在于针对中文场景做了深度优化，基于深度学习模型，识别准确率，尤其是对中文印刷体、甚至一些手写体的识别，远超Tesseract。它内置了多种预训练模型，开箱即用效果好，并且提供了丰富的Python API，易于集成。

我的选择与理由：经过实际对比测试，在这个“获取图片小说”的场景下，我毫不犹豫地推荐PaddleOCR。原因如下：

准确率至上：小说文本是连续性的，一个字的识别错误可能导致整句语义不通。PaddleOCR的识别准确率显著更高，大大减少了后期校对的工作量。
开发效率高：PaddleOCR的Python接口简单明了，几行代码就能完成初始化、识别和结果获取，省去了Tesseract繁琐的预处理和参数调优过程。
对图片质量容错性强：直接从网页截取的图片可能因为压缩、缩放而质量不高。PaddleOCR的深度学习模型对此有更好的鲁棒性。

当然，如果你的环境限制必须使用Tesseract，也并非不可行，但需要投入更多精力在图像预处理（二值化、降噪、边框切除）上，后续我会提到一些通用技巧。

2.3 整体架构设计

明确了核心工具，整个项目的架构就清晰了：

驱动层：Selenium + ChromeDriver，负责浏览器自动化。
采集层：定位小说图片元素，执行翻页操作，并截取图片保存到本地。
识别层：PaddleOCR引擎，读取采集到的图片，进行文字识别。
处理层：对识别出的原始文本进行清洗（去除识别错误符号、合并断行）、分段（根据章节标题），并整理格式。
输出层：将处理好的文本按章节保存为.txt或.md文件。

这个流程形成了一个自动化闭环：启动脚本 -> 浏览器访问 -> 循环（截图 -> 翻页 -> 截图...）-> 批量OCR识别 -> 文本后处理 -> 生成最终文件。

3. 环境搭建与核心代码实现

理论说得再多，不如一行代码。下面我们进入实战环节，一步步搭建环境并实现核心功能。

3.1 基础环境配置

首先，确保你的Python环境（建议3.7以上）已经就绪。

安装Selenium及相关驱动：

pip install selenium

接下来，需要下载与你的Chrome浏览器版本匹配的ChromeDriver。去官网或国内镜像站下载后，将其所在目录添加到系统PATH环境变量，或者直接在代码中指定驱动路径。我更推荐后者，便于项目管理。

安装PaddleOCR：PaddleOCR的安装稍微复杂一点，因为它依赖PaddlePaddle深度学习框架。

# 首先安装PaddlePaddle CPU版本（对于小说识别，CPU版本通常够用，速度也尚可） pip install paddlepaddle # 然后安装PaddleOCR pip install "paddleocr>=2.0.1"

如果希望使用GPU加速（识别速度更快），需要安装CUDA版本的PaddlePaddle，具体请参考PaddlePaddle官方文档。对于纯文本小说识别，CPU版本足以应对。

3.2 Selenium自动化采集模块实现

这个模块的任务是自动访问小说页面，并抓取每一页的图片。

初始化浏览器驱动：

from selenium import webdriver from selenium.webdriver.chrome.options import Options from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC import time import os def init_driver(chrome_driver_path, headless=True): """ 初始化Chrome浏览器驱动 :param chrome_driver_path: ChromeDriver可执行文件路径 :param headless: 是否使用无头模式（不显示浏览器界面） :return: WebDriver对象 """ options = Options() if headless: options.add_argument('--headless') # 无头模式 options.add_argument('--disable-gpu') # 禁用GPU，某些环境下需要 options.add_argument('--no-sandbox') # 解决Linux下的一些权限问题 options.add_argument('--disable-dev-shm-usage') # 解决共享内存问题 # 可以添加User-Agent伪装，进一步模拟真人 options.add_argument('user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36') driver = webdriver.Chrome(executable_path=chrome_driver_path, options=options) driver.maximize_window() # 最大化窗口，确保页面元素正常加载 return driver

核心采集函数：这个函数负责导航到起始页，然后循环执行“截图->保存->翻页”的操作。

def capture_novel_images(driver, start_url, output_dir, max_pages=100): """ 抓取小说图片 :param driver: WebDriver对象 :param start_url: 小说起始页URL :param output_dir: 图片保存目录 :param max_pages: 最大抓取页数，防止意外无限循环 """ if not os.path.exists(output_dir): os.makedirs(output_dir) driver.get(start_url) time.sleep(3) # 初始等待页面加载，可根据网络情况调整 page_num = 1 while page_num <= max_pages: try: # 1. 定位小说图片元素 - 这是最关键的一步，需要手动分析目标网页 # 示例：假设图片在一个id为‘novel-img’的img标签里 # 你需要使用浏览器的开发者工具（F12）查看实际页面的HTML结构 img_element = WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.ID, "novel-img")) ) # 也可能是CSS选择器： driver.find_element(By.CSS_SELECTOR, ".content img") # 2. 截图并保存 screenshot_path = os.path.join(output_dir, f"page_{page_num:03d}.png") img_element.screenshot(screenshot_path) # 直接对元素截图，比全屏截图更精准 print(f"已保存第 {page_num} 页: {screenshot_path}") # 3. 寻找并点击“下一页”按钮 # 同样需要分析页面，找到‘下一页’按钮的定位器 next_button = driver.find_element(By.XPATH, "//a[contains(text(),'下一页')]") # 或者通过ID/Class定位 # next_button = driver.find_element(By.ID, "next-page-btn") # 检查是否已是最后一页（按钮可能变灰或消失） if not next_button.is_enabled() or not next_button.is_displayed(): print("已到达最后一页，采集结束。") break next_button.click() page_num += 1 # 4. 等待新页面加载完成 # 方式一：固定等待（简单但不稳定） # time.sleep(2) # 方式二：显式等待，直到新页面的图片元素出现（推荐） WebDriverWait(driver, 10).until( EC.staleness_of(img_element) # 等待旧元素从DOM中消失 ) WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.ID, "novel-img")) ) except Exception as e: print(f"在第 {page_num} 页处理时发生错误: {e}") # 可以尝试其他翻页逻辑或保存当前状态后退出 break print(f"图片采集完成，共采集 {page_num-1} 页。")

实操心得一：元素定位是成败关键上面代码中的By.ID, "novel-img"和By.XPATH, "//a[contains(text(),'下一页')]"只是示例。你必须亲自打开目标网站，按F12打开开发者工具，使用元素选择器仔细分析目标图片和翻页按钮的真实HTML结构。它们可能是<img>标签，也可能是作为background-image的<div>。翻页按钮可能是一个<a>链接，也可能是一个<button>，甚至是通过JavaScript触发的<span>。定位不准，整个自动化流程就无法进行。多准备几种定位策略（ID、Class、XPath、CSS Selector），并做好异常处理。

3.3 PaddleOCR识别模块实现

图片抓取完成后，我们使用PaddleOCR进行批量识别。

from paddleocr import PaddleOCR import cv2 import os def ocr_images(image_dir, output_text_path): """ 对指定目录下的所有图片进行OCR识别，并合并文本 :param image_dir: 存放小说图片的目录 :param output_text_path: 合并后的文本输出路径 """ # 初始化PaddleOCR，使用中英文识别模型，启用字符分类（提高准确率） # `use_angle_cls=True` 可以自动判断文字方向，对于扫描件很有用 # `lang='ch'` 指定中文识别 ocr = PaddleOCR(use_angle_cls=True, lang='ch', use_gpu=False) # use_gpu根据环境设置 all_text = [] image_files = sorted([f for f in os.listdir(image_dir) if f.lower().endswith(('.png', '.jpg', '.jpeg'))]) for img_name in image_files: img_path = os.path.join(image_dir, img_name) print(f"正在识别: {img_name}") # 使用PaddleOCR进行识别 result = ocr.ocr(img_path, cls=True) # 解析识别结果 page_text = "" if result is not None: for line in result: # line 是一个列表，每个元素是 (坐标框, (文本，置信度)) # 我们只关心文本内容 text_info = line[1] if text_info: # 确保有识别结果 text_content = text_info[0] confidence = text_info[1] # 可以设置一个置信度阈值，过滤低置信度结果 if confidence > 0.5: # 例如只保留置信度大于50%的识别结果 page_text += text_content + "\n" else: page_text += "[低置信度文本]" + "\n" else: page_text += "[识别失败]" + "\n" else: page_text = "[本页无识别内容或识别错误]\n" all_text.append(f"--- 第{img_name}页 ---\n{page_text}\n") # 将所有页的文本合并并写入文件 with open(output_text_path, 'w', encoding='utf-8') as f: f.writelines(all_text) print(f"OCR识别完成，文本已保存至: {output_text_path}")

实操心得二：PaddleOCR结果处理PaddleOCR返回的结果是一个嵌套列表，结构为[[[坐标], (文本, 置信度)], ...]。它已经按行进行了初步分组，这对于小说排版是友好的。上述代码简单地将每行文本拼接。在实际应用中，你可能需要更精细的处理，比如根据坐标信息判断段落（Y坐标的跳变），或者过滤掉页码、网站水印等非正文内容。confidence（置信度）是一个很好的参考指标，可以用于初步的质量过滤。

3.4 文本后处理与优化

直接从OCR出来的文本通常是粗糙的，包含不必要的换行、空格和可能的识别错误。一个简单的后处理脚本能极大提升可读性。

import re def post_process_text(input_text_path, output_text_path): """ 对OCR生成的原始文本进行清洗和格式化 :param input_text_path: OCR原始文本路径 :param output_text_path: 处理后文本路径 """ with open(input_text_path, 'r', encoding='utf-8') as f: raw_text = f.read() # 1. 去除每行首尾的空格和制表符 lines = [line.strip() for line in raw_text.splitlines()] # 2. 合并因OCR断行造成的短行（例如，一个句子被错误地识别成两行） # 策略：如果一行非空且不以句号、问号、感叹号等结束，且下一行也不以段落起始标志（如章节名）开头，则合并 merged_lines = [] i = 0 while i < len(lines): current_line = lines[i] if i == len(lines) - 1: merged_lines.append(current_line) break next_line = lines[i + 1] # 简单的合并规则：当前行短于一定长度，且下一行不是新段落/章节的开始 # 更复杂的规则可以基于标点符号和正则表达式 if (len(current_line) < 30 and not re.match(r'^第[零一二三四五六七八九十百千\d]+章', next_line) and not re.match(r'^[【（(].*[】）)]$', current_line)): # 过滤可能的小标题 merged_lines.append(current_line + next_line) i += 2 # 跳过下一行 else: merged_lines.append(current_line) i += 1 # 3. 去除空行和仅包含特殊字符的行 cleaned_lines = [] for line in merged_lines: # 移除行内的多余空格（保留一个空格） line = re.sub(r'\s+', ' ', line) if line and not re.match(r'^[\.\-\s\*]*$', line): # 过滤掉纯符号行 cleaned_lines.append(line) # 4. 根据特定规则重新分段（例如，遇到“第一章”、“第一节”等另起一段） formatted_text = "" for line in cleaned_lines: if re.match(r'^第[零一二三四五六七八九十百千\d]+[章节回]', line): formatted_text += "\n\n" + line + "\n" else: formatted_text += line + "\n" with open(output_text_path, 'w', encoding='utf-8') as f: f.write(formatted_text.strip()) print(f"文本后处理完成，结果保存至: {output_text_path}")

这个后处理函数做了几件事：去除空白字符、合并错误的断行、过滤垃圾行、并根据章节标题重新分段。规则可以根据你目标小说的具体排版风格进行调整，比如有的小说用“**”表示场景转换，有的用空行。

4. 项目集成与完整流程封装

现在，我们把各个模块串联起来，形成一个完整的、可执行的脚本。

import argparse def main(): parser = argparse.ArgumentParser(description='图片小说自动化抓取与识别工具') parser.add_argument('--url', required=True, help='小说起始页URL') parser.add_argument('--output_dir', default='./novel_output', help='输出目录') parser.add_argument('--max_pages', type=int, default=50, help='最大抓取页数') parser.add_argument('--chrome_driver', required=True, help='ChromeDriver路径') parser.add_argument('--headless', action='store_true', help='使用无头模式') args = parser.parse_args() # 创建输出子目录 img_dir = os.path.join(args.output_dir, 'images') text_dir = os.path.join(args.output_dir, 'text') raw_text_path = os.path.join(text_dir, 'raw_text.txt') final_text_path = os.path.join(text_dir, 'final_novel.txt') os.makedirs(img_dir, exist_ok=True) os.makedirs(text_dir, exist_ok=True) # 步骤1: 启动浏览器并采集图片 print("步骤1: 开始采集图片...") driver = init_driver(args.chrome_driver, headless=args.headless) try: capture_novel_images(driver, args.url, img_dir, max_pages=args.max_pages) finally: driver.quit() # 确保浏览器被关闭 # 步骤2: OCR识别图片 print("\n步骤2: 开始OCR识别...") ocr_images(img_dir, raw_text_path) # 步骤3: 文本后处理 print("\n步骤3: 进行文本后处理...") post_process_text(raw_text_path, final_text_path) print(f"\n全部流程完成！最终小说文本位于: {final_text_path}") if __name__ == '__main__': main()

使用方式很简单，在命令行中运行：

python novel_crawler.py --url "https://example.com/novel/page/1" --chrome_driver "./chromedriver" --headless --max_pages 100

这个脚本定义了完整的流水线：参数解析 -> 创建目录 -> 采集图片 -> OCR识别 -> 文本清洗 -> 输出结果。你可以根据需要增加更多功能，比如断点续传、识别进度条、更复杂的翻页逻辑判断等。

5. 常见问题与实战避坑指南

在实际操作中，你几乎一定会遇到下面这些问题。我把它们和解决方案整理出来，希望能帮你节省大量调试时间。

5.1 Selenium相关的问题与技巧

问题1：元素定位失败，抛出NoSuchElementException或TimeoutException。

原因：页面结构动态变化、元素加载慢、使用了错误的定位器、页面内有iframe框架。

解决方案：

使用显式等待（WebDriverWait）：这是最重要的技巧。不要用固定的time.sleep，而是等待某个特定条件成立（如元素可见、可点击）。

from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.by import By # 等待最多10秒，直到ID为‘myElement’的元素出现 element = WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.ID, "myElement")) ) # 或者等待元素可点击 element = WebDriverWait(driver, 10).until( EC.element_to_be_clickable((By.XPATH, "//button[@type='submit']")) )

尝试多种定位策略：如果一个定位器失效，尝试用其他属性。XPath虽然强大但可能脆弱，优先使用稳定的ID或唯一的Class。

检查iframe：如果目标元素在<iframe>里，必须先切换到对应的iframe框架内才能操作。

driver.switch_to.frame("iframe_name_or_id") # ... 操作iframe内的元素 ... driver.switch_to.default_content() # 操作完切回主文档

使用相对XPath或CSS选择器：避免使用绝对路径（如/html/body/div[3]/div[2]/img），它们极易因页面微小改动而失效。

问题2：截图不完整或截到空白。

原因：截图时机不对（元素未完全渲染），或者截取的不是目标元素。
解决方案：
1. 截图前等待：在对元素执行screenshot方法前，确保它已完全加载。可以结合显式等待EC.visibility_of_element_located。
2. 滚动到元素：如果元素不在可视区域内，先滚动到它所在位置。
```
driver.execute_script("arguments[0].scrollIntoView(true);", img_element) time.sleep(0.5) # 等待滚动完成 img_element.screenshot(path)
```
3. 验证截图：可以简单检查截图文件的尺寸或像素，如果异常（如1x1像素），则重试或记录错误。

问题3：被网站检测到自动化脚本。

原因：Selenium驱动浏览器会留下一些特征（如window.navigator.webdriver属性为true）。

解决方案：

添加实验性选项：在初始化Options时添加参数。

options.add_experimental_option("excludeSwitches", ["enable-automation"]) options.add_experimental_option('useAutomationExtension', False)

执行CDP命令（Chrome DevTools Protocol）：更彻底地隐藏自动化特征。

driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', { 'source': ''' Object.defineProperty(navigator, 'webdriver', { get: () => undefined }); ''' })

模拟人类行为：在操作间加入随机延迟，移动鼠标轨迹等。但注意不要过度影响效率。

5.2 OCR识别相关的问题与技巧

问题1：识别准确率不高，特别是标点符号和生僻字。

原因：图片质量差（模糊、低对比度、有干扰）、字体特殊、OCR模型对某些字符训练不足。
解决方案：
1. 图像预处理（如果使用PaddleOCR，大部分情况下不需要）：如果必须处理，可以在识别前用OpenCV进行预处理。
```
import cv2 img = cv2.imread(img_path) gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 转灰度 # 二值化，增强对比度 _, binary = cv2.threshold(gray, 150, 255, cv2.THRESH_BINARY_INV) # 降噪 denoised = cv2.medianBlur(binary, 3) cv2.imwrite('processed.png', denoised) # 保存处理后的图片供OCR识别
```
2. 使用PaddleOCR的更优模型：PaddleOCR提供了多种模型，ch_ppocr_server_v2.0通常比默认的ch_ppocr_mobile_v2.0识别率更高，但体积更大、速度稍慢。初始化时可以指定：ocr = PaddleOCR(det_model_dir='...', rec_model_dir='...', cls_model_dir='...')。
3. 后处理字典校正：建立一个常见错误映射字典，对识别结果进行替换。例如，把“己”和“已”、“土”和“士”等易混字根据上下文进行校正。

问题2：识别出的文本顺序错乱。

原因：图片排版复杂（如分栏、图文混排），OCR引擎未能正确识别阅读顺序。
解决方案：
1. 利用PaddleOCR的坐标信息：PaddleOCR返回的每个文本框都有四个顶点的坐标。你可以根据这些坐标的Y轴（纵坐标）进行主要排序（行序），再根据X轴（横坐标）进行次要排序（行内字序）。PaddleOCR的结果默认已经按行大致排序，但对于复杂版面可能不够。
2. 手动指定识别区域（ROI）：如果小说图片的正文区域是固定的，可以在截图后，先用图像处理库（如OpenCV或PIL）裁剪出只包含正文的区域，再进行识别，排除页眉、页脚、侧边栏的干扰。

问题3：处理速度慢，尤其是大量图片时。

原因：CPU识别本身较慢，或者网络图片下载耗时。
解决方案：
1. 启用GPU加速：如果你的机器有NVIDIA GPU且安装了CUDA，将PaddleOCR初始化的use_gpu参数设为True，速度可提升数倍至数十倍。
2. 批量识别：PaddleOCR支持批量图片输入，将多张图片路径放入列表一次性传入，比循环单张识别效率更高。
3. 优化采集流程：确保Selenium在无头模式下运行，减少资源占用。考虑将采集和识别分离成两个独立进程/线程，实现流水线作业。

5.3 流程与稳定性问题

问题：脚本运行中途崩溃，如何断点续传？

解决方案：在关键步骤记录状态。例如，在保存图片时，同时记录一个进度文件（如progress.json），里面保存已成功抓取的页码列表。每次启动脚本时，先读取这个文件，跳过已抓取的页码。对于OCR识别，可以按页生成独立的文本文件，最后再合并，这样即使中间出错，也只需重识别出错的那几页。

问题：目标网站改版，导致脚本失效。

解决方案：这是自动化脚本的宿命。没有一劳永逸的方案。可以将定位元素的CSS选择器或XPath表达式提取到配置文件（如config.yaml）中，而不是硬编码在脚本里。当网站改版时，只需更新配置文件，而无需修改核心代码。同时，为脚本添加健全的日志系统，记录每一步的操作和错误，便于快速定位问题所在。