告别手动复制粘贴：用Python爬虫批量抓取HTML文件，我实现了信息采集自动化
目录
为什么是本地HTML文件？
glob模块：文件遍历的瑞士军刀
技术选型：2025年的爬虫工具链
实战项目：批量提取产品信息
第一步：模拟准备测试文件
第二步：使用glob批量获取文件列表
第三步：编写健壮的HTML解析器
第四步：批量处理与进度可视化
第五步：数据清洗与增强
第六步：数据导出（Excel/CSV/JSON）
第七步：为实战场景增加并发处理
常见问题与解决方案
1. 编码问题
2. 动态加载内容
3. 超大文件处理
4. 文件名排序问题
进阶扩展：从本地到线上
三年前的一个下午，我对着电脑屏幕上的几百个HTML文件陷入了沉思。这些文件是从一个已经关闭的行业论坛抢救下来的宝贵资料，我需要从中提取出所有的文章标题、发布时间、正文内容和评论区信息。如果手动复制粘贴，保守估计需要一周时间。更可怕的是，这种枯燥重复的工作会让人精神恍惚，稍有不慎就会出现错行、漏贴的问题。
那是我第一次认真思考：能否写一段代码，自动遍历这些HTML文件，解析出我想要的内容，然后整齐地保存到Excel或者数据库里？
带着这个问题，我开始了Python爬虫的学习。今天要分享的，正是这个场景下最实用的技术组合——用glob.glob('*.html')批量读取本地HTML文件，再用现代解析库提取信息。这篇文章会从零开始，手把手带你实现一个完整的信息采集自动化工具。
为什么是本地HTML文件？
很多人一提到爬虫，第一反应是面对活着的网站、处理反爬机制、维护会话状态。但实际工作中，有大量场景是处理已经保存在本地的HTML文件：
离线数据分析：从某些平台导出的数据包就是一堆HTML文件