Python 爬虫数据处理：多层级分类数据结构化存储设计

前言

在全品类资讯、电商商品、政务目录、行业榜单等多维度爬虫采集场景中，数据源普遍存在多层级分类结构，例如一级类目、二级子分类、三级细分标签的嵌套层级关系。非结构化原始爬取数据若直接存储，极易出现层级混乱、关联断裂、分类错乱、检索困难等问题，严重制约后续数据筛选、统计分析与业务调用。多层级分类数据的结构化存储设计，是爬虫工程化落地的核心环节，合理的存储架构能够保障分类关联完整性、提升数据查询效率、适配业务迭代扩展，同时降低后期数据维护成本。

本文围绕爬虫多层级分类数据的业务特性、结构拆解、存储范式、表结构设计、关联逻辑、代码落地、异常兼容等核心内容展开深度讲解，结合多场景实战代码、数据表设计规范、层级关联算法，完整覆盖本地文件、关系型数据库、非关系型数据库三大存储体系的多层级结构化方案，适配中小型单机爬虫至大型分布式爬虫项目的落地需求。

本文所需核心依赖库及官方文档超链接统一罗列如下，便于开发者快速查阅安装指南与 API 手册：

1. Requests 网络请求库
2. BeautifulSoup 网页解析库
3. Pandas 结构化数据处理库
4. SQLAlchemy 数据库 ORM 框架
5. PyMySQL MySQL 交互驱动
6. MongoDB Python 驱动 pymongo

一、多层级分类数据核心特征与业务痛点

1.1 多层级分类数据典型特征

互联网主流爬虫采集目标均具备标准化层级分类体系，核心特征具备高度统一性：第一，层级嵌套性，数据遵循一级大类、二级分类、三级标签甚至多级子节点的树状结构，上下级存在强从属关系；第二，节点唯一性，同级分类名称允许重复，但结合上级分类后全局唯一，部分平台配备专属分类 ID 作为唯一标识；第三，动态扩展性，平台会不定期新增分类节点、合并类目、下线废弃分类，存储架构需支持动态扩容；第四，数据依附性，爬虫采集的详情数据、列表数据均绑定对应分类节点，分类是数据检索与聚合的核心维度。

1.2 爬虫场景下分类数据存储痛点

未经结构化设计的多层级数据存储，会引发一系列工程化问题。其一，层级关系松散，原始爬取的分类文本直接拼接存储，上下级关联逻辑丢失，无法实现分类筛选与层级联动查询；其二，数据冗余严重，多级分类字段重复存储至每一条业务数据，大幅增加存储体积与写入开销；其三，扩展能力薄弱，新增分类层级或调整类目结构时，需要全量修改历史数据，维护成本极高；其四，查询效率低下，嵌套字符串拆分、模糊匹配替代标准关联查询，海量数据场景下检索延迟显著提升；其五，数据一致性差，分类名称修改、类目合并时，无法批量同步关联业务数据，造成数据失真。

1.3 结构化存储设计核心原则

结合爬虫高并发、增量采集、数据量大、迭代频繁的特性，多层级分类存储设计严格遵循五大原则。关联完整性，通过唯一主键与外键绑定，保障上下级分类、分类与业务数据的关联关系不丢失；低冗余设计，采用分类表与业务数据表分离模式，分类信息统一维护，避免重复存储；可扩展兼容，支持无限层级扩展、分类新增与下线、类目调整，无需重构数据表结构；高效检索，合理建立索引、优化关联查询语句，适配爬虫高频读写场景；高兼容适配，同时兼容结构化数据库、文档数据库、本地文件存储，适配不同规模爬虫项目。

二、多层级分类结构拆解与标准化定义

2.1 通用多级分类结构模型

以主流三级分类为基准构建通用模型，可无缝扩展至四级、五级及无限层级。

• 一级分类：顶层根节点，无父级分类，代表核心业务大类，如数码、服饰、食品；
• 二级分类：一级子节点，隶属于顶层类目，如数码下的手机、电脑、平板；
• 三级分类：二级细分节点，为最小业务分类单元，如手机下的安卓手机、苹果手机；
• 扩展字段：分类 ID、分类名称、父级 ID、分类排序、创建时间、更新时间、是否启用状态。

2.2 分类节点核心字段标准化

无论采用何种存储方式，多层级分类节点必须包含标准化基础字段，保障结构统一。

表格

2.3 爬虫原始分类数据标准化处理

爬虫直接解析获取的分类数据多为不规则嵌套文本、HTML 节点组合，需完成标准化清洗。统一剔除空格、特殊符号、无效标签；补全缺失的父级关联信息；自动识别分类层级并标记；生成全局唯一分类 ID；过滤无效废弃分类节点。标准化处理后的分类数据，方可接入结构化存储体系，避免脏数据破坏层级逻辑。

三、轻量方案：本地文件多层级结构化存储

3.1 方案适用范围

该方案适用于个人学习、小型单机爬虫、数据量万级以内、无需高频查询、无数据库部署环境的轻量化场景，依托 JSON、CSV、Excel 本地文件实现多层级分类结构化存储，部署简单、零环境依赖、快速落地。

3.2 树状 JSON 结构化存储实现

JSON 天然支持嵌套字典与列表格式，是多层级分类最优本地存储格式，可直接还原树状层级结构，无需额外解析关联关系。

3.2.1 标准化分类数据构建

python

运行

# 爬虫解析后标准化三级分类原始数据 category_data = [ {"category_id": 1, "category_name": "数码产品", "parent_id": 0, "level": 1, "sort_num": 1}, {"category_id": 2, "category_name": "服饰穿搭", "parent_id": 0, "level": 1, "sort_num": 2}, {"category_id": 101, "category_name": "智能手机", "parent_id": 1, "level": 2, "sort_num": 1}, {"category_id": 102, "category_name": "笔记本电脑", "parent_id": 1, "level": 2, "sort_num": 2}, {"category_id": 10101, "category_name": "安卓手机", "parent_id": 101, "level": 3, "sort_num": 1}, {"category_id": 10102, "category_name": "苹果手机", "parent_id": 101, "level": 3, "sort_num": 2} ]

3.2.2 递归构建多层级树状结构

python

运行

import json def build_category_tree(data, parent_id=0): """ 递归构建多层级分类树结构 :param data: 扁平化分类列表数据 :param parent_id: 父级分类ID :return: 嵌套树状分类数据 """ tree_list = [] for item in data: if item["parent_id"] == parent_id: # 递归查询当前节点的子分类 children = build_category_tree(data, item["category_id"]) if children: item["children"] = children tree_list.append(item) # 按排序字段升序排列 tree_list.sort(key=lambda x: x["sort_num"]) return tree_list # 生成树状结构 category_tree = build_category_tree(category_data) # 写入本地JSON文件，实现持久化存储 with open("category_tree.json", "w", encoding="utf-8") as f: json.dump(category_tree, f, ensure_ascii=False, indent=2)

3.2.3 代码原理解析

该函数采用深度优先递归算法遍历扁平化分类数据，以父级 ID 为匹配条件，逐级挂载子分类节点；通过新增 children 字段存储下级分类，完整还原树状层级；结合 sort_num 字段完成分类排序，保证数据展示逻辑与源站一致；最终通过 json 模块序列化写入文件，实现结构化持久化。读取数据时直接加载 JSON 文件，无需二次关联计算，层级读取效率极高。

3.3 扁平化 CSV 结构化存储实现

CSV 格式兼容性更强，支持 Excel、记事本等多软件直接打开编辑，适合需要人工维护分类数据的场景。CSV 采用扁平化存储，通过 parent_id 字段保留层级关联，查询时通过程序二次拼接层级关系。

python

运行

import pandas as pd # 转换为DataFrame并写入CSV df = pd.DataFrame(category_data) df.to_csv("category_flat.csv", index=False, encoding="utf-8-sig") # 读取CSV并根据父级ID查询子分类 def get_child_category(flat_df, pid): """根据父ID查询所有下级分类""" return flat_df[flat_df["parent_id"] == pid].to_dict("records") # 读取文件测试 read_df = pd.read_csv("category_flat.csv", encoding="utf-8-sig") second_category = get_child_category(read_df, 1) print("数码产品二级分类：", second_category)

3.4 本地文件存储优缺点

表格

四、主流方案：关系型数据库分层存储设计

4.1 方案适用范围

面向中大型爬虫项目、百万级以上业务数据、多节点协同采集、需要复杂分类查询的生产场景，以 MySQL 为核心代表的关系型数据库，依靠分表设计、主键外键、索引优化实现多层级分类的标准化结构化存储，是目前爬虫行业最主流的落地方案。

4.2 两大经典分层存储模式

4.2.1 单表无限层级模式

所有层级分类数据统一存储在一张分类表中，依靠 parent_id 字段关联上下级，无需限制分类层级数量，支持无限扩展，适配类目频繁调整的平台。分类主表结构 SQL 语句：

sql

CREATE TABLE crawl_category ( category_id BIGINT NOT NULL COMMENT '分类唯一主键ID', category_name VARCHAR(200) NOT NULL COMMENT '分类名称', parent_id BIGINT NOT NULL DEFAULT 0 COMMENT '父级分类ID，根节点为0', category_level TINYINT NOT NULL COMMENT '分类层级 1/2/3/4', sort_num INT DEFAULT 0 COMMENT '排序编号', status TINYINT DEFAULT 1 COMMENT '状态 1启用 0禁用', create_time DATETIME DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间', update_time DATETIME DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间', PRIMARY KEY (category_id), KEY idx_parent_id (parent_id), KEY idx_level (category_level) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT '爬虫多层级分类总表';

该模式核心优势为结构简洁、扩展灵活，新增层级无需修改表结构；通过 parent_id、category_level 建立索引，大幅提升层级筛选、父子关联查询效率。

4.2.2 多表独立分层模式

按照一级、二级、三级分类拆分多张数据表，层级隔离、查询逻辑简单，适合固定三级分类、类目结构长期稳定的平台。分别创建一级分类表、二级分类表、三级分类表，子表通过外键绑定上级表主键，强约束层级关系。多表设计核心优势：查询无需递归计算，单层级筛选速度更快；数据隔离性强，单类目标修改不影响其他层级；适合业务分类固定的垂直类爬虫项目。

4.3 分类表与业务数据表关联设计

爬虫核心采集的商品、资讯、帖子等业务数据，禁止重复存储多级分类名称，仅存储末级分类 ID作为关联字段，通过联表查询拼接完整分类路径，从根源降低数据冗余。业务数据表关键设计：新增 category_id 字段关联分类表主键，不存储一级、二级分类冗余字段；建立外键约束或逻辑关联，保障分类数据合法性；通过 JOIN 联表查询，动态拼接一级分类 / 二级分类 / 三级分类名称。

4.4 数据库层级查询实战代码

基于 SQLAlchemy 实现分类树查询、子分类筛选、完整分类路径拼接，适配爬虫后端业务调用。

python

运行

from sqlalchemy import create_engine, text # 数据库连接初始化 engine = create_engine("mysql+pymysql://root:123456@127.0.0.1:3306/crawl_db?charset=utf8mb4") def get_category_tree(): """查询全量分类并构建层级树""" with engine.connect() as conn: res = conn.execute(text("SELECT * FROM crawl_category ORDER BY sort_num ASC")) category_list = res.mappings().all() # 调用前文递归函数构建树状结构 return build_category_tree([dict(item) for item in category_list]) def get_full_category_path(cid): """根据末级分类ID递归查询完整分类路径""" path = [] current_id = cid with engine.connect() as conn: while current_id != 0: sql = text("SELECT category_name,parent_id FROM crawl_category WHERE category_id = :cid") row = conn.execute(sql, cid=current_id).mappings().first() if not row: break path.append(row["category_name"]) current_id = row["parent_id"] # 反转拼接，从一级分类至末级分类 return "->".join(reversed(path))

4.4.1 代码原理解析

数据库查询函数通过原生 SQL 查询全量分类数据，复用递归方法构建树结构；分类路径查询采用逆向递归查询，从末级分类向上逐级查询父节点，最终反转拼接生成完整分类链路，完美适配商品、资讯详情页的分类展示需求；数据库索引加持下，千万级数据查询仍可保持稳定响应速度。

4.5 关系型存储方案优缺点

表格

五、进阶方案：文档型数据库嵌套结构化存储

5.1 方案适用范围

针对分类层级不固定、分类字段动态扩展、非结构化与半结构化混合的爬虫场景，采用 MongoDB 文档数据库存储多层级分类数据。依托文档嵌套特性，天然适配树状分类结构，无需复杂关联查询，适合自媒体、短视频、综合资讯类爬虫项目。

5.2 MongoDB 嵌套分类结构设计

直接在单条文档内通过数组嵌套存储子分类，一条根分类文档包含所有下级节点，结构与 JSON 树完全一致，读写无需关联计算。

python

运行

from pymongo import MongoClient # 连接MongoDB数据库 client = MongoClient("mongodb://127.0.0.1:27017/") db = client["crawl_data"] category_col = db["category_tree"] # 插入多层级嵌套分类数据 mongo_category = { "category_id": 1, "category_name": "数码产品", "parent_id": 0, "level": 1, "children": [ { "category_id": 101, "category_name": "智能手机", "level": 2, "children": [ {"category_id": 10101, "category_name": "安卓手机", "level": 3}, {"category_id": 10102, "category_name": "苹果手机", "level": 3} ] } ] } # 写入数据库 category_col.insert_one(mongo_category)

5.3 文档数据库查询与扩展优势

MongoDB 支持按层级字段、分类名称、父 ID 灵活筛选，嵌套结构读取无需递归拼接；当平台新增分类属性、扩展自定义字段时，无需修改数据表结构，直接在文档内新增字段即可，弹性扩展能力远超关系型数据库。适合爬虫业务快速迭代、分类规则频繁变更的项目。

六、多层级分类数据同步与增量更新设计

6.1 全量爬取同步机制

首次采集目标网站分类数据时，执行全量爬取与全量结构化存储，清空历史无效分类数据，完成基础分类库搭建。全量同步需增加数据校验，避免层级错乱、重复分类写入，保障初始数据完整性。

6.2 增量分类更新方案

长期运行的爬虫项目，无需频繁全量爬取分类，采用增量更新机制降低请求压力。定时抓取分类首页，对比本地 / 数据库分类 ID 与名称，仅新增未存在的分类节点；对于名称修改、状态变更的分类，执行单条数据更新；对于下线废弃分类，修改状态字段而非物理删除，保留历史数据追溯。

6.3 分类数据去重与校验逻辑

多层级分类极易出现同级重名问题，校验规则设定为父 ID + 分类名称联合唯一，杜绝同级重复类目；通过分类 ID 全局唯一约束，防止跨层级数据冲突；定期定时任务巡检分类层级，修复父 ID 错误、层级标记异常等问题，保障结构化数据长期稳定。

七、三大存储方案综合对比与项目选型

7.1 核心指标对比汇总

表格

7.2 爬虫项目精准选型建议

小型个人爬虫、短期测试、无数据库环境，优先选择JSON 本地文件结构化存储，低成本快速落地；企业级常规爬虫、电商类目、固定层级资讯平台，优先选用MySQL 单表无限层级设计，兼顾稳定性与灵活性；自媒体、短视频、动态类目平台、字段频繁扩展的爬虫项目，采用MongoDB 嵌套存储，最大化发挥文档数据库的弹性优势；超大型分布式爬虫集群，可采用 MySQL 主存 + Redis 缓存分类树的组合架构，平衡查询性能与数据持久化。

八、多层级结构化存储常见问题与解决方案

8.1 层级递归查询性能过低

MySQL 递归查询大数据量卡顿，解决方案为预生成分类完整路径字段，直接存储一级至末级分类名称字符串，查询直接读取字段，无需实时拼接；同时对 parent_id、level 字段建立复合索引，缩小查询扫描范围。

8.2 分类调整导致关联数据失效

平台类目合并、改名、下线后，业务数据分类关联失效，解决方案采用逻辑删除替代物理删除，保留历史分类 ID 映射关系；建立分类映射表，记录新旧分类 ID 对应关系，自动批量修正历史业务数据。

8.3 嵌套数据解析复杂

JSON、MongoDB 嵌套结构解析难度较高，统一封装通用递归解析工具类，提供分类遍历、子节点筛选、路径查询通用方法，降低业务代码耦合度，提升代码复用性。

九、总结

多层级分类数据结构化存储是爬虫工程化的核心基础模块，直接决定数据质量与后期业务开发效率。本文依次讲解本地文件、关系型数据库、文档型数据库三种主流结构化存储方案，覆盖从轻量化到企业级的全场景落地方式，结合数据表设计、递归算法、增删改查代码、增量同步机制，形成一套完整可复用的多层级分类存储体系。

爬虫开发者在实际项目开发中，需结合项目规模、部署环境、类目迭代频率合理选择存储架构，严格遵循低冗余、高关联、易扩展的设计原则。标准化的分类结构化存储，不仅能够解决层级混乱、数据冗余等基础问题，更为后续数据筛选、可视化展示、数据分析、API 数据输出提供标准化支撑，是爬虫从简单采集迈向工程化体系的关键一步。

下一篇继续更新：Python 爬虫数据处理：爬取数据批量导出多种格式文件

直接回答模式下一篇

Python 爬虫数据处理：爬取数据批量导出多种格式文件

前言

Python 爬虫完成网页数据采集、清洗去重、结构化规整之后，数据落地交付是爬虫工程链路的关键收尾环节。不同业务场景、数据分析需求、第三方对接规范，对数据文件格式存在差异化要求：日常本地归档常使用 CSV、Excel 格式，跨平台数据交互普遍采用 JSON 格式，办公报表输出依赖 XLSX，日志归档与轻量化存储选用 TXT，企业异构系统对接还会涉及 Parquet 等高性能列式文件。

爬虫开发过程中，若仅支持单一格式导出，会大幅限制数据复用性与业务适配能力。批量多格式统一导出，能够实现一次清洗、多端复用，减少重复代码开发，提升爬虫项目工程化水平。本文系统性讲解爬虫结构化数据批量导出主流文件格式的实现方案，涵盖 TXT、CSV、Excel、JSON、Parquet 五大常用格式，配套完整可运行代码、底层原理剖析、批量优化策略与异常兼容处理，适配单机小规模采集至服务器海量批量导出场景。

本文涉及全部依赖库官方超链接统一前置展示，便于快速完成环境部署与文档查阅：

1. Pandas 高性能结构化数据处理库
2. openpyxl Excel 文件读写依赖
3. xlsxwriter 高效 Excel 写入引擎
4. pyarrow Parquet 列式文件解析库
5. json Python 内置序列化库
6. csv Python 内置文件读写模块

一、爬虫数据导出前置标准化处理

1.1 导出数据源统一规范

无论最终导出何种文件格式，爬虫原始数据必须完成基础标准化，规避格式错乱、乱码、字段缺失等问题。常规爬虫采集数据多为列表嵌套字典结构，字段键名统一命名、空值统一填充、特殊字符转义、时间格式标准化，是批量导出的前置必要操作。

标准化爬虫模拟数据集如下，全文代码案例均基于该数据执行多格式导出，保证逻辑统一：

python

运行

# 爬虫结构化标准数据：商品采集数据 crawl_goods_data = [ {"goods_id": 10001, "goods_name": "高清无线蓝牙耳机", "price": 199.0, "sales": 2360, "create_time": "2026-05-06"}, {"goods_id": 10002, "goods_name": "机械游戏键盘", "price": 299.0, "sales": 1580, "create_time": "2026-05-06"}, {"goods_id": 10003, "goods_name": "便携快充充电宝", "price": 89.0, "sales": 5690, "create_time": "2026-05-06"}, {"goods_id": 10004, "goods_name": "电竞有线鼠标", "price": 129.0, "sales": 3200, "create_time": "2026-05-06"}, {"goods_id": 10005, "goods_name": "折叠护眼台灯", "price": 69.0, "sales": 1860, "create_time": "2026-05-06"} ]

1.2 多格式导出核心依赖安装

部分格式依赖第三方扩展库，批量安装指令如下，适配 Windows、Linux、Mac 全平台：

bash

运行

pip install pandas openpyxl xlsxwriter pyarrow

1.3 批量导出核心痛点汇总

爬虫批量导出场景普遍存在三类问题：编码错误导致中文乱码、大文件写入内存溢出、不同格式字段类型不兼容、批量写入效率低下。下文各格式方案均针对性优化编码、写入模式、数据类型，解决批量导出核心痛点。

二、轻量化文本格式：TXT 批量导出

2.1 适用业务场景

TXT 文本格式具备兼容性最强、占用存储空间极小、写入速度极快的特性，适用于爬虫日志记录、简易数据归档、纯文本内容存储、服务器轻量化备份等场景，是最简单高效的基础导出方案。

2.2 代码实战实现

python

运行

def export_to_txt(data: list, save_path: str): """ 爬虫数据批量导出TXT文件 :param data: 结构化爬虫数据 :param save_path: 文件保存路径 """ with open(save_path, "w", encoding="utf-8") as f: # 写入表头说明 f.write("商品ID|商品名称|售价|销量|采集时间\n") for item in data: # 字段拼接，统一分隔符 line = f"{item['goods_id']}|{item['goods_name']}|{item['price']}|{item['sales']}|{item['create_time']}\n" f.write(line) print(f"TXT文件导出完成：{save_path}") # 调用执行 export_to_txt(crawl_goods_data, "./crawl_goods.txt")

2.3 代码原理详解

采用 Python 内置open函数以写入模式创建文件，指定utf-8编码彻底杜绝中文乱码；使用固定分隔符拼接字段，保证文本数据规整可读；逐行循环写入，降低单次 IO 压力，适配十万级数据批量写入；纯内置模块实现，无第三方依赖，服务器无环境限制即可运行。

2.4 TXT 格式优缺点

表格

三、通用结构化格式：CSV 批量导出

3.1 适用业务场景

CSV 是爬虫数据分析、数据交换最常用的轻量结构化格式，体积远小于 Excel，可被 Excel、WPS、Python、数据分析工具直接解析，广泛应用于爬虫批量数据归档、大数据平台导入、离线数据分析场景，是爬虫项目首选通用导出格式。

3.2 原生 CSV 模块实现

python

运行

import csv def export_to_csv(data: list, save_path: str): """ 原生csv模块批量导出CSV """ if not data: return # 获取表头字段 headers = list(data[0].keys()) with open(save_path, "w", encoding="utf-8-sig", newline="") as f: writer = csv.DictWriter(f, fieldnames=headers) writer.writeheader() writer.writerows(data) print(f"CSV文件导出完成：{save_path}") export_to_csv(crawl_goods_data, "./crawl_goods.csv")

3.3 Pandas 高性能批量导出

面对万级、十万级海量爬虫数据，Pandas 写入效率远高于原生模块，支持自动类型识别、数据清洗、批量压缩写入：

python

运行

import pandas as pd def export_to_csv_pd(data: list, save_path: str): df = pd.DataFrame(data) # utf-8-sig编码解决Excel打开中文乱码 df.to_csv(save_path, index=False, encoding="utf-8-sig") print(f"Pandas批量导出CSV完成：{save_path}") export_to_csv_pd(crawl_goods_data, "./crawl_goods_pd.csv")

3.4 代码原理详解

原生csv.DictWriter适配字典列表数据，自动匹配表头与字段映射，newline=""规避多行空白行问题；Pandas 将爬虫列表数据转为 DataFrame 结构化对象，底层优化 IO 逻辑，批量写入采用缓冲区机制，大幅提升大数据量写入效率；utf-8-sig编码兼容 Windows 办公软件，彻底解决 CSV 中文乱码问题。

四、办公报表格式：Excel 批量导出

4.1 适用业务场景

Excel（XLSX）格式面向办公场景，支持单元格格式调整、多工作表拆分、数据筛选可视化，适用于爬虫数据交付、业务报表输出、人工审核编辑等需求，是企业级爬虫对外数据交付的标准格式。

4.2 单工作表 Excel 导出

python

运行

def export_to_excel(data: list, save_path: str): df = pd.DataFrame(data) # openpyxl引擎支持高版本Excel写入 df.to_excel(save_path, index=False, engine="openpyxl") print(f"Excel文件导出完成：{save_path}") export_to_excel(crawl_goods_data, "./crawl_goods.xlsx")

4.3 多工作表批量拆分导出

爬虫多分类数据可拆分至不同工作表，实现一次导出、多维度数据分类存储：

python

运行

def export_excel_multi_sheet(data1: list, data2: list, save_path: str): with pd.ExcelWriter(save_path, engine="xlsxwriter") as writer: pd.DataFrame(data1).to_excel(writer, sheet_name="数码商品", index=False) pd.DataFrame(data2).to_excel(writer, sheet_name="配件商品", index=False) print(f"多工作表Excel导出完成") # 模拟分类拆分数据 data_a = crawl_goods_data[:3] data_b = crawl_goods_data[3:] export_excel_multi_sheet(data_a, data_b, "./crawl_goods_multi.xlsx")

4.4 代码原理详解

依托openpyxl与xlsxwriter双 Excel 写入引擎，分别适配日常写入与复杂多表单场景；Pandas 封装 Excel 底层读写逻辑，自动完成数据类型映射，数字、文本、时间字段自动区分；多工作表通过ExcelWriter上下文管理器实现统一文件写入，减少文件重复创建开销，适合多模块爬虫数据合并导出。

4.5 Excel 格式优缺点

表格

五、接口交互格式：JSON 批量导出

5.1 适用业务场景

JSON 是前后端交互、接口对接、分布式数据传输的标准格式，天然适配字典、列表嵌套结构，完美匹配爬虫采集的非结构化、嵌套类数据，适用于爬虫数据对接 API 接口、配置文件存储、嵌套分类数据持久化等场景。

5.2 基础 JSON 文件导出

python

运行

import json def export_to_json(data: list, save_path: str): with open(save_path, "w", encoding="utf-8") as f: # ensure_ascii=False 保留中文，indent格式化缩进 json.dump(data, f, ensure_ascii=False, indent=4) print(f"JSON文件导出完成：{save_path}") export_to_json(crawl_goods_data, "./crawl_goods.json")

5.3 压缩型单行 JSON 导出

海量爬虫数据场景下，格式化缩进会增大文件体积，单行压缩格式可节省存储空间，提升读取速度：

python

运行

def export_to_json_compress(data: list, save_path: str): with open(save_path, "w", encoding="utf-8") as f: json.dump(data, f, ensure_ascii=False, separators=(",", ":")) print(f"压缩JSON导出完成：{save_path}") export_to_json_compress(crawl_goods_data, "./crawl_goods_compress.json")

5.4 代码原理详解

Python 内置json模块实现数据序列化，ensure_ascii=False关闭中文转义，保证中文正常显示；indent参数控制格式化排版，便于人工查看；separators自定义分隔符去除多余空格，实现文件压缩；JSON 直接保留爬虫原始嵌套结构，无需字段转换，嵌套层级复杂的爬虫数据导出优势显著。

六、大数据高性能格式：Parquet 批量导出

6.1 适用业务场景

Parquet 是列式存储高性能文件格式，具备高压缩比、快速读取、字段分级存储的特性，广泛应用于大数据爬虫、离线数仓、海量爬虫数据归档、机器学习数据集存储场景，百万级千万级爬虫数据导出首选格式。

6.2 Parquet 格式导出代码

python

运行

def export_to_parquet(data: list, save_path: str): df = pd.DataFrame(data) # pyarrow作为底层引擎写入parquet df.to_parquet(save_path, index=False, engine="pyarrow") print(f"Parquet高性能文件导出完成：{save_path}") export_to_parquet(crawl_goods_data, "./crawl_goods.parquet")

6.3 代码原理详解

基于 pyarrow 引擎实现列式数据写入，区别于行式存储文件，Parquet 仅读取所需字段，大幅提升大数据查询效率；内置高效压缩算法，同等数据量下文件体积仅为 CSV 的 30%~50%；支持复杂数据类型、时间类型、浮点类型精准存储，适合长期海量爬虫数据冷归档。

七、一键多格式批量统一导出封装

7.1 工程化通用封装函数

在实际爬虫项目中，单独调用各类导出方法冗余度高，封装统一入口函数，实现一次传入数据、自动导出全部格式，大幅简化开发代码：

python

运行

def export_all_format(data: list, base_name: str): """ 一键批量导出：TXT/CSV/Excel/JSON/Parquet :param data: 爬虫结构化数据 :param base_name: 文件基础名称 """ export_to_txt(data, f"{base_name}.txt") export_to_csv_pd(data, f"{base_name}.csv") export_to_excel(data, f"{base_name}.xlsx") export_to_json(data, f"{base_name}.json") export_to_parquet(data, f"{base_name}.parquet") print("全部格式批量导出任务执行完毕") # 一键调用 export_all_format(crawl_goods_data, "./goods_crawl_data")

7.2 批量分块导出优化

针对百万级超大数据，单批次写入易造成内存溢出，增加数据分块逻辑，分批循环写入，保障服务器稳定运行：

python

运行

def batch_export_split(data: list, base_name: str, chunk_size=20000): """大文件分块批量导出""" total = len(data) for i in range(0, total, chunk_size): chunk_data = data[i:i+chunk_size] export_all_format(chunk_data, f"{base_name}_分片{i}") print(f"分块批量导出完成，总分片数量：{(total + chunk_size - 1) // chunk_size}")

八、五大导出格式全方位对比

表格

九、批量导出常见异常与解决方案

9.1 中文乱码问题

所有文件写入强制指定utf-8编码，CSV 格式优先使用utf-8-sig，兼容 Windows 系统 Office 软件，从编码层面彻底解决乱码。

9.2 大文件内存溢出

采用分块分片写入、逐行 IO 替代全量加载、关闭不必要的数据缓存，降低内存占用，适配服务器低配置环境。

9.3 特殊字符导出报错

爬虫数据常包含换行符、引号、特殊符号，导出前增加数据清洗，转义特殊字符，避免文件解析失败。

9.4 文件写入权限不足

服务端部署时，配置文件夹读写权限，采用相对路径保存文件，规避系统权限拦截导致的导出失败。