爬虫进阶必学：彻底吃透 element.contents，手写动态内容解析与子节点精控

目录

一、一个让我翻车的真实案例

二、element.contents 到底是什么？

2.1 官方定义与本质

2.2 与 .children 的区别

2.3 与 .descendants 的区别

三、环境准备与基础演示（真机实测代码）

3.1 安装库（版本锁定，避免踩坑）

3.2 一个最小示例唤醒记忆

四、核心应用场景（全是实战场合）

场景1：混合内容中提取纯文本但保留顺序与间隔

场景2：基于索引精准删除或替换某个子节点

场景3：递归展开混合内容，实现“所见即所得”文本

五、与 alternative 方案的横向对比（帮你面试装X）

六、在真实爬虫项目中集成 .contents（完整项目示例）

项目：爬取知乎热榜，提取每个问题下的“描述混合内容”

七、性能陷阱与最佳实践（血的教训）

7.1 大文档慎用 .contents 多层嵌套

7.2 不要在循环中修改正在迭代的 .contents

7.3 文本节点与空白字符

八、扩展进阶：用 contents 实现类 XPath 的“按位置选择”

一、一个让我翻车的真实案例

两周前，我在爬一个电商网站的商品评价。
HTML 长这样：

html

<div> 这个产品真的不错 <span>强烈推荐</span> 下次还会再来 <!-- 这是一条内部备注 --> <br> </div>

我用 soup.find('div', class_='review-text').get_text() 提取文本，结果：

text

这个产品真的不错强烈推荐下次还会再来

连续拼接，没空格，没区分。
而且把注释也带进来了？不，get_text() 默认不取注释，但注释的干扰在于：我想精确控制哪些子节点要、哪些不要。

于是我翻到了 element.contents —— 一个绝大多数爬虫教程