高性能计算在调查新闻中的应用：从Selenium到异步API

引言：高性能网络采集在调查新闻中的价值

调查新闻往往需要从海量数据中发现隐藏的不公。近年，美国几大互联网服务提供商被指控在低收入和少数族裔社区提供更慢的网速，却收取与高速光纤相同的价格。为了验证这一"数字歧视"问题，需要大规模收集数百万地址的网速数据。这给技术团队带来了严峻的性能挑战：如何在合理时间内完成大规模、多步骤的网页数据采集？

本文将从一个真实案例出发，拆解如何从缓慢的Selenium浏览器自动化，逐步演进到基于异步API的高性能采集方案，将每日处理量从300个地址提升至30万，实现1000倍的性能飞跃。

Selenium爬虫的困境：慢到无法接受

问题描述

目标网站（以AT&T为例）的网速查询是一个多步骤交互过程：输入地址、选择公寓号、选择光纤或DSL。每个步骤都会向服务器发送HTTP请求。由于流程复杂，初期采用了Selenium模拟浏览器操作，这种方式虽然易于实现，但存在严重性能问题：

• 每次请求都要加载完整页面：包括JavaScript、CSS、图片等资源，网络开销极大。
• IP限制：同一IP频繁请求会被服务器限流或封禁。
• 资源密集：每个Selenium实例需要运行一个独立浏览器进程，内存和CPU消耗高。

性能数据

即使使用Multiprocessing同时打开9个浏览器并行处理，每天也只能采集约300个地址