100 天学会爬虫 · Day 12：为什么要给爬虫加随机 User-Agent？原理与实战
在前一天，我们解决了一个非常基础但致命的问题：访问频率。
很多同学在把速度“降下来”之后，会发现一个新现象：
访问不那么快了
也加了随机 sleep
但还是会偶尔返回 403
或者跑一段时间后被限制
这往往不是频率问题，而是另一个非常关键的“身份特征”暴露了你 ——
User-Agent（UA）。
今天我们就系统讲清楚：
User-Agent 是什么
服务器为什么会检查它
为什么“固定 UA”很危险
如何在爬虫中实现“随机 UA”
新手最容易犯的 UA 错误
🔍 一、什么是 User-Agent？
User-Agent是 HTTP 请求头中的一个字段，用来告诉服务器：
“我是谁？我用的是什么设备？什么浏览器？什么系统？”
例如，一个常见的浏览器 UA：
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36服务器会通过 UA 判断：
你是不是浏览器
你是不是移动端
你是不是爬虫程序
🧠 二、为什么固定 User-Agent 很危险？
新手最常见的写法是：
headers = { "User-Agent": "Mozilla/5.0" }或者干脆不写 UA，让 requests 使用默认值：
python-requests/2.x.x这两种写法，都非常容易被识别。
❌ 固定 UA 的三大问题
1️⃣ 同一个 UA 出现成百上千次请求
真实用户几乎不可能这样。
2️⃣ UA 与行为不匹配
例如：
UA 是 Chrome
行为却像脚本（高频、规律）
3️⃣ requests 默认 UA 属于“高危特征”
很多网站直接对其限流或拒绝。
📌 结论很明确：
固定 User-Agent = 给服务器一个“稳定识别你”的标签。
🧭 三、服务器是如何利用 User-Agent 反爬的？
常见的 UA 校验方式包括：
✅ 1. 黑名单 UA
例如：
python-requests
scrapy
curl
wget
一旦命中，直接拒绝。
✅ 2. UA 频率异常
同一 UA：
短时间内大量请求
来自同一个 IP
行为高度一致
👉 判定为自动化程序。
✅ 3. UA 与其他 Headers 不一致
例如：
UA 显示是 Chrome
却没有 Accept / Accept-Language
或缺少浏览器特有字段
这在服务器日志中非常明显。
🛠 四、正确的做法：使用“随机 User-Agent”
真正安全的做法不是“伪造一个 UA”，
而是：
在合理范围内，随机切换多个真实浏览器 UA。
🧪 五、最基础的随机 UA 实现方式
示例 1：手写 UA 列表（新手可用）
import random UA_LIST = [ "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 " "(KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 " "(KHTML, like Gecko) Version/17.0 Safari/605.1.15", "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:121.0) Gecko/20100101 Firefox/121.0" ] headers = { "User-Agent": random.choice(UA_LIST) }每次请求都会随机选一个 UA。
🧰 六、进阶：每次请求动态生成 UA
如果你不想维护 UA 列表，可以使用第三方库（原理了解即可）：
from fake_useragent import UserAgent ua = UserAgent() headers = { "User-Agent": ua.random }⚠️ 注意：
有些环境需要本地缓存
不要在高并发中频繁生成
🚨 七、随机 UA 的常见误区（非常重要）
❌ 误区 1：UA 随机得“太夸张”
例如：
一会儿 Windows
一会儿 Android
一会儿 iPhone
一会儿 Linux
但行为却完全一致，这反而更异常。
📌 建议：
同一爬虫任务，固定设备类型（如 PC），在同类 UA 中随机。
❌ 误区 2：UA 与 Referer / Accept 不匹配
如果 UA 是 Chrome，建议同时带上：
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9", "Accept-Language": "zh-CN,zh;q=0.9"让整体更像真实浏览器。
❌ 误区 3：只随机 UA，不控制频率
UA 不是“免死金牌”。
它必须与：
合理的请求频率
Session
Cookie
行为路径
一起使用，才有效。
🧩 八、推荐的“新手 UA 使用策略”
给你一个安全、易执行的组合方案：
固定为PC 浏览器 UA
准备5–10 个真实 UA
每次请求随机选 1 个
搭配随机 sleep
同一会话（Session）中 UA 不频繁变
这已经能应对大多数基础反爬。
📌 九、UA 在反爬体系中的位置（认知很重要）
你可以这样理解当前阶段的反爬：
频率（Day 11）
UA（Day 12）
Headers 一致性
Cookie / Session
行为路径
UA 是第二道门槛，非常关键。
✅ 总结
今天你系统掌握了：
✔ 什么是 User-Agent
✔ 服务器如何通过 UA 识别爬虫
✔ 为什么固定 UA 很危险
✔ 如何实现随机 UA
✔ 随机 UA 的正确姿势
✔ 新手最容易踩的 UA 坑
✔ UA 在反爬体系中的真实位置
从 Day 12 开始，你的爬虫已经具备了基础“身份伪装能力”。
📣（隐性引流，不违规）
如果你在实际项目中遇到：
UA 随机了还是被封
UA 与 Headers 不知道如何搭配
不清楚该用 PC 还是移动端 UA
UA 切换时机拿捏不好
想整体优化请求“指纹一致性”