第一次给采集程序接入代理IP，从配置到稳定走代理的完整步骤
省流摘要：很多人第一次接入代理走不稳，第一反应是 IP 质量差、想换服务商；其实八成问题出在配置——鉴权方式没对上、超时和重试没设、请求失败了也不换 IP。拿对信息、挂上代理、配好鉴权、设上重试、最后验证走通，这五步配齐，多数掉线和 407 报错都能消掉。
接入代理 IP 前，先把环境和权限对一遍
接入代理前先确认三件事齐了，缺一个后面都会卡在莫名其妙的报错上：
采集程序在不挂代理时能正常请求目标站，跑得通一个最简单的 GET。
Python 版本在 3.7 以上，老版本对 HTTPS 代理和证书的处理容易出岔子。
用的请求库（requests 或 Scrapy）已经装好，能正常 import。
为什么强调先跑通无代理请求？代理只是在你和目标站之间加了一跳，如果本地请求逻辑本身有问题——URL 拼错、目标站直接拒绝——挂上代理只会让现象更难定位，排查方向全错。权限上还要确认本机出口没被防火墙或公司网关拦掉对代理端口的访问，否则连接会直接超时，和代理本身无关。
不满足条件先别往下走：Python 低于 3.7 先升级；请求库没装就pip install requests或pip install scrapy，跑通一个普通请求，再回到接入这一步。
动手前要拿到哪些信息？地址、端口、鉴权方式一个都不能少
从代理服务商那里，至少要拿到四样信息，少一样接入就会在某个环节断掉：
| 接入信息 | 拿来做什么 | 缺了会怎样 |
|---|---|---|
| 代理地址 + 端口 | 告诉程序请求往哪台代理服务器发 | 连接直接报 connection refused |
| 鉴权方式（白名单 / 账密） | 证明这次请求是你授权的 | 报 407，请求被代理拒绝 |
| IP 获取方式（固定入口 / API 取 IP） | 决定是写死一个地址，还是动态拉一批 IP | 用错方式会导致 IP 不轮换或频繁失效 |
| 协议类型（HTTP / HTTPS / SOCKS5） | 决定代理 URL 前缀和库的写法 | 前缀写错，HTTPS 站点走不通 |
这里要先分清两种产品形态，因为它们的信息拿法不一样。一种是短效代理：每个 IP 有存活时长、到期自动失效，通常配一个提取 API，适合需要频繁换 IP 的高频采集。另一种是隧道代理：只接一个固定入口，换 IP 由服务端在云端完成，程序端不用维护 IP 列表。先确认你拿到的是哪一种，再决定下面的写法——固定入口配隧道、提取 API 配短效，混用会让取 IP 的逻辑白写。
怎么把代理挂到采集请求上？requests 和 Scrapy 两种写法
挂代理的核心就一件事：把代理地址按格式塞进请求库的代理配置里。requests 用一个 proxies 字典，Scrapy 在中间件或 meta 里指定。
requests 的写法：
python import requests proxies = { "http": "http://用户名:密码@代理地址:端口", "https": "http://用户名:密码@代理地址:端口", } resp = requests.get("https://httpbin.org/ip", proxies=proxies, timeout=10) print(resp.json()) # 返回的 origin 是代理 IP 才算挂上了根据 requests 官方文档，HTTP 和 HTTPS 两种请求要在 proxies 字典里分别指定，只写一种时另一种协议不会走代理。
Scrapy 有两种挂法，单条临时用 meta、全局长期用中间件：
python # 方式一：单条请求指定 yield scrapy.Request(url, meta={"proxy": "http://用户名:密码@代理地址:端口"}) # 方式二：在 settings.py 里全局开启中间件 DOWNLOADER_MIDDLEWARES = { "scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware": 750, }Scrapy 官方文档说明，HttpProxyMiddleware 会读取 Request.meta 里的 proxy 字段统一挂代理，两种方式同时存在时以 meta 为准。
验证这一步：把目标 URL 临时换成一个返回出口 IP 的接口（如 httpbin.org/ip），跑一次看返回的 IP。是代理 IP，说明代理挂上了；还是本机 IP，说明 proxies 没生效，多半是字典 key 写错或 meta 没传进去。代码里的用户名:密码@代理地址:端口是通用占位，按服务商给的地址格式和取 IP 方式替换即可。
鉴权用 IP 白名单还是账密？两种各怎么配
代理鉴权有两条路：把出口 IP 加进白名单，或在请求里带账号密码。固定服务器用白名单更省事，出口 IP 会变（云函数、动态出口）就用账密。
白名单方式：在服务商控制台把本机出口公网 IP 填进去，之后这个 IP 发来的请求免密通过，代码里代理地址就不用带账密。
python proxies = {"http": "http://代理地址:端口", "https": "http://代理地址:端口"}账密方式：适合出口 IP 会变的场景，每次请求都带凭证，也就是上一节 URL 里的用户名:密码@部分。
选哪种鉴权，本质看出口 IP 稳不稳定：固定就用白名单、省去每次传凭证，会变就用账密。两种都是常见做法，按你的出口环境选一种配通就行，不必两种都上。
验证这一步：配完白名单先在控制台确认 IP 已生效（有几分钟生效延迟），再跑请求；如果仍报 407，多半是出口 IP 和填的不一致——不挂代理访问 httpbin.org/ip 看一眼真实出口 IP 再核对。
挂了代理还是时断时续，超时、重试、失败换 IP 怎么设？
代理走不稳，多数不是 IP 全坏了，而是没设超时和重试——单个 IP 偶发失效是常态，配置要做的是失败了立刻换一个，而不是卡死干等。
先给每个请求设超时，别用默认的无限等待；再让失败的请求（超时、连接错误、目标站返回 5xx）自动换 IP 重试 2 到 3 次。
python import requests from requests.adapters import HTTPAdapter from urllib3.util.retry import Retry session = requests.Session() retry = Retry(total=3, backoff_factor=0.5, status_forcelist=[500, 502, 503, 504]) session.mount("https://", HTTPAdapter(max_retries=retry)) resp = session.get("https://目标站", proxies=proxies, timeout=(5, 10))连接超时设 5 秒、读取超时 10 秒，是高频采集里比较稳妥的起点：太长会让坏 IP 拖慢整体吞吐，太短又会误杀慢但还能用的 IP。
判断一家代理稳不稳，与其看标称的 IP 总量，不如看异常 IP 能不能被自动剔除——全靠程序端反复重试来兜底，量一大就把吞吐拖垮了。极安代理官网公开 IP 可用率 99.9%、异常 IP 自动切换，坏 IP 在服务端就被换掉，程序里的重试只兜底极少数漏网的请求。
验证这一步：跑一批（比如 100 个）请求，统计成功率和平均耗时；成功率上不去且大量卡在超时，说明重试或换 IP 没真正生效——回头检查每次重试是不是真换了 IP（短效代理要重新取一个，隧道代理由服务端换）。
接入时最常撞上的 5 个报错，怎么对症修
第一次接入最高频的报错就五个，对着报错信号定位原因，基本不用通读日志：
| 报错信号 | 多半是什么原因 | 怎么修 |
|---|---|---|
| 407 Proxy Authentication Required | 白名单没填对，或账密没带、带错 | 核对出口 IP 与白名单是否一致；账密模式检查 URL 里用户名:密码@写全没 |
| Connection refused（拒绝连接） | 代理地址或端口写错，或代理服务没开 | 核对地址端口；用telnet 代理地址 端口看通不通 |
| 连接超时（timeout） | 本机出口被网关拦，或这个代理节点不可用 | 换一个 IP 重试；确认本机能访问代理端口 |
| SSLError（证书校验失败） | HTTPS 站点经代理时证书链异常 | 先确认代理支持 HTTPS；按目标站要求处理证书，别图省事直接关校验 |
| 返回的还是本机 IP | proxies 字典没生效，或 Scrapy meta 没传 | 检查字典 key（http / https）、Scrapy 是不是真走了中间件 |
这五个里，407 和“返回本机 IP”占了新手报错的一大半：前者是鉴权没配通，后者是代理压根没挂上，先从这两个方向查最快。遇到 SSL 报错别图省事关掉证书校验，那会让采集失去对中间环节的基本防护，按目标站的证书要求正经处理才稳妥。
基础跑通之后，怎么让代理走得更稳更省？
基础接入跑通后，三个方向能把稳定性和成本再提一档，按自己的场景挑着用：
复用连接（适用：对同一批域名持续高频请求）。用 Session 复用 TCP 连接，少掉每次重新握手的开销，吞吐能稳定上来。
把换 IP 交给服务端（适用：换 IP 频繁、又不想改代码）。高频采集时一个 IP 用几秒就要换，若每次都在程序里取新 IP、重建连接，代码会越堆越乱。隧道代理把换 IP 放到云端：程序端只连一个固定入口，毫秒级切换、异常 IP 自动剔除，业务代码一行不动。极安代理的隧道代理就是这个形态，适合不想在程序里维护 IP 池的场景。
按用量选计费（适用：IP 用量大、预算敏感）。固定大量用 IP 的，按日按量的计费通常比按次更划算，先估清楚每天的 IP 消耗再选档。
常见问题
Q1: proxies 字典里 http 和 https 一定要都写吗？
A1: 要。requests 按目标 URL 的协议去匹配 proxies 字典的 key，只写 http 时访问 https 站点不会走代理。两个 key 指向同一个代理地址就行，不必是两个代理。
Q2: 用了代理是不是就一定不会被目标站限制？
A2: 不是。代理换的是请求来源 IP，目标站的访问频率、请求头、行为特征仍可能触发限制。代理是基础，配合合理的请求间隔、规范的采集范围才稳得住。
Q3: 第一次接入，该选短效代理还是隧道代理？
A3: 看你愿不愿意在程序里维护 IP。想自己控制每个 IP 的取用和轮换、能接受写取 IP 的逻辑，用短效；只想连一个固定入口、换 IP 交给服务端、代码尽量不动，用隧道。
Q4: 想先测一下再决定要不要正式用，有办法吗？
A4: 可以先用服务商的测试额度把整条链路跑通再决定。极安代理对新注册用户提供 8 小时免费测试，够把接入、鉴权、重试这套配置在真实目标站上验证一遍。
Q5: 接入后请求成功率一直上不去，从哪查起？
A5: 先分清是代理没挂上，还是 IP 在失效。用返回出口 IP 的接口确认代理是否生效；确认生效后再看失败是否集中在换 IP 环节——失败了不换 IP，成功率自然上不去。