数据采集用什么 IP?代理类型与频控策略
采集被封,通常不是"IP 不够多",而是频控、指纹和请求特征这三件事没处理好。
一、三种代理的定位
| 类型 | 成本 | 适合 |
|---|---|---|
| 机房代理 | 低 | 无反爬或弱反爬站点、内部数据 |
| 住宅代理 | 中高 | 电商、社媒、有风控的站点 |
| 移动代理 | 高 | 强风控、按设备识别的平台 |
二、频控比换 IP 更重要
- 单 IP QPS 控制在目标站点可接受范围;
- 请求间隔随机化,避免固定节奏;
- 失败重试要退避,不要立刻重试。
三、被封后的处理
- 先判断是 IP 封、账号封还是指纹封;
- IP 封:换段、降频;
- 指纹封:换 UA、Cookie、TLS 指纹;
- 账号封:换账号体系,不要复用登录态。
四、合规提醒
采集需遵守目标站点的 robots 协议与当地法律,不要采集个人隐私数据或绕过付费墙。
常见问题
- 住宅代理比机房代理贵多少?
- 通常按流量计费,单价是机房代理的数倍到数十倍。
- 一个 IP 每秒请求多少合适?
- 视目标站点而定,一般 1–2 QPS 起步,观察封禁率再调整。
- 采集需要指纹浏览器吗?
- 强风控站点建议配合,减少指纹关联。
