一、爬虫IP被封的三大根源（附解决方案）

1. 使用数据中心IP触发反爬机制

症状：首次请求就被封IP，或采集几十页后突然中断

根源：机房IP段被重点监控，特征明显易识别

  1. 访问LIKE.TG住宅IP服务选择"爬虫专用"套餐
  2. 注册后进入控制台，获取API接口地址
  3. 在Scrapy项目中配置middleware：
    ROTATING_PROXY_LIST = ['ip1:port','ip2:port']
  4. 设置自动切换频率（建议5-10分钟）

2. IP纯净度不足导致验证码频发

症状：不断弹出reCAPTCHA验证，采集效率降低80%

根源：IP被多人重复使用或来自黑名单地区

  1. 选择住宅IP而非机房IP（个人推荐LIKE.TG的韩国/日本节点）
  2. 在请求头中添加真实浏览器指纹：
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0)'}
  3. 启用自动验证码识别服务（如2Captcha）

3. 并发过高暴露爬虫特征

症状：服务器返回403错误或连接超时

根源：单IP请求频率超出正常用户行为

  1. 使用代理池实现请求分流（建议500+IP的月付套餐）
  2. 设置随机延迟：
    DOWNLOAD_DELAY = random.uniform(1,3)
  3. 启用自动降频机制，当收到429状态码时暂停30分钟
个人经验：采集电商数据时，配合住宅IP+行为模拟，成功率能从40%提升至92%。关键是IP质量而非数量。