一、为什么需要爬虫专用动态住宅IP（核心痛点）

1. 使用机房IP导致频繁封禁（报错403/429）

症状：目标网站返回"Access Denied"或要求验证码

根源：亚马逊/谷歌等平台能识别机房IP段，触发反爬机制

  1. 访问 LIKE.TG住宅IP服务 选择"动态住宅"套餐
  2. 在控制台获取API端点，例如：gateway.like.tg:8000
  3. 在Scrapy配置中添加： DOWNLOADER_MIDDLEWARES = { 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 543, 'scrapy.downloadermiddlewares.retry.RetryMiddleware': 550 } PROXY_USER = 'your_username' PROXY_PASSWORD = 'your_password' PROXY_ENDPOINT = 'gateway.like.tg:8000'

2. IP切换不及时导致数据缺失

症状：爬虫中途停止，日志显示"Connection reset"

根源：静态IP被目标网站加入黑名单

  1. 在LIKE.TG控制台开启"自动轮换"功能
  2. 设置IP更换频率（推荐每5-10请求更换1次）
  3. 添加异常重试机制： RETRY_TIMES = 3 RETRY_HTTP_CODES = [500, 502, 503, 504, 400, 403, 408]