一、 代理选择致命误区 (爬取失败根源)

1. 使用数据中心IP导致封禁 (提示：HTTP 403错误)

症状：连续采集10分钟后IP被目标网站封禁，更换IP后仍快速失效

根源：亚马逊/谷歌云等机房IP已被反爬系统标记，特征码极易识别

  1. 访问 LIKE.TG住宅代理 注册账号
  2. 在控制台选择「动态住宅IP」-「按流量计费」套餐
  3. 通过API获取真实住宅IP，每个请求自动切换终端设备指纹

2. 代理速度拖累采集效率 (平均响应＞3秒)

症状：每个请求需要5-8秒才能返回数据，日采集量不足1万条

根源：廉价代理中转节点过多，跨国路由优化不足

  1. 在LIKE.TG后台开启「智能路由」功能
  2. 根据目标网站所在地选择对应国家住宅IP（如采集TikTok用美国IP）
  3. 设置并发线程数≤50（避免触发QPS限制）
实测：使用德国住宅IP采集亚马逊，平均响应时间从4.2秒降至0.8秒

3. 匿名度不足泄露真实IP (导致法律风险)

症状：目标网站能获取到采集者的ISP运营商和大致地理位置

根源：普通代理未清除X-Forwarded-For等头信息

  1. 在Scrapy中间件中添加自定义Header： headers = { 'Accept-Language': 'en-US,en;q=0.9', 'X-Proxy-Type': 'residential' }
  2. 启用LIKE.TG的「深度匿名」模式（自动擦除56个指纹特征）