一、爬虫IP合规性核心问题（法律/平台规则/技术）

1. 使用私人IP采集数据是否违法？

症状：收到律师函或平台封禁通知

根源：各国数据保护法差异（如GDPR第6条要求合法依据）

  1. 确认目标网站robots.txt协议（例：访问https://www.example.com/robots.txt）
  2. 商业数据采集需满足：① 数据非个人隐私 ② 遵守CCPA/GDPR ③ 请求频率≤5次/秒
  3. 敏感领域（金融/医疗）建议咨询合规顾问

2. 为什么住宅IP比机房IP更安全？

症状：IP被标记为"数据中心"导致封号

根源：平台通过ASN数据库识别IP类型

  1. 检测当前IP类型：访问IPinfo.io查看ASN字段
  2. 更换为住宅IP：推荐LIKE.TG动态住宅IP（覆盖200+国家）
  3. 设置自动轮换：每100个请求更换1次出口IP
实测数据：使用住宅IP后，TikTok账号存活率从17%提升至89%

3. 如何规避反爬机制？

症状：出现403错误或验证码拦截

根源：行为指纹检测（鼠标轨迹/Header完整性等）

  1. 配置完整Header：使用Fiddler捕获正常流量模板
  2. 模拟人类操作：请求间隔设置2-8秒随机延迟
  3. 浏览器自动化推荐Puppeteer Extra插件（自动处理验证码）