
前两年做工业数据采集业务,碰过一个头部电商站点的价格监控项目。一开始团队踩了典型的新手思维:封IP就换住宅代理,出滑块就上轨迹算法,前前后后折腾了半个月,换了三家代理供应商,滑块通过率做到了95%,结果采集成功率还是不到40%,新IP刚上去请求三次就弹出人机验证。后来抓包逐层扒对方的风控逻辑,从TCP握手一直扒到前端行为埋点,才彻底搞明白:人家根本不是靠单一维度判你是不是爬虫,而是一套五层纵深防御体系,从网络层到业务层层层累加风险分。我们当时只搞定了最表层的IP和验证码,下面的协议指纹、设备环境两层全是红的,风险分早就爆了,出验证码都是轻的。做了这么多年对抗,我最大的感受是:绝大多数采集团队的技术投入,都集中在了最表层的IP和验证码上,而真正决定你能不能稳定跑的,是下面看不见的三层。今天就把这套五层检测模型完整拆开,从底层原理到检测点,再到实战应对思路,一层层讲透。一、第一层:网络层检测——IP信誉,第一道粗筛门网络层是所有请求的必经之路,也是风控的第一道闸门。这一层不看你请求内容,只看你是谁、从哪来,先把最明显的恶意流量拦在外面,大概能过滤掉15%的初级爬虫。1.1 核心检测维度这一层的判断依据全是连接本身的属性,不需要解析业务数据:IP类型与ASN归属:直接识别你是数据中心IP、住宅IP还是移动出口IP。机房IP的风险分天生就高,很多站点对云厂商IP段直接默认高风险,上来就给你弹验证。这也是为什么纯HTTP客户端配上云服务器代理,死得特别快的原因。IP信誉数据库