1. 问题现象与背景解析最近在帮朋友调试一个Python爬虫项目时遇到了一个棘手的问题使用Requests库请求某个电商网站时服务器始终返回521状态码。这个状态码在HTTP协议中并不常见常规的404、403错误大家都很熟悉但521确实让不少开发者感到困惑。我查阅了RFC文档和各大技术社区发现521状态码属于Cloudflare自定义的HTTP状态码官方定义为Web Server Is Down。但实际情况中当网站启用了Cloudflare的反爬机制时也会返回这个状态码。这意味着我们的请求被识别为爬虫行为触发了防护机制。2. 521状态码的产生原理2.1 Cloudflare的防护机制Cloudflare作为全球知名的CDN和安全服务提供商其反爬系统主要依赖以下几个技术点JavaScript挑战服务器会返回一段包含加密计算的JS代码浏览器需要正确执行并返回计算结果Cookie验证首次访问会设置一个验证cookie后续请求需要携带这个cookie浏览器指纹检测User-Agent、HTTP头完整性等浏览器特征当这些验证未通过时Cloudflare不会将请求转发给源站而是直接返回521状态码。这就是为什么我们用Requests这类简单HTTP库无法获取内容的原因。2.2 请求过程分析让我们用Wireshark抓包看看正常浏览器访问和Python请求的区别浏览器访问流程第一次GET请求 → 返回521 JS挑战代码浏览器执行JS → 计算并提交验证参数第二次GET请求携带验证cookie → 返回200和实际内容Python直接请求流程发送GET请求 → 返回521 JS代码由于没有JS执行环境无法完成验证后续请求仍然返回5213. 解决方案实现3.1 方案一模拟JS执行这是最接近真实浏览器的解决方案。我们需要使用requests获取初始响应用pyexecjs等库执行返回的JS代码提取计算结果并构造验证请求import requests import execjs url https://target-site.com headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 } # 第一次请求获取JS挑战 resp requests.get(url, headersheaders) js_code extract_js_challenge(resp.text) # 需要实现提取JS的函数 # 执行JS计算 ctx execjs.compile(js_code) result ctx.eval(calculate()) # 携带计算结果再次请求 cookies {__cf_bm: result} resp requests.get(url, headersheaders, cookiescookies)注意这种方法需要定期维护JS提取逻辑因为Cloudflare会更新挑战算法3.2 方案二使用自动化浏览器对于复杂的JS挑战可以使用Selenium等工具from selenium import webdriver from selenium.webdriver.chrome.options import Options options Options() options.add_argument(--headless) driver webdriver.Chrome(optionsoptions) driver.get(https://target-site.com) content driver.page_source driver.quit()优点是完全模拟真实浏览器行为缺点是性能开销大。3.3 方案三复用已有Cookie如果已经通过浏览器获取了有效cookie可以直接复用import requests cookies { __cfduid: xxxx, __cf_bm: yyyy } headers { User-Agent: Mozilla/5.0... } resp requests.get(url, headersheaders, cookiescookies)4. 高级技巧与优化4.1 请求头精细化Cloudflare会检查请求头的完整性至少需要包含User-AgentAcceptAccept-LanguageAccept-EncodingConnectionheaders { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64), Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/webp,*/*;q0.8, Accept-Language: en-US,en;q0.5, Accept-Encoding: gzip, deflate, br, Connection: keep-alive, Upgrade-Insecure-Requests: 1 }4.2 请求间隔控制过于频繁的请求会触发更严格的反爬import random import time def random_delay(): time.sleep(random.uniform(1, 3))4.3 使用Session保持状态session requests.Session() session.headers.update(headers) session.get(url) # 第一次获取cookie resp session.get(url) # 第二次使用cookie5. 常见问题排查5.1 方案失效怎么办Cloudflare会定期更新挑战算法如果原有方案失效检查最新的JS挑战代码是否有变化更新User-Agent到最新版本增加更多浏览器特征头5.2 遇到验证码怎么办如果触发了更严格的人机验证考虑使用第三方打码服务降低请求频率使用代理IP轮询5.3 性能优化建议对于大规模爬取使用异步请求aiohttp实现cookie池管理分布式IP代理import aiohttp import asyncio async def fetch(session, url): async with session.get(url) as response: return await response.text() async def main(): async with aiohttp.ClientSession() as session: html await fetch(session, url)6. 法律与道德考量在实施这些技术方案前请务必检查目标网站的robots.txt遵守网站的服务条款控制请求频率避免对目标服务器造成负担考虑使用官方API替代爬虫在实际项目中我通常会先尝试联系网站方获取数据接口。很多网站其实提供了开发者友好的API只是需要申请权限。这比绕过反爬机制更稳定、更合规。对于必须使用爬虫的场景建议设置合理的请求间隔并在User-Agent中明确标识你的爬虫信息和联系方式这既是对网站方的尊重也能在出现问题时有沟通渠道。 
长河君 · 2026/10/15 9:04:28 · 阅读 1.2k Python爬虫解决Cloudflare 521反爬问题
1. 问题现象与背景解析最近在帮朋友调试一个Python爬虫项目时遇到了一个棘手的问题使用Requests库请求某个电商网站时服务器始终返回521状态码。这个状态码在HTTP协议中并不常见常规的404、403错误大家都很熟悉但521确实让不少开发者感到困惑。我查阅了RFC文档和各大技术社区发现521状态码属于Cloudflare自定义的HTTP状态码官方定义为Web Server Is Down。但实际情况中当网站启用了Cloudflare的反爬机制时也会返回这个状态码。这意味着我们的请求被识别为爬虫行为触发了防护机制。2. 521状态码的产生原理2.1 Cloudflare的防护机制Cloudflare作为全球知名的CDN和安全服务提供商其反爬系统主要依赖以下几个技术点JavaScript挑战服务器会返回一段包含加密计算的JS代码浏览器需要正确执行并返回计算结果Cookie验证首次访问会设置一个验证cookie后续请求需要携带这个cookie浏览器指纹检测User-Agent、HTTP头完整性等浏览器特征当这些验证未通过时Cloudflare不会将请求转发给源站而是直接返回521状态码。这就是为什么我们用Requests这类简单HTTP库无法获取内容的原因。2.2 请求过程分析让我们用Wireshark抓包看看正常浏览器访问和Python请求的区别浏览器访问流程第一次GET请求 → 返回521 JS挑战代码浏览器执行JS → 计算并提交验证参数第二次GET请求携带验证cookie → 返回200和实际内容Python直接请求流程发送GET请求 → 返回521 JS代码由于没有JS执行环境无法完成验证后续请求仍然返回5213. 解决方案实现3.1 方案一模拟JS执行这是最接近真实浏览器的解决方案。我们需要使用requests获取初始响应用pyexecjs等库执行返回的JS代码提取计算结果并构造验证请求import requests import execjs url https://target-site.com headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 } # 第一次请求获取JS挑战 resp requests.get(url, headersheaders) js_code extract_js_challenge(resp.text) # 需要实现提取JS的函数 # 执行JS计算 ctx execjs.compile(js_code) result ctx.eval(calculate()) # 携带计算结果再次请求 cookies {__cf_bm: result} resp requests.get(url, headersheaders, cookiescookies)注意这种方法需要定期维护JS提取逻辑因为Cloudflare会更新挑战算法3.2 方案二使用自动化浏览器对于复杂的JS挑战可以使用Selenium等工具from selenium import webdriver from selenium.webdriver.chrome.options import Options options Options() options.add_argument(--headless) driver webdriver.Chrome(optionsoptions) driver.get(https://target-site.com) content driver.page_source driver.quit()优点是完全模拟真实浏览器行为缺点是性能开销大。3.3 方案三复用已有Cookie如果已经通过浏览器获取了有效cookie可以直接复用import requests cookies { __cfduid: xxxx, __cf_bm: yyyy } headers { User-Agent: Mozilla/5.0... } resp requests.get(url, headersheaders, cookiescookies)4. 高级技巧与优化4.1 请求头精细化Cloudflare会检查请求头的完整性至少需要包含User-AgentAcceptAccept-LanguageAccept-EncodingConnectionheaders { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64), Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/webp,*/*;q0.8, Accept-Language: en-US,en;q0.5, Accept-Encoding: gzip, deflate, br, Connection: keep-alive, Upgrade-Insecure-Requests: 1 }4.2 请求间隔控制过于频繁的请求会触发更严格的反爬import random import time def random_delay(): time.sleep(random.uniform(1, 3))4.3 使用Session保持状态session requests.Session() session.headers.update(headers) session.get(url) # 第一次获取cookie resp session.get(url) # 第二次使用cookie5. 常见问题排查5.1 方案失效怎么办Cloudflare会定期更新挑战算法如果原有方案失效检查最新的JS挑战代码是否有变化更新User-Agent到最新版本增加更多浏览器特征头5.2 遇到验证码怎么办如果触发了更严格的人机验证考虑使用第三方打码服务降低请求频率使用代理IP轮询5.3 性能优化建议对于大规模爬取使用异步请求aiohttp实现cookie池管理分布式IP代理import aiohttp import asyncio async def fetch(session, url): async with session.get(url) as response: return await response.text() async def main(): async with aiohttp.ClientSession() as session: html await fetch(session, url)6. 法律与道德考量在实施这些技术方案前请务必检查目标网站的robots.txt遵守网站的服务条款控制请求频率避免对目标服务器造成负担考虑使用官方API替代爬虫在实际项目中我通常会先尝试联系网站方获取数据接口。很多网站其实提供了开发者友好的API只是需要申请权限。这比绕过反爬机制更稳定、更合规。对于必须使用爬虫的场景建议设置合理的请求间隔并在User-Agent中明确标识你的爬虫信息和联系方式这既是对网站方的尊重也能在出现问题时有沟通渠道。