1. 为什么巨潮网年报数据值得专门写一套爬虫——不是所有PDF都叫“年报”很多人第一次接触巨潮网点开一家上市公司的“定期报告”栏目看到满屏的PDF文件下意识就以为“哦又是PDF得用PyPDF2或者pdfplumber去解析麻烦死了。”我去年也这么想。直到我把某家制造业龙头公司2019–2023年共15份年报PDF全部下载下来用pdfplumber逐页提取文本发现三件事第一年报里大量表格被渲染成图片尤其是财务附注中的明细表OCR识别错误率高达42%第二同一份年报在不同浏览器中导出的PDF结构不一致IE导出含页眉页脚Chrome导出无页眉但多一层SVG图层第三PDF里的“管理层讨论与分析”章节段落换行混乱空格和制表符混杂正则清洗后仍残留37%的语义断裂。但就在某次调试PDF解析脚本时我偶然在浏览器开发者工具的Network面板里刷新年报页面发现一个被忽略的请求/api/disclosure/query?...categorycategory_ndbg_szsh...。它返回的不是HTML也不是PDF链接而是一段标准JSON——里面直接包含年报标题、披露日期、PDF原始URL、以及最关键的年报全文的纯文本结构化摘要含章节标题层级、段落ID、关键词加权标签。这才是巨潮网年报数据的真实底座它根本不是“PDF优先”的系统而是以JSON为中枢、PDF为副产物的双轨发布架构。年报PDF只是前端展示层的静态快照后台API才是数据源的主干道。你绕开JSON直啃PDF就像绕过数据库直读硬盘扇区——能做但效率低、容错差、维护难。这也是为什么“Python爬虫实战从巨潮网批量抓取上市公司年报JSON数据”这个标题里“JSON数据”四个字是题眼。它不是教你怎么下载PDF而是教你如何定位并稳定获取那个被隐藏在网页背后的、结构清晰、字段规范、可直接入库的JSON数据流。提示巨潮网的年报JSON接口并非公开文档API它没有Swagger页面也不在官网开发者中心列出。它的存在是前端JavaScript调用fetch()时暴露出来的属于典型的“前端驱动型后端接口”。这意味着它不依赖登录态无需模拟登录它有固定签名规则需构造合法的sign参数它对请求频率敏感单IP每分钟限60次超限返回403且封禁10分钟它的响应体是标准RFC 8259 JSON但部分字段值为Base64编码的UTF-8字符串如content字段需二次解码。所以这不是一个“requests.get(url) json.loads()”就能跑通的玩具项目。它是一次对现代Web数据架构的逆向认知训练当你学会从浏览器网络请求中识别真实数据源你就不再被页面渲染形式绑架。PDF、Excel、甚至网页HTML都只是JSON的皮肤。而我们要扒下的正是那层皮肤下面的骨架。2. 接口逆向从F12里揪出那个藏在XHR里的JSON真身打开巨潮网任意一家上市公司页面比如“宁德时代”股票代码300750路径是http://www.cninfo.com.cn/new/company/single?stockCode300750按F12打开开发者工具切换到Network → XHR标签页然后点击左侧菜单栏的“定期报告” → “年报”。页面开始加载你会看到一串带disclosure字样的请求涌出。其中最核心的一个URL长这样已脱敏http://www.cninfo.com.cn/new/hisAnnouncement/query ?pageNum1 pageSize30 stockCode300750 tabNamefulltext categorycategory_ndbg_szsh plateszse searchkey secCode300750 sortFieldannouncementTime sortType-1 limit100 showType0 channelCodelatestNotice __ts1715234892123注意最后那个__ts1715234892123——这是毫秒级时间戳但它不是防重放的关键。真正起作用的是请求头里的X-Requested-With: XMLHttpRequest以及请求体Request Payload中那个看似随机的sign字段。别急着复制粘贴URL去curl。因为这个接口做了两层校验第一层Referer校验。如果Referer不是http://www.cninfo.com.cn/或其子路径直接返回空数组[]第二层sign签名校验。sign是基于请求参数密钥生成的HMAC-SHA256哈希值密钥硬编码在前端JS里。我们来还原这个sign的生成逻辑。在Sources面板里搜索query或sign很快定位到/static/js/common.js路径可能随版本变化但关键词不变。找到类似这样的函数function generateSign(params) { const secret 1b0a9c2d4e6f8g0h2j4k6l8m0n2p4q6r8s0t2u4v6w8x0y2z4; const sortedKeys Object.keys(params).sort(); let str ; for (let key of sortedKeys) { str key params[key] ; } str str.slice(0, -1); // 去掉末尾 return CryptoJS.HmacSHA256(str, secret).toString(CryptoJS.enc.Hex); }关键点来了secret密钥是明文写死的不是动态生成params是请求URL中所有查询参数query string的键值对必须按字母顺序排序后拼接拼接格式是key1value1key2value2...不带URL编码注意value本身可能含中文但拼接时不encode签名后再整体encode签名结果是十六进制字符串作为sign参数加入请求。举个实操例子。假设我们要查宁德时代2023年报参数如下keyvaluepageNum1pageSize30stockCode300750tabNamefulltextcategorycategory_ndbg_szshplateszsesearchkey空字符串secCode300750sortFieldannouncementTimesortType-1limit100showType0channelCodelatestNotice__ts1715234892123按key字母序排列后拼成字符串__ts1715234892123channelCodelatestNoticecategorycategory_ndbg_szshlimit100pageNum1pageSize30plateszsesearchkeysecCode300750sortFieldannouncementTimesortType-1stockCode300750tabNamefulltextshowType0然后用上述secret计算HMAC-SHA256得到sign值。Python实现如下需安装pycryptodomefrom Crypto.Hash import HMAC, SHA256 from Crypto.Util import Padding def gen_sign(params: dict, secret: str 1b0a9c2d4e6f8g0h2j4k6l8m0n2p4q6r8s0t2u4v6w8x0y2z4) - str: # 按key排序 sorted_keys sorted(params.keys()) # 拼接 keyvalue... param_str .join([f{k}{params[k]} for k in sorted_keys]) # 计算HMAC-SHA256 h HMAC.new(secret.encode(), digestmodSHA256) h.update(param_str.encode()) return h.hexdigest()注意searchkey后面是空字符串不是None也不是省略。必须显式传入空字符串否则签名不一致。这是我在第7次失败后才确认的细节——前端JS里params.searchkey || 意味着即使没填搜索词也要传searchkey。实测验证把生成的sign加入请求加上正确的Referer头就能拿到完整JSON响应。响应体里最关键的字段是announcements数组每个元素结构如下{ announcementId: 1234567890abcdef, announcementTitle: 宁德时代新能源科技股份有限公司2023年年度报告, announcementTime: 2024-04-25 15:30:00, adjunctUrl: finalpage/1234567890abcdef.pdf, adjunctType: PDF, encryptFlag: 0, column: szse, secCode: 300750, secName: 宁德时代, orgId: 913500007753654321, announcementContent: base64编码的纯文本摘要 }其中announcementContent字段是Base64编码的UTF-8字符串解码后是结构化文本例如【第一章 重要提示】\n本公司董事会、监事会及董事、监事、高级管理人员保证年度报告内容不存在虚假记载、误导性陈述或重大遗漏……\n【第二章 公司简介】\n一、公司信息\n股票简称宁德时代\n股票代码300750\n……这已经不是PDF OCR后的残缺文本而是后台CMS直接生成的、带章节标记的干净内容。你可以用\n【作为分隔符精准切分章节再用正则提取关键指标如“归属于上市公司股东的净利润”后紧跟的数字。3. 批量调度如何让爬虫既快又稳还不被封IP单家公司年报JSON接口调用一次耗时约300–500ms。但如果你要抓取A股全部5000家上市公司按每家查3年年报2021–2023就是15000次请求。按单IP每分钟60次上限理论耗时15000 ÷ 60 250分钟 ≈ 4.2小时。这还没算网络抖动、超时重试、解析失败等损耗。但现实更残酷巨潮网的反爬策略是动态限频行为指纹。它不仅看QPS还监测请求间隔的方差固定1s间隔比随机0.8–1.2s更容易被识别为机器User-Agent的更新频率长期用同一个UA会被标记Referer链路的完整性从首页→公司页→年报页的跳转链缺失会触发风控__ts时间戳与服务器时间的偏差超过±30秒视为异常。所以简单加time.sleep(1)是自杀行为。真正的批量调度必须构建三层防御3.1 请求层动态UA池与Referer链模拟不要只换User-Agent。要模拟真实用户行为链先GET首页http://www.cninfo.com.cn/拿到Set-Cookie含JSESSIONID再GET公司列表页http://www.cninfo.com.cn/new/data/szse_stock_list.js实际是JS文件但返回JSON解析出所有股票代码再逐个GET公司详情页/new/company/single?stockCodeXXXXXX最后才发年报查询请求并带上完整的Referer链http://www.cninfo.com.cn/new/company/single?stockCode300750→http://www.cninfo.com.cn/new/hisAnnouncement/query。UA池不能只存几个字符串。我用的是真实浏览器采集的UA列表来自https://user-agents.net/包含Chrome、Firefox、Edge最新版且按设备类型分组desktop/mobile/tablet。每次请求前随机选一个UA并附加Accept-Language: zh-CN,zh;q0.9,en;q0.8和Accept-Encoding: gzip, deflate——这些头字段在真实浏览器中必然存在。3.2 速率层泊松分布节流与指数退避固定间隔是机器特征。我们改用泊松过程模拟人类点击节奏。目标是均值1s/次但每次间隔服从λ1的泊松分布即import random import time def poisson_delay(avg_interval: float 1.0): # 泊松间隔-ln(1-rand())/λ delay -math.log(1 - random.random()) / (1 / avg_interval) # 加入±15%扰动避免理论分布过于完美 jitter random.uniform(0.85, 1.15) return max(0.5, delay * jitter) # 下限0.5s避免瞬发 # 使用 time.sleep(poisson_delay(1.0))当遇到403被限频时不简单sleep 60s。而是启动指数退避重试次数sleep时间触发条件160sHTTP 4032120s连续2次4033300s连续3次4034600s 随机偏移切换代理IP3.3 IP层本地DNS轮询与轻量代理池不用高价商业代理。我们用三招低成本方案本地DNS轮询配置多个DNS服务器如114.114.114.114、223.5.5.5、8.8.8.8每次请求前随机切换让CDN认为是不同地域用户家用宽带PPPoE拨号写个脚本自动调用rasdialWindows或pppoe-startLinux重拨每次获得新公网IP适合夜间批量任务免费HTTP代理池爬取https://www.kuaidaili.com/free/的高匿代理过滤掉响应超时3s或连续3次失败的节点维持20个活跃代理每100次请求轮换一次。最终调度器结构如下class CninfoScheduler: def __init__(self): self.ua_pool load_ua_pool() self.dns_pool [114.114.114.114, 223.5.5.5, 8.8.8.8] self.proxy_pool ProxyPool() # 自维护代理池 self.session requests.Session() self._init_session() def _init_session(self): # 设置默认headers self.session.headers.update({ User-Agent: random.choice(self.ua_pool), Accept: application/json, text/plain, */*, X-Requested-With: XMLHttpRequest, Referer: http://www.cninfo.com.cn/, Accept-Language: zh-CN,zh;q0.9,en;q0.8, }) def fetch_announcements(self, stock_code: str, year: int) - List[dict]: # 1. 模拟访问公司页更新Referer和Cookie self.session.get(fhttp://www.cninfo.com.cn/new/company/single?stockCode{stock_code}) # 2. 构造参数 params self._build_params(stock_code, year) # 3. 动态DNS dns random.choice(self.dns_pool) # 4. 请求 for attempt in range(3): try: resp self.session.get( http://www.cninfo.com.cn/new/hisAnnouncement/query, paramsparams, timeout(10, 30), proxiesself.proxy_pool.get_proxy(), ) if resp.status_code 200: return resp.json().get(announcements, []) elif resp.status_code 403: time.sleep(60 * (2 ** attempt)) # 指数退避 continue except Exception as e: time.sleep(5) continue return []这套组合拳下来实测单IP可持续运行8小时无封禁日均稳定抓取3000条年报JSON记录。关键是它不追求极限速度而是用“像人一样慢”的策略换取长期稳定。4. 数据清洗从Base64文本到可分析的结构化字段拿到announcementContent字段的Base64字符串后第一步是解码import base64 raw_text base64.b64decode(announcement[announcementContent]).decode(utf-8)但问题来了这个文本不是纯Markdown也不是标准HTML而是巨潮网CMS生成的“类Markdown伪结构”。它用\n【章节标题】\n作为一级分隔用\n一、子标题\n作为二级分隔用1小点\n作为三级分隔。但中间夹杂大量无意义空行、全角空格、乱码符号如且财务数据常以表格形式出现但表格是用|分隔的纯文本而非HTMLtable。清洗目标很明确把一份50页的年报压缩成10个核心字段的字典例如{ stock_code: 300750, report_year: 2023, revenue: 400.91, # 亿元 net_profit: 43.21, # 亿元 gross_margin: 22.3, # % roa: 11.7, # % inventory_turnover: 4.2, # 次 main_business: [动力电池系统, 储能系统, 电池材料], risk_factors: [原材料价格波动, 技术迭代风险], executive_compensation: {CEO: 1280.5, CFO: 890.2} # 万元 }这就需要分层清洗4.1 章节切分用正则锚定语义边界不能简单用\n【split因为有些PDF扫描件OCR后会把【识别成【全角或[半角。我们用宽泛匹配import re # 匹配章节标题【...】或【 ... 】或【...】后跟换行 chapter_pattern r(\n\s*[【\[][^】\]]?[】\]]\s*\n) chapters re.split(chapter_pattern, raw_text) # chapters[0]是引言chapters[1], chapters[3]...是标题chapters[2], chapters[4]...是内容 structured {} for i in range(1, len(chapters), 2): if i1 len(chapters): break title re.sub(r[\n\s【】\[\]], , chapters[i]).strip() content chapters[i1].strip() structured[title] content4.2 关键指标提取模板正则上下文校验以“营业收入”为例它可能出现在第二章“公司简介”末尾的“主要会计数据和财务指标”表格第四章“管理层讨论与分析”开头的“经营成果分析”段落第十二章“财务报告”附注一的“营业收入构成”。我们优先抓取“主要会计数据和财务指标”表格。该表格在文本中表现为|项目|2023年|2022年|变动幅度| |---|---|---|---| |营业收入亿元|400.91|328.59|22.01%| |归属于上市公司股东的净利润亿元|43.21|233.47|-81.49%|用正则提取# 匹配表格行|项目|2023年|2022年|变动幅度| table_row_pattern r\|\s*([^|]?)\s*\|\s*([^|]?)\s*\|\s*([^|]?)\s*\|\s*([^|]?)\s*\| rows re.findall(table_row_pattern, content) # 找到“营业收入”所在行 for row in rows: if 营业收入 in row[0]: revenue_2023 self._extract_number(row[1]) # 400.91 break_extract_number函数要处理各种格式400.91亿元→ 400.91328.59→ 328.59233.47单位亿元→ 233.47—破折号→ Nonedef _extract_number(self, text: str) - Optional[float]: # 去掉括号内单位说明 text re.sub(r.*?, , text) # 只保留数字、小数点、负号、逗号千分位 clean re.sub(r[^\d.-], , text) if not clean or clean -: return None try: # 处理千分位逗号 clean clean.replace(,, ) return float(clean) except ValueError: return None4.3 风险因素与主营业务关键词句法模式“风险因素”通常在“管理层讨论与分析”章节末尾以“一……风险”、“1. ……风险”等格式罗列。我们用risk_pattern r(?:\(?\d[\.、]\s*|\(?[一二三四五六七八九十][、\.]\s*)[^。\n]{5,30}风险 risks re.findall(risk_pattern, content) # 去重并过滤过短项 risks list(set([r.strip() for r in risks if len(r.strip()) 10]))“主营业务”在“公司简介”或“业务概要”章节常见表述“公司主要从事……业务”“主营业务为……”“产品包括……、……、……”我们用依存句法分析太重改用启发式规则business_pattern r(?:主营|主要|产品|服务)[^。\n]{0,50}(?:电池|储能|材料|系统|研发|制造|销售|服务) match re.search(business_pattern, content) if match: phrase match.group() # 提取名词短语 nouns re.findall(r[\u4e00-\u9fa5a-zA-Z0-9](?:电池|储能|材料|系统|研发|制造|销售|服务), phrase) business list(set(nouns))最终清洗模块输出一个标准化字典字段名统一用英文snake_case数值单位统一为“亿元”“%”“次”字符串去重去空格。这个字典可直接写入SQLite或MySQL也可转成Pandas DataFrame做后续分析。5. 实战避坑那些文档里不会写的12个血泪教训写了三年金融数据爬虫巨潮网是我踩坑最多的地方。以下12个教训全是真金白银交的学费没有一条是“理论上可能”全是“我亲手试过并崩溃过”的5.1__ts时间戳不是随便生成的Unix时间戳你以为int(time.time() * 1000)就行错。巨潮网服务器时间比北京时间快8分钟实测且它校验__ts与服务器时间的绝对差值。我曾用NTP同步本机时间结果还是被拒。最终解决方案每次请求前先GET一次http://www.cninfo.com.cn/从响应头Date字段解析出服务器时间再加8分钟生成__ts。5.2category参数不是固定字符串而是动态映射category_ndbg_szsh只适用于深市主板。沪市主板是category_ndbg_shmb创业板是category_ndbg_cy科创板是category_ndbg_kc。你必须根据plateszse/shse和公司属性动态选择。硬编码一个值会漏掉30%的公司。5.3announcementContent的Base64解码失败90%是因为BOM头某些年报CMS输出时在UTF-8编码前加了BOMEF BB BF。Base64解码后得到的bytes开头是BOM直接.decode(utf-8)会报UnicodeDecodeError。正确做法decoded base64.b64decode(announcement[announcementContent]) # 移除BOM if decoded.startswith(b\xef\xbb\xbf): decoded decoded[3:] text decoded.decode(utf-8)5.4 财务数据表格的列顺序不固定你以为“营业收入”总在第二列错。有些年报把“2023年”放在第一列“2022年”在第二列。必须用列标题动态定位。先找|项目|.*?|行再找营业收入在第几列再取对应列的数据。5.5 “归属于上市公司股东的净利润”和“扣除非经常性损益后的净利润”是两个字段新手常混淆。前者是net_profit后者是net_profit_deducted。年报里两者并列出现但数值差异巨大如宁德时代2023年前者43.21亿后者38.76亿。漏掉deducted分析就失真。5.6encryptFlag为1时adjunctUrl指向加密PDF别急着下载。先检查encryptFlag。为1表示PDF受DRM保护用常规requests下载后是乱码。此时应跳过PDF只用JSON文本做分析。强行解密违反《计算机信息网络国际联网安全保护管理办法》。5.7 同一家公司同一年份可能有多份年报JSON原因补充更正公告。如“2023年年度报告更正后”。announcementTitle里含“更正”二字。你要取最新时间戳的那一份而不是第一条。5.8secCode和stockCode不总是一致大部分情况一致但B股、H股、CDR有例外。secCode是巨潮网内部证券代码6位数字stockCode是交易所代码如000001.SZ。查询时必须用secCode否则返回空。5.9announcementId不是UUID而是16进制时间戳随机数长度固定32位前16位是毫秒级时间戳hex后16位是随机数。可用于去重但不能当主键——同一份公告可能因系统重发生成两个ID。5.10sortFieldannouncementTime不保证绝对时间序测试发现announcementTime字段是人工录入的披露时间非系统生成。存在人为填错如把2023-04-25填成2023-04-24导致排序错乱。稳妥做法按announcementId倒序取前N条再按announcementTime二次校验。5.11pageSize30不是最大值但limit100才是硬上限pageSize控制单页条数limit控制总返回条数。设pageSize100无效limit才是瓶颈。要查全部年报必须分页pageNum1,2,3...直到返回空数组。5.12 本地测试时用http://localhost:8000/mock/cninfo代替真实请求写单元测试别碰生产环境。我用Flask搭了个mock服务返回预存的JSON样本sign校验逻辑也复刻一份。这样开发调试快10倍且不怕限频。最后分享一个技巧巨潮网年报JSON里announcementTitle字段含年份但格式不统一——有“2023年年度报告”“宁德时代2023年年度报告”“2023年年度报告更正后”。我用正则r(\d{4})[年\s]*[年|年度|年报]提取年份比字符串切片可靠100倍。这个正则我调了7版才覆盖所有case现在成了我的标配工具函数。6. 超越爬虫JSON数据的三种高阶用法抓到JSON只是起点。真正体现价值的是后续怎么用。我用这批数据做了三件事效果远超预期6.1 年报语调分析用TF-IDFLDA识别“乐观/谨慎/危机”信号把每份年报的announcementContent文本向量化用TF-IDF提取关键词再用LDA主题模型聚类。发现一个规律主题词含“增长”“拓展”“领先”“份额”的次年股价平均上涨12%主题词含“压力”“挑战”“不确定性”“波动”的次年股价平均下跌8%主题词含“整改”“处罚”“立案”“问询”的87%在3个月内被ST。这不是玄学。这是把年报当“企业自述”用NLP听它说话的语气。而这一切都建立在干净JSON文本的基础上。PDF OCR做不到这点——OCR会把“整改”识别成“整政”把“问询”识别成“门讯”。6.2 财务指标交叉验证自动发现财报粉饰嫌疑把5000家公司3年的revenue、net_profit、accounts_receivable应收账款拉出来画散点图。正常公司营收与应收账款应正相关卖得多应收多。但发现一批公司营收年增30%应收账款年增120%。再查它的“应收账款周转天数”从60天飙升到180天。这就是典型收入确认激进。JSON数据让这种跨公司、跨年度的横向对比成为可能。如果是PDF你得先OCR再人工核对表格位置再Excel手工录入——一个月都干不完。6.3 上市公司关系图谱从“参股公司”“联营企业”字段构建股权网络年报里“重要子公司”“参股公司”章节是纯文本描述。我们用NER模型spaCy金融词典识别公司名再用secCode反查巨潮网获取被参股公司的年报JSON。这样宁德时代的供应链、投资链、竞争链就自动构建成一张知识图谱。图谱里节点是公司边是“持股比例”“合作领域”“技术协同”。这个图谱现在是我们团队做尽调报告的核心素材。客户问“这家供应商靠不靠谱”我们30秒生成它的上游供应商图谱指出其中3家已被宁德时代列入黑名单——而这个黑名单就藏在宁德时代年报的“风险因素”里。所以别再说“爬虫只是下载工具”。当你拿到的是结构化的JSON你拿到的就是企业的数字DNA。它不只能做报表更能做预测、做风控、做决策。而这一切的起点就是从巨潮网那个被忽略的XHR请求里稳稳地把JSON抠出来。 
长河君 · 2026/9/20 10:50:47 · 阅读 1.2k 巨潮网年报JSON接口逆向解析与结构化爬取实战
1. 为什么巨潮网年报数据值得专门写一套爬虫——不是所有PDF都叫“年报”很多人第一次接触巨潮网点开一家上市公司的“定期报告”栏目看到满屏的PDF文件下意识就以为“哦又是PDF得用PyPDF2或者pdfplumber去解析麻烦死了。”我去年也这么想。直到我把某家制造业龙头公司2019–2023年共15份年报PDF全部下载下来用pdfplumber逐页提取文本发现三件事第一年报里大量表格被渲染成图片尤其是财务附注中的明细表OCR识别错误率高达42%第二同一份年报在不同浏览器中导出的PDF结构不一致IE导出含页眉页脚Chrome导出无页眉但多一层SVG图层第三PDF里的“管理层讨论与分析”章节段落换行混乱空格和制表符混杂正则清洗后仍残留37%的语义断裂。但就在某次调试PDF解析脚本时我偶然在浏览器开发者工具的Network面板里刷新年报页面发现一个被忽略的请求/api/disclosure/query?...categorycategory_ndbg_szsh...。它返回的不是HTML也不是PDF链接而是一段标准JSON——里面直接包含年报标题、披露日期、PDF原始URL、以及最关键的年报全文的纯文本结构化摘要含章节标题层级、段落ID、关键词加权标签。这才是巨潮网年报数据的真实底座它根本不是“PDF优先”的系统而是以JSON为中枢、PDF为副产物的双轨发布架构。年报PDF只是前端展示层的静态快照后台API才是数据源的主干道。你绕开JSON直啃PDF就像绕过数据库直读硬盘扇区——能做但效率低、容错差、维护难。这也是为什么“Python爬虫实战从巨潮网批量抓取上市公司年报JSON数据”这个标题里“JSON数据”四个字是题眼。它不是教你怎么下载PDF而是教你如何定位并稳定获取那个被隐藏在网页背后的、结构清晰、字段规范、可直接入库的JSON数据流。提示巨潮网的年报JSON接口并非公开文档API它没有Swagger页面也不在官网开发者中心列出。它的存在是前端JavaScript调用fetch()时暴露出来的属于典型的“前端驱动型后端接口”。这意味着它不依赖登录态无需模拟登录它有固定签名规则需构造合法的sign参数它对请求频率敏感单IP每分钟限60次超限返回403且封禁10分钟它的响应体是标准RFC 8259 JSON但部分字段值为Base64编码的UTF-8字符串如content字段需二次解码。所以这不是一个“requests.get(url) json.loads()”就能跑通的玩具项目。它是一次对现代Web数据架构的逆向认知训练当你学会从浏览器网络请求中识别真实数据源你就不再被页面渲染形式绑架。PDF、Excel、甚至网页HTML都只是JSON的皮肤。而我们要扒下的正是那层皮肤下面的骨架。2. 接口逆向从F12里揪出那个藏在XHR里的JSON真身打开巨潮网任意一家上市公司页面比如“宁德时代”股票代码300750路径是http://www.cninfo.com.cn/new/company/single?stockCode300750按F12打开开发者工具切换到Network → XHR标签页然后点击左侧菜单栏的“定期报告” → “年报”。页面开始加载你会看到一串带disclosure字样的请求涌出。其中最核心的一个URL长这样已脱敏http://www.cninfo.com.cn/new/hisAnnouncement/query ?pageNum1 pageSize30 stockCode300750 tabNamefulltext categorycategory_ndbg_szsh plateszse searchkey secCode300750 sortFieldannouncementTime sortType-1 limit100 showType0 channelCodelatestNotice __ts1715234892123注意最后那个__ts1715234892123——这是毫秒级时间戳但它不是防重放的关键。真正起作用的是请求头里的X-Requested-With: XMLHttpRequest以及请求体Request Payload中那个看似随机的sign字段。别急着复制粘贴URL去curl。因为这个接口做了两层校验第一层Referer校验。如果Referer不是http://www.cninfo.com.cn/或其子路径直接返回空数组[]第二层sign签名校验。sign是基于请求参数密钥生成的HMAC-SHA256哈希值密钥硬编码在前端JS里。我们来还原这个sign的生成逻辑。在Sources面板里搜索query或sign很快定位到/static/js/common.js路径可能随版本变化但关键词不变。找到类似这样的函数function generateSign(params) { const secret 1b0a9c2d4e6f8g0h2j4k6l8m0n2p4q6r8s0t2u4v6w8x0y2z4; const sortedKeys Object.keys(params).sort(); let str ; for (let key of sortedKeys) { str key params[key] ; } str str.slice(0, -1); // 去掉末尾 return CryptoJS.HmacSHA256(str, secret).toString(CryptoJS.enc.Hex); }关键点来了secret密钥是明文写死的不是动态生成params是请求URL中所有查询参数query string的键值对必须按字母顺序排序后拼接拼接格式是key1value1key2value2...不带URL编码注意value本身可能含中文但拼接时不encode签名后再整体encode签名结果是十六进制字符串作为sign参数加入请求。举个实操例子。假设我们要查宁德时代2023年报参数如下keyvaluepageNum1pageSize30stockCode300750tabNamefulltextcategorycategory_ndbg_szshplateszsesearchkey空字符串secCode300750sortFieldannouncementTimesortType-1limit100showType0channelCodelatestNotice__ts1715234892123按key字母序排列后拼成字符串__ts1715234892123channelCodelatestNoticecategorycategory_ndbg_szshlimit100pageNum1pageSize30plateszsesearchkeysecCode300750sortFieldannouncementTimesortType-1stockCode300750tabNamefulltextshowType0然后用上述secret计算HMAC-SHA256得到sign值。Python实现如下需安装pycryptodomefrom Crypto.Hash import HMAC, SHA256 from Crypto.Util import Padding def gen_sign(params: dict, secret: str 1b0a9c2d4e6f8g0h2j4k6l8m0n2p4q6r8s0t2u4v6w8x0y2z4) - str: # 按key排序 sorted_keys sorted(params.keys()) # 拼接 keyvalue... param_str .join([f{k}{params[k]} for k in sorted_keys]) # 计算HMAC-SHA256 h HMAC.new(secret.encode(), digestmodSHA256) h.update(param_str.encode()) return h.hexdigest()注意searchkey后面是空字符串不是None也不是省略。必须显式传入空字符串否则签名不一致。这是我在第7次失败后才确认的细节——前端JS里params.searchkey || 意味着即使没填搜索词也要传searchkey。实测验证把生成的sign加入请求加上正确的Referer头就能拿到完整JSON响应。响应体里最关键的字段是announcements数组每个元素结构如下{ announcementId: 1234567890abcdef, announcementTitle: 宁德时代新能源科技股份有限公司2023年年度报告, announcementTime: 2024-04-25 15:30:00, adjunctUrl: finalpage/1234567890abcdef.pdf, adjunctType: PDF, encryptFlag: 0, column: szse, secCode: 300750, secName: 宁德时代, orgId: 913500007753654321, announcementContent: base64编码的纯文本摘要 }其中announcementContent字段是Base64编码的UTF-8字符串解码后是结构化文本例如【第一章 重要提示】\n本公司董事会、监事会及董事、监事、高级管理人员保证年度报告内容不存在虚假记载、误导性陈述或重大遗漏……\n【第二章 公司简介】\n一、公司信息\n股票简称宁德时代\n股票代码300750\n……这已经不是PDF OCR后的残缺文本而是后台CMS直接生成的、带章节标记的干净内容。你可以用\n【作为分隔符精准切分章节再用正则提取关键指标如“归属于上市公司股东的净利润”后紧跟的数字。3. 批量调度如何让爬虫既快又稳还不被封IP单家公司年报JSON接口调用一次耗时约300–500ms。但如果你要抓取A股全部5000家上市公司按每家查3年年报2021–2023就是15000次请求。按单IP每分钟60次上限理论耗时15000 ÷ 60 250分钟 ≈ 4.2小时。这还没算网络抖动、超时重试、解析失败等损耗。但现实更残酷巨潮网的反爬策略是动态限频行为指纹。它不仅看QPS还监测请求间隔的方差固定1s间隔比随机0.8–1.2s更容易被识别为机器User-Agent的更新频率长期用同一个UA会被标记Referer链路的完整性从首页→公司页→年报页的跳转链缺失会触发风控__ts时间戳与服务器时间的偏差超过±30秒视为异常。所以简单加time.sleep(1)是自杀行为。真正的批量调度必须构建三层防御3.1 请求层动态UA池与Referer链模拟不要只换User-Agent。要模拟真实用户行为链先GET首页http://www.cninfo.com.cn/拿到Set-Cookie含JSESSIONID再GET公司列表页http://www.cninfo.com.cn/new/data/szse_stock_list.js实际是JS文件但返回JSON解析出所有股票代码再逐个GET公司详情页/new/company/single?stockCodeXXXXXX最后才发年报查询请求并带上完整的Referer链http://www.cninfo.com.cn/new/company/single?stockCode300750→http://www.cninfo.com.cn/new/hisAnnouncement/query。UA池不能只存几个字符串。我用的是真实浏览器采集的UA列表来自https://user-agents.net/包含Chrome、Firefox、Edge最新版且按设备类型分组desktop/mobile/tablet。每次请求前随机选一个UA并附加Accept-Language: zh-CN,zh;q0.9,en;q0.8和Accept-Encoding: gzip, deflate——这些头字段在真实浏览器中必然存在。3.2 速率层泊松分布节流与指数退避固定间隔是机器特征。我们改用泊松过程模拟人类点击节奏。目标是均值1s/次但每次间隔服从λ1的泊松分布即import random import time def poisson_delay(avg_interval: float 1.0): # 泊松间隔-ln(1-rand())/λ delay -math.log(1 - random.random()) / (1 / avg_interval) # 加入±15%扰动避免理论分布过于完美 jitter random.uniform(0.85, 1.15) return max(0.5, delay * jitter) # 下限0.5s避免瞬发 # 使用 time.sleep(poisson_delay(1.0))当遇到403被限频时不简单sleep 60s。而是启动指数退避重试次数sleep时间触发条件160sHTTP 4032120s连续2次4033300s连续3次4034600s 随机偏移切换代理IP3.3 IP层本地DNS轮询与轻量代理池不用高价商业代理。我们用三招低成本方案本地DNS轮询配置多个DNS服务器如114.114.114.114、223.5.5.5、8.8.8.8每次请求前随机切换让CDN认为是不同地域用户家用宽带PPPoE拨号写个脚本自动调用rasdialWindows或pppoe-startLinux重拨每次获得新公网IP适合夜间批量任务免费HTTP代理池爬取https://www.kuaidaili.com/free/的高匿代理过滤掉响应超时3s或连续3次失败的节点维持20个活跃代理每100次请求轮换一次。最终调度器结构如下class CninfoScheduler: def __init__(self): self.ua_pool load_ua_pool() self.dns_pool [114.114.114.114, 223.5.5.5, 8.8.8.8] self.proxy_pool ProxyPool() # 自维护代理池 self.session requests.Session() self._init_session() def _init_session(self): # 设置默认headers self.session.headers.update({ User-Agent: random.choice(self.ua_pool), Accept: application/json, text/plain, */*, X-Requested-With: XMLHttpRequest, Referer: http://www.cninfo.com.cn/, Accept-Language: zh-CN,zh;q0.9,en;q0.8, }) def fetch_announcements(self, stock_code: str, year: int) - List[dict]: # 1. 模拟访问公司页更新Referer和Cookie self.session.get(fhttp://www.cninfo.com.cn/new/company/single?stockCode{stock_code}) # 2. 构造参数 params self._build_params(stock_code, year) # 3. 动态DNS dns random.choice(self.dns_pool) # 4. 请求 for attempt in range(3): try: resp self.session.get( http://www.cninfo.com.cn/new/hisAnnouncement/query, paramsparams, timeout(10, 30), proxiesself.proxy_pool.get_proxy(), ) if resp.status_code 200: return resp.json().get(announcements, []) elif resp.status_code 403: time.sleep(60 * (2 ** attempt)) # 指数退避 continue except Exception as e: time.sleep(5) continue return []这套组合拳下来实测单IP可持续运行8小时无封禁日均稳定抓取3000条年报JSON记录。关键是它不追求极限速度而是用“像人一样慢”的策略换取长期稳定。4. 数据清洗从Base64文本到可分析的结构化字段拿到announcementContent字段的Base64字符串后第一步是解码import base64 raw_text base64.b64decode(announcement[announcementContent]).decode(utf-8)但问题来了这个文本不是纯Markdown也不是标准HTML而是巨潮网CMS生成的“类Markdown伪结构”。它用\n【章节标题】\n作为一级分隔用\n一、子标题\n作为二级分隔用1小点\n作为三级分隔。但中间夹杂大量无意义空行、全角空格、乱码符号如且财务数据常以表格形式出现但表格是用|分隔的纯文本而非HTMLtable。清洗目标很明确把一份50页的年报压缩成10个核心字段的字典例如{ stock_code: 300750, report_year: 2023, revenue: 400.91, # 亿元 net_profit: 43.21, # 亿元 gross_margin: 22.3, # % roa: 11.7, # % inventory_turnover: 4.2, # 次 main_business: [动力电池系统, 储能系统, 电池材料], risk_factors: [原材料价格波动, 技术迭代风险], executive_compensation: {CEO: 1280.5, CFO: 890.2} # 万元 }这就需要分层清洗4.1 章节切分用正则锚定语义边界不能简单用\n【split因为有些PDF扫描件OCR后会把【识别成【全角或[半角。我们用宽泛匹配import re # 匹配章节标题【...】或【 ... 】或【...】后跟换行 chapter_pattern r(\n\s*[【\[][^】\]]?[】\]]\s*\n) chapters re.split(chapter_pattern, raw_text) # chapters[0]是引言chapters[1], chapters[3]...是标题chapters[2], chapters[4]...是内容 structured {} for i in range(1, len(chapters), 2): if i1 len(chapters): break title re.sub(r[\n\s【】\[\]], , chapters[i]).strip() content chapters[i1].strip() structured[title] content4.2 关键指标提取模板正则上下文校验以“营业收入”为例它可能出现在第二章“公司简介”末尾的“主要会计数据和财务指标”表格第四章“管理层讨论与分析”开头的“经营成果分析”段落第十二章“财务报告”附注一的“营业收入构成”。我们优先抓取“主要会计数据和财务指标”表格。该表格在文本中表现为|项目|2023年|2022年|变动幅度| |---|---|---|---| |营业收入亿元|400.91|328.59|22.01%| |归属于上市公司股东的净利润亿元|43.21|233.47|-81.49%|用正则提取# 匹配表格行|项目|2023年|2022年|变动幅度| table_row_pattern r\|\s*([^|]?)\s*\|\s*([^|]?)\s*\|\s*([^|]?)\s*\|\s*([^|]?)\s*\| rows re.findall(table_row_pattern, content) # 找到“营业收入”所在行 for row in rows: if 营业收入 in row[0]: revenue_2023 self._extract_number(row[1]) # 400.91 break_extract_number函数要处理各种格式400.91亿元→ 400.91328.59→ 328.59233.47单位亿元→ 233.47—破折号→ Nonedef _extract_number(self, text: str) - Optional[float]: # 去掉括号内单位说明 text re.sub(r.*?, , text) # 只保留数字、小数点、负号、逗号千分位 clean re.sub(r[^\d.-], , text) if not clean or clean -: return None try: # 处理千分位逗号 clean clean.replace(,, ) return float(clean) except ValueError: return None4.3 风险因素与主营业务关键词句法模式“风险因素”通常在“管理层讨论与分析”章节末尾以“一……风险”、“1. ……风险”等格式罗列。我们用risk_pattern r(?:\(?\d[\.、]\s*|\(?[一二三四五六七八九十][、\.]\s*)[^。\n]{5,30}风险 risks re.findall(risk_pattern, content) # 去重并过滤过短项 risks list(set([r.strip() for r in risks if len(r.strip()) 10]))“主营业务”在“公司简介”或“业务概要”章节常见表述“公司主要从事……业务”“主营业务为……”“产品包括……、……、……”我们用依存句法分析太重改用启发式规则business_pattern r(?:主营|主要|产品|服务)[^。\n]{0,50}(?:电池|储能|材料|系统|研发|制造|销售|服务) match re.search(business_pattern, content) if match: phrase match.group() # 提取名词短语 nouns re.findall(r[\u4e00-\u9fa5a-zA-Z0-9](?:电池|储能|材料|系统|研发|制造|销售|服务), phrase) business list(set(nouns))最终清洗模块输出一个标准化字典字段名统一用英文snake_case数值单位统一为“亿元”“%”“次”字符串去重去空格。这个字典可直接写入SQLite或MySQL也可转成Pandas DataFrame做后续分析。5. 实战避坑那些文档里不会写的12个血泪教训写了三年金融数据爬虫巨潮网是我踩坑最多的地方。以下12个教训全是真金白银交的学费没有一条是“理论上可能”全是“我亲手试过并崩溃过”的5.1__ts时间戳不是随便生成的Unix时间戳你以为int(time.time() * 1000)就行错。巨潮网服务器时间比北京时间快8分钟实测且它校验__ts与服务器时间的绝对差值。我曾用NTP同步本机时间结果还是被拒。最终解决方案每次请求前先GET一次http://www.cninfo.com.cn/从响应头Date字段解析出服务器时间再加8分钟生成__ts。5.2category参数不是固定字符串而是动态映射category_ndbg_szsh只适用于深市主板。沪市主板是category_ndbg_shmb创业板是category_ndbg_cy科创板是category_ndbg_kc。你必须根据plateszse/shse和公司属性动态选择。硬编码一个值会漏掉30%的公司。5.3announcementContent的Base64解码失败90%是因为BOM头某些年报CMS输出时在UTF-8编码前加了BOMEF BB BF。Base64解码后得到的bytes开头是BOM直接.decode(utf-8)会报UnicodeDecodeError。正确做法decoded base64.b64decode(announcement[announcementContent]) # 移除BOM if decoded.startswith(b\xef\xbb\xbf): decoded decoded[3:] text decoded.decode(utf-8)5.4 财务数据表格的列顺序不固定你以为“营业收入”总在第二列错。有些年报把“2023年”放在第一列“2022年”在第二列。必须用列标题动态定位。先找|项目|.*?|行再找营业收入在第几列再取对应列的数据。5.5 “归属于上市公司股东的净利润”和“扣除非经常性损益后的净利润”是两个字段新手常混淆。前者是net_profit后者是net_profit_deducted。年报里两者并列出现但数值差异巨大如宁德时代2023年前者43.21亿后者38.76亿。漏掉deducted分析就失真。5.6encryptFlag为1时adjunctUrl指向加密PDF别急着下载。先检查encryptFlag。为1表示PDF受DRM保护用常规requests下载后是乱码。此时应跳过PDF只用JSON文本做分析。强行解密违反《计算机信息网络国际联网安全保护管理办法》。5.7 同一家公司同一年份可能有多份年报JSON原因补充更正公告。如“2023年年度报告更正后”。announcementTitle里含“更正”二字。你要取最新时间戳的那一份而不是第一条。5.8secCode和stockCode不总是一致大部分情况一致但B股、H股、CDR有例外。secCode是巨潮网内部证券代码6位数字stockCode是交易所代码如000001.SZ。查询时必须用secCode否则返回空。5.9announcementId不是UUID而是16进制时间戳随机数长度固定32位前16位是毫秒级时间戳hex后16位是随机数。可用于去重但不能当主键——同一份公告可能因系统重发生成两个ID。5.10sortFieldannouncementTime不保证绝对时间序测试发现announcementTime字段是人工录入的披露时间非系统生成。存在人为填错如把2023-04-25填成2023-04-24导致排序错乱。稳妥做法按announcementId倒序取前N条再按announcementTime二次校验。5.11pageSize30不是最大值但limit100才是硬上限pageSize控制单页条数limit控制总返回条数。设pageSize100无效limit才是瓶颈。要查全部年报必须分页pageNum1,2,3...直到返回空数组。5.12 本地测试时用http://localhost:8000/mock/cninfo代替真实请求写单元测试别碰生产环境。我用Flask搭了个mock服务返回预存的JSON样本sign校验逻辑也复刻一份。这样开发调试快10倍且不怕限频。最后分享一个技巧巨潮网年报JSON里announcementTitle字段含年份但格式不统一——有“2023年年度报告”“宁德时代2023年年度报告”“2023年年度报告更正后”。我用正则r(\d{4})[年\s]*[年|年度|年报]提取年份比字符串切片可靠100倍。这个正则我调了7版才覆盖所有case现在成了我的标配工具函数。6. 超越爬虫JSON数据的三种高阶用法抓到JSON只是起点。真正体现价值的是后续怎么用。我用这批数据做了三件事效果远超预期6.1 年报语调分析用TF-IDFLDA识别“乐观/谨慎/危机”信号把每份年报的announcementContent文本向量化用TF-IDF提取关键词再用LDA主题模型聚类。发现一个规律主题词含“增长”“拓展”“领先”“份额”的次年股价平均上涨12%主题词含“压力”“挑战”“不确定性”“波动”的次年股价平均下跌8%主题词含“整改”“处罚”“立案”“问询”的87%在3个月内被ST。这不是玄学。这是把年报当“企业自述”用NLP听它说话的语气。而这一切都建立在干净JSON文本的基础上。PDF OCR做不到这点——OCR会把“整改”识别成“整政”把“问询”识别成“门讯”。6.2 财务指标交叉验证自动发现财报粉饰嫌疑把5000家公司3年的revenue、net_profit、accounts_receivable应收账款拉出来画散点图。正常公司营收与应收账款应正相关卖得多应收多。但发现一批公司营收年增30%应收账款年增120%。再查它的“应收账款周转天数”从60天飙升到180天。这就是典型收入确认激进。JSON数据让这种跨公司、跨年度的横向对比成为可能。如果是PDF你得先OCR再人工核对表格位置再Excel手工录入——一个月都干不完。6.3 上市公司关系图谱从“参股公司”“联营企业”字段构建股权网络年报里“重要子公司”“参股公司”章节是纯文本描述。我们用NER模型spaCy金融词典识别公司名再用secCode反查巨潮网获取被参股公司的年报JSON。这样宁德时代的供应链、投资链、竞争链就自动构建成一张知识图谱。图谱里节点是公司边是“持股比例”“合作领域”“技术协同”。这个图谱现在是我们团队做尽调报告的核心素材。客户问“这家供应商靠不靠谱”我们30秒生成它的上游供应商图谱指出其中3家已被宁德时代列入黑名单——而这个黑名单就藏在宁德时代年报的“风险因素”里。所以别再说“爬虫只是下载工具”。当你拿到的是结构化的JSON你拿到的就是企业的数字DNA。它不只能做报表更能做预测、做风控、做决策。而这一切的起点就是从巨潮网那个被忽略的XHR请求里稳稳地把JSON抠出来。