基于文本挖掘的A股上市公司漂AI指数构建与十五年演变分析 不知从什么时候起A股上市公司的公告和年报里如果不出现几次“人工智能”“算力”“大模型”好像就不好意思跟投资者打招呼。2023年ChatGPT点燃全球AI热潮之后这种趋势更加夸张一家主营配电箱的公司可以一口气发五条“AI电力”的公告一家做养殖的企业也会在互动平台回复“公司已积极探索AI在生猪健康监测中的应用”。你说它完全胡说八道吧倒也谈不上但要说这些业务真能给公司贡献多少收入大概率连管理层自己心里都没底。这种“主动往AI概念上靠但实际业务与AI几乎没有实质关联”的行为就是典型的漂AIAI概念漂移。盯久了之后我发现A股市场对这类行为的讨论基本停留在“蹭热点”“讲故事”这种情绪化评价上很少有人用一套可量化的方法去还原到底哪些公司是真AI、哪些是在漂、漂的程度有多严重、整个市场2010年到2024年这十五年间的漂移行为呈现出什么样的演变曲线。这也是我做“2281上市公司漂AI指数2010-2024”这份数据产品的初衷——用文本挖掘和一套自定义评分逻辑把“谁在蹭AI”这件事变成一个可比较、可回溯、可追踪的数字。整份指数覆盖了2281家A股上市公司时间跨度为2010年到2024年正好覆盖了AI从学术热词变成产业风口、再到全民叙事的完整周期。数据源包括上市公司年度报告、临时公告、投资者互动平台问答和部分卖方研报标题综合计算每家公司的“漂AI指数”按年度、行业、板块、公司属性等多个维度切分。这篇文章我会把整个项目的背景、数据建设、指数计算逻辑、十五年间的关键发现以及这套指数能用在哪些场景完整展开讲一遍希望能给同样关注AI概念、上市公司信息披露质量和文本分析的从业者一些可直接参考的思路。1. 为什么2010年这个起点很关键从“概念萌芽期”到“叙事爆发期”的完整切片很多人在做AI相关话题研究时习惯把时间起点放在2016年AlphaGo战胜李世石或者2022年底ChatGPT发布。但如果你真的把A股公告和年报翻出来看会发现上市公司念叨“人工智能”这件事远比大众感知的要早。2010年时已经有一批电子、计算机行业的公司在年报中反复强调“人工智能是公司未来重点发展方向”虽然那会儿大家普遍说不清到底要做什么产品但这个词已经进入了董事会的正式文件。把起点定在2010年最大的价值在于它完整覆盖了AI概念在中国资本市场从萌芽、升温、狂热、局部退潮到再度爆发的多个周期。如果只从2023年开始做你看到的是一个已经被大模型叙事彻底包裹的市场切片很难区分哪些公司是“真AI”哪些公司是“看到大家都在说AI所以我也说说”。而拉长到十五年就能非常清晰地看到三类公司的分化轨迹持续型AI公司从2010年就开始披露AI相关业务研发投入中AI相关科目占比稳定这些公司大多数是真正的技术型选手脉冲型AI公司在某个热点窗口期比如2016-2017年的“互联网AI”风口、2023年的ChatGPT浪潮突然密集提及AI但热度过去后又回归沉寂这类公司大概率是跟随市场情绪做叙事管理新晋型AI公司2023年之后才大规模提及AI但业务实质尚待验证这类是漂移指数中最难识别的部分因为时间窗口太短光看文本频次很容易误判。这份指数之所以锁定2281家这个样本量而不是每天动态变化的全市场股票池是因为要做十五年纵向对比就必须保证样本的生命周期一致性。我剔除了2010年之后才上市的公司、长期停牌或退市的公司、金融类公司因为金融行业的“AI”语义和实业差异太大混在一起计算会严重干扰指数可比性最终保留下2281家在2010年至2024年期间具有完整年度报告披露记录的样本。这个数据清洗动作很繁琐但没有它时间序列上的任何波动都会被样本变动污染。2. 数据底座建设从年报、公告和互动平台里“淘金”的完整链路做文本类的数据产品最大的坑不是算法而是数据清洗。你从交易所、巨潮资讯网和各类金融数据终端能拿到的原始文件跟能直接进模型计算的数据之间隔着一条又长又脏的管道。这一Part详细拆解我是怎么把原始语料变成可用指标的。2.1 三大数据源各有各的脾气第一类是年度报告。这是整个指数计算的底盘因为年报是经过审计的、格式相对固定的法定披露文件文本质量最稳定。我抓取的是2010-2024财年的PDF全文统一提取“董事会报告”“经营情况讨论与分析”“研发投入”三个章节作为分析语料。为什么要限定章节因为年报里大量内容比如财务报表附注、审计意见是雷同的模板文字如果不做章节限定AI相关关键词的密度会被稀释而且不同年份的年报章节名称有过调整2016年之前叫“董事会报告”之后更名为“经营情况讨论与分析”必须要做映射归一化处理。第二类是临时公告。这个数据源的难点在于噪音极大。有些公司会在股价异动公告里写“公司目前不涉及人工智能业务”这条公告本身没有AI业务但文本里会出现“人工智能”这个词。所以只做关键词频次统计完全不可行必须结合否定词识别做二次判断。我维护了一份专用的否定表达词典包含“不涉及”“未开展”“尚无”“没有”“不存在”等前缀模式一旦在AI关键词周围20个字符内命中否定表达该段落计权自动降为原来的十分之一。第三类是投资者互动平台问答。这个数据源价值最高因为管理层在这里的回应没有经过投行和公关的层层打磨往往能暴露公司的真实态度。我抓取了互动易和上证e互动从2014年上线起至2024年底的全量问答记录筛选出管理层对“AI、人工智能、大模型、智能算法、算力”等词的主动提及。这里要特别说明管理层主动提及和被投资者问询后被动回应性质完全不同。我设计了“主动性得分”——如果AI关键词出现在回复文本的起始30%段落中且回复长度超过100字视为主动披露权重为1如果只是在“感谢您的关注公司业务暂不涉及相关领域”这类模板回复中出现权重仅为0.1。2.2 为什么每家公司的PDF抽取结果能差出30%的量级PDF解析是整个管道里最容易被低估的环节。同一个上市公司的年报2012年是扫描版纯图片2015年变成了文字版但带页眉页脚2019年变成了带目录跳转的富文本PDF2023年干脆同时出了PDF和XBRL两个版本。如果解析策略不统一抽取出来的文本量可能差出30%以上这对关键词密度计算是致命的。我最终采用的策略是优先使用OFD/XBRL结构化文本其次使用PDF的文字层提取最后才做OCR。对于扫描版年报如果不做OCR会直接丢单词做了OCR又可能引入识别错误比如把“人工智髓”这种错别字识别成“人工智能”所以我给OCR结果加了一层后处理对识别出的AI关键词进行全文上下文校验一旦发现“智髓”“人T智能”“Arificial”等典型OCR错误形态自动纠偏为“人工智能”。这个细节让我在2010到2015年这批最早期的样本上多挽回了一大批有效数据。2.3 构造专属AI词典不是简单塞几个热词进去文本分析最核心的原料是词典。通用的大模型词表、通用的财经NLP词表放到上市公司年报这个场景里都不好用——它们要么太宽泛把“智慧城市”里所有的“智慧”都算成AI要么太狭窄漏掉“机器视觉”“语音识别”这类具体技术名词。我的AI词典采用三层结构核心层必选词人工智能、AI、机器学习、深度学习、神经网络、大模型、自然语言处理、计算机视觉、智能算法技术层应用词机器视觉、语音识别、知识图谱、强化学习、Transformer、ChatGPT、生成式AI、多模态、智能驾驶、工业机器人等业务层场景词AI质检、智能客服、智能风控、AIoT、算力服务、模型训练、数据标注等。词库不是建完就固定了它有明显的时效漂移。2020年之后再也没人提“AlphaGo”但“生成式AI”从2022年底开始爆炸性增长。所以我的词典每年更新一次把当年度市场关注度显著上升的新词加入技术层同时保留历史词以维持时间序列的可比性。这一点很关键如果每年都用固定词表指数会被时代抛弃如果每年都大改词表时间序列又会断裂。折中方案是核心层终身不变、技术层每年增减、业务层按三年滚动窗口做定期替换。3. 计算逻辑从“说了多少”到“说了多少真话”采集完语料、构造好词典接下来才是真正的重头戏——怎么把“漂移”这个听起来很虚的概念转化成可计算的数值。很多人会本能地想到“AI关键词频次越高漂移越严重”但这个逻辑是完全错误的一家真正的AI公司年报里密集出现几百次AI词汇它可不叫漂移那叫如实披露。漂移的实质是AI披露密度热度与AI业务实质成色之间的落差。所以这套指数本质上是在测一个“落差信号”。3.1 四维打分框架热度、成色、一致性、突变度最终版本的漂AI指数由四个维度加权合成维度一AI概念热度指数AI Discourse Intensity。衡量一家公司在其年报、公告和互动平台回复中AI相关关键词出现的密度剔除否定语境后。这个维度回答的问题是你是不是在反复讲AI这件事热度高是漂移的必要非充分条件。维度二AI业务成色指数AI Business Substance。这是整个体系中信息量最大、构建难度也最高的一个维度。我用三组代理变量来估算公司披露中的AI“实质含量”研发投入结构性代理年报“研发投入”章节中是否有AI相关研发项目或专利披露。如果有明确的AI研发项目名称如“基于深度学习的缺陷检测系统研发”给较高的成色得分如果只是笼统写“持续加强信息化和智能化建设”成色得分很低。收入归因代理年报中是否有单独披露AI相关业务收入或收入占比。注意哪怕披露的是“AI业务收入占比不足1%”也比那些完全不敢披露的公司要诚实得多。敢于披露低比例本身就说明风险和叙事之间的落差没有大到需要掩盖。管理层讨论的细节密度在经营情况讨论中描述AI相关内容是停留在“赋能”“驱动”“助力”这类宏动词还是能落到“我们部署了120台GPU服务器自研了推理加速框架已完成某型号产品的试产”前者是典型的概念层叙事后者才是业务层叙事。维度三历史一致性指数Temporal Consistency。计算的是公司在过去五年AI披露主题的稳定程度。一家公司连续五年都在研发投入中提到“AI辅助药物筛选”一致性就很高一家公司2022年之前从未讨论过AI2023年年报突然出现100次“大模型”一致性极低突变非常明显。这个维度用的是余弦相似度和主题连续性算法计算各年度AI披露段落的语义相似度。维度四叙事与业务偏离度Narrative-Business Divergence。这是最后的“照妖镜”把公司披露文本中AI关键词的语义指向与它实际所属的主营业务行业做对比。如果一家主营房地产的公司大谈“AI智慧社区”可它的主要收入来源依然是卖房子那么叙事和业务之间的偏离度就很大。我用公司所属行业标签和AI披露文本的主题向量做距离计算距离越大漂移嫌疑越大。最终漂AI指数的计算公式为漂AI指数 0.35 × 业务成色逆向得分 0.25 × 历史一致性逆向得分 0.25 × 叙事偏离度 0.15 × 概念热度得分注意业务成色和历史一致性在公式中是逆向得分——AI成色越高、历史一致性越强的公司漂AI指数越低。也就是说真AI公司在指数里分数很低假AI公司的分数才会飙升。这个设计方向非常关键我见过不少做同类指数的团队把逻辑搞反了最后算出来的高分公司全是真正的AI龙头那是完全没有使用价值的。3.2 指数的无量纲化处理和年度基准调整因为四个维度的数据量纲差异很大——热度指数可能是百万分之一的词频密度偏离度是主题向量的余弦距离往绩一致性是相似度百分数——直接相加前必须做无量纲化。我选用的方法是行业基准内的百分位排名法每一年、每一个行业中单项指标的原始值转为该行业当年分布的百分位0-100最终四个维度的加权值再合成为0到100的终值。这里必须用行业内排名而不用全市场排名理由是AI的语义在不同行业的天然密度差异极大。计算机行业的正常AI讨论密度是10万分之80养殖行业可能只有10万分之5如果直接跨行业横比计算机行业的公司无论真假都会霸占榜单头部这样的指数无法反映真实漂移风险。用行业内百分位之后你才能真正看出“在所在行业里这家公司是不是过度消费了AI叙事”。3.3 绕不开的噪音公告“蹭热点”检测的特殊处理年报和互动平台的文本相对稳定临时公告就要困难得多。因为临时公告发布具有极强的事件驱动性一家公司可能在并购重组公告中提及“标的公司拥有AI图像识别技术”一句话就导致AI关键词频次暴涨。针对这个问题我在临时公告处理中加入了段落级主体识别把公告文本切成事件块并购标的基本面变化、股东增减持、监管问询回复、日常经营合同只把“日常经营合同”和“研发进展”两类事件中的AI词计入热度其他事件块的AI词排除。说白了一家公司因为并购一家AI公司而披露AI技术跟它日常经营深度参与AI是两件完全不同的事不能混在一个池子里算。4. 2010-2024年十五年的实测洞察漂AI从“口癖”变成了“系统性动作”指数构建完毕接下来是整个项目最有意思的部分看这条十五年时间线上A股上市公司漂AI行为的整体演化和结构分化。我先把最重要的结论放在最前面漂AI行为的烈度和经济热度呈强正相关但在不同年份之间漂移的“姿势”差异巨大。4.1 全市场漂AI总指数的五个阶段以全部2281家样本公司各年度漂AI指数中位数画一条曲线可以清楚地看到五个截然不同的阶段阶段一2010-2013年潜伏期。全市场漂AI指数中位数在7分以下。这个阶段提及AI的公司高度集中于计算机、电子和通信三个行业且措辞普遍保守多是“积极关注”“技术储备”“战略跟踪”。漂移形态是“口癖式”因为在战略层面确实不知道该做什么所以提一嘴显得自己有前瞻性但谁也不当真。阶段二2014-2017年第一轮泡沫期。中位数从8分直接拉升到22分。驱动力是“互联网”政策热和国家对智能制造的战略推动。这一阶段最典型的现象是跨界漂移大爆发大量机械、家电、汽车零部件公司开始密集汇报“智能工厂”“工业机器人”“无人驾驶布局”但仔细一看所谓机器人业务只是买了几个机械臂所谓无人驾驶布局只是与某高校签了一个联合实验室意向书。阶段三2018-2020年回落整固期。中位数回落到15分上下。AI资本寒冬叠加监管趋严交易所对“无业务披露蹭热点”的问询显著增加一大批没有实质业务的跨界公司主动收缩了AI叙事。留下来的基本上是真有AI研发投入的硬科技公司和一部分虽然在收缩但依然嘴硬的“顽固漂移者”。这段时期是判断公司成色最佳的观察窗口那些在行业降温期反而增加AI披露内容的公司大概率是真的在做事。阶段四2021-2022年分化加剧期。2021年“元宇宙”概念分流了一大批本可能涌入“AI”的叙事流量漂AI指数不升反降中位数跌到13分。但到了2022年底ChatGPT发布后短短几个月内年报和公告中的“大模型”“生成式AI”词频爆炸式增长指数在2023年直接飙到29分创下十五年历史新高。2024年进一步上行到33分左右。这轮漂移烈度远超前两轮因为2023年的AI叙事不仅热度高而且有ChatGPT作为实实在在的证据锚点公司们的措辞胆量大幅提升“赋能”“重塑”“颠覆”这类宏动词的使用频率翻了近十倍。4.2 哪些行业是漂AI“重灾区”把200多家样本公司按行业拆分后漂移指数的行业分布呈现出非常清晰的梯度。计算机、传媒、电子行业的漂AI指数中位数虽然绝对数字不高因为行业基线高成色代理的权重也高但行业内方差极大——真AI龙头和纯叙事型公司的分数可以差出50分以上。机械设备、基础化工、公用事业是漂移指数排名中最常冲到高位的行业因为行业本身与AI距离远一旦开始密集讨论AI叙事偏离度维度的得分会瞬间拉满直接把总指数顶上去。这背后的原因其实很直白越是没有AI基因的行业说AI的边际“声量收益”越高也就越有动力去说。这跟现实中越缺什么越爱炫耀什么是一个道理。4.3 一个典型的高漂移样本长什么样把结构分析落到具体样本上会更直观。我用一个虚构的典型画像来说明——某家以配电设备为主营的公司2010-2018年间年报中的AI相关词频几乎为零2019年偶尔出现一两次“智能化”从2022年末开始突然密集披露“AI电力巡检”“智能诊断算法”同时发布一系列与AI相关的战略合作公告。拆开看它的得分结构非常典型概念热度得分90分区域内前5%业务成色逆向得分70分研发投入中AI项目占比不足1%历史一致性得分95分前五年积累几乎为零导致突变度极大叙事偏离度85分配电设备行业主题与AI主题向量夹角极大最终漂AI指数87分,属于极端高漂移样本。这类公司在指数里的共同特征是热度靠前、成色垫底、历史表现突变、行业乖离拉满四个维度全部指向同一个结论。5. 这套指数能做什么从研究工具到风控指标漂AI指数建完之后最大的问题就是它到底有什么用如果只是做一个“谁在蹭AI”的排行榜那本质上还是个花架子。在实际应用中我发现这套指数至少有四个层面是能够落地产生具体价值的。5.1 排除干扰项给投资研究的“叙事噪声”降噪研究员的日常工作中最难的不是拆解财务状况而是从成百上千条“AI赋能”“智能驱动”的公告里分辨哪些信息披露的真实含义是什么。漂AI指数在这里能够充当一个高效的初筛工具如果一家公司的漂AI指数超过80分研究员可以基本跳过它的AI叙事直接进入传统基本面分析反过来漂AI指数低于20分且业务成色得分极高的公司值得把AI业务单独拉出来做深度研究。我个人的体会是在真正分析AI投资标的时“具有AI业务”是加分项但“只有AI叙事”就变成一个显著的风险项。指数最大的作用是帮助研究员快速识别后者避免在浩如烟海的披露文本里做人工噪声过滤。5.2 辅助识别信息披露的合规风险信号交易所对上市公司“无实质业务蹭热点”的监管日趋严格但监管资源始终是有限的不可能每家公司的每份公告都去做深度语义分析。漂AI指数提供了一种用数据辅助监管排查的可能当一家公司的漂AI指数在过去一个报告期内出现异常飙升比如跨年上升30分以上同时业务成色逆向得分没有同步改善时它就是一个值得纳入关注名单的“叙事突增样本”。这套逻辑不判断公司有没有违规只负责在浩瀚的信息流中帮监管和中介机构把概率较高的风险样本筛选出来。5.3 卖方研究与行业对比中的“AI成色”锚点现在几乎所有券商的行业深度报告里都会有“AI含量”的分析篇章但绝大多数分析停留在“该公司发布了AI产品/大模型/智能平台”这种定性描述上。漂AI指数的价值在于提供了一个可横向比较、可纵向追踪的量化锚点。比如同一行业里有10家公司在做“智能质检”到底哪家披露得更具体、跟业务贴合度更高、历史投入更连续指数都可以给出一个排序。这种对比做多了之后甚至会反过来倒逼上市公司提升AI披露质量——当整个行业都在用统一的标准度量“AI成色”时“讲故事”的边际收益会直线下降。5.4 上市公司IR投资者关系部门的自我体检工具这一点可能很多人想不到但在我跟一些上市公司董办和IR部门交流后发现他们其实也很想知道自家公司在市场眼里是不是“漂AI”。原因很简单一旦公司被贴上“蹭热点”的标签机构投资者的信任度会大打折扣。这套指数的四维框架其实可以直接复制给IR部门做内部自查概念热度是不是过度了业务成色能不能支撑现有叙事历史上有没有突然转向说过一个风口的事跟同业相比自己的叙事偏离度高不高用这套体系自查一遍往往能发现营销团队和投资者关系团队之间信息不对称的问题——市场部的PPT把公司描述成AI先锋IR部门的对外口径却写的是“公司仍是一家传统制造企业”两个声音打架最后在市场上形成的形象必然是混乱的。6. 局限性与边界什么东西漂AI指数测不出来最后必须泼几盆冷水把这套指数的边界彻底说清楚。任何一个数据产品如果使用者不清楚它的局限再好的指标也会被误用成灾难。6.1 文本分析永远抓不到“真实意图”漂AI指数本质上只能分析披露文本文本背后的真实意图是任何算法都无法触及的。一个极端的反例是某家公司在年报中完全不提“人工智能”但内部已经组建了上百人的算法团队自研的大模型已经进入业务测试阶段——因为战略保密的原因它选择不披露。这家公司真实的“AI成色”很高但漂AI指数会把它判定为“低热度、低漂移”因为从文本上看它什么都没说。这类情况告诉我漂AI指数适合用来排除“假阳性”讲故事但无实质不适合用来识别“假阴性”有实质但不说。后者还是要靠深度调研和产业链验证。6.2 小样本行业的排名波动会失真行业内百分位排名法对样本量极少的行业比如样本不足10家的行业很容易产生不稳定结果——一家公司多披露一条AI公告就能把整个行业的排名打乱。在行业切分时我不得不把样本量过小的行业并入相邻大类或者在计算“叙事偏离度”维度时改用一级行业标签而不是二级行业标签。如果你拿这套指数的子行业数据做精细对比一定要先检查该行业的样本量是否足够支撑结论。6.3 词表的时效滞后是天然缺陷无论词典更新得多勤它永远跟不上市场造词的速度。2024年市场中开始流行“AI一切”AI教育、AI医疗、AI电力、AI农业如果我的词典在“业务层”只收录了“智能家居”“智能驾驶”而没有及时加入“AI农业”“AI电力巡检”这类组合词相应的披露就会被低估。这不是构建上的失误而是文本分析方法的固有天花板。实际操作中我每年一季度发布上一年度指数结果时都会同时回算一次历史序列——因为新词的加入会改变历史年份的部分得分保证纵向对比的公平性。6.4 高漂移不等于“造假”这一点必须反复强调否则这套指数的使用者很容易走向过度解读。一家公司在年报里大谈AI也许是因为它的客户群体喜欢听这个比如政府采购、科技园区招商也许是因为它的管理层确实认为AI未来会颠覆行业所以提前做叙事卡位。高漂移指数只能说明公司的AI披露与实质业务之间存在明显的落差至于这个落差是战略布局过早、还是纯粹的概念炒作、还是事实性误导需要结合更多维度的证据来判断。把漂AI指数当成“造假识别器”是危险的把它当成“叙事与业务的背离程度的温度计”才是合理的用法。7. 复盘一下整个项目的成本与收益整个“2281上市公司漂AI指数2010-2024”从数据采集、清洗、词典构建、算法设计到最终跑完十五年全量计算前后花了接近四个月的时间大部分时间都消耗在数据清洗和词典迭代上——纯计算部分用一台普通的开发机跑了两轮就出结果了数据的脏程度才是真正让人崩溃的地方。做这个项目最大的体会是衡量“漂移”的难点不在于算法本身而在于制定“真与假”的判断标准。AI成色这个维度光靠文本分析是不够的必须叠加研发投入结构、收入归因、管理层讨论细节密度等多个代理变量才能逼近真实而每个代理变量本身又需要更加底层的清洗工程才能保证不自欺欺人。整个过程有点像做法医鉴定——表面上是在翻文书的用词实际上是在还原证据链。如果你也打算做类似的概念漂移指数不只是AI还包括元宇宙、碳中和、低空经济甚至任何一波产业风口我的建议是先把数据清洗打扎实再定义“成色”的代理指标最后再考虑用什么算法。算法的选择其实是最不值钱的部分文本密度也好、语义相似度也好、主题模型也好本质上都是在测量同一个叙事现象真正决定指数价值的是底层数据的质量和“成色”定义是否有商业常识支撑。没有这两点再漂亮的算法都只是在精确地测量一个错误的问题。最后再分享一个小技巧我做这份指数的过程中保留了每家公司在每一年每一个维度的原始得分记录而不是只保留最终合成值。现在每次有新的政策热点出现我都能快速从库里拉出“在某个时间节点哪些公司在哪个维度上产生了突变”这样的细粒度数据。这份历史痕迹的价值随着时间推移只会越来越大——建议任何做类似数据产品的人都从第一天开始好好保存过程数据别只盯着最终指标看。