简介面向金融文本挖掘方向的高校毕业设计这套项目使用房地产企业年报中的管理层讨论与分析MDA文本结合财务指标与债券主体评级数据构建了从风险词向量训练、文本聚类到回归分析的风险预测完整流程适合计算机、金融科技相关专业学生用作期末大作业或论文复现参考。包内共37个文件以Jupyter Notebook分析脚本、Excel与txt数据表、词向量模型及可视化图表为主压缩包约101.93MB目录将语料、财务数据、模型和词典分区存放便于按步骤复现实验。除核心源码外还附有停用词表、风险种子词与情感词典等配套资源已有46人学习浏览内容经导师审定且本地调试可运行。通过该项目可掌握中文文本预处理、Word2Vec词向量与LDA主题建模、风险词典构建、财务指标处理及回归建模等核心方法是一份评审分98分、包含源码模型与数据的高分毕业设计范例。1. 为什么要把“管理层讨论与分析”当作风险信号源一家房地产企业的年报里利润表可能还是正的现金流表已经开始变紧真正把风险说漏嘴的往往是后面的那段管理层讨论与分析MDA。标题里的研究项目核心就是把这部分管理层自述变成可量化的风险信号再配合财务指标去预测企业未来 12 个月内发生潜在风险的概率。它不是堆了几百个财务比率再跑一个分类器而是把文字当成一个前瞻性强、人为修饰空间小的数据源。适合谁做信用风险评估、房企投后管理、财报文本挖掘的从业者以及想在风控里引入软信息但不知道怎么落地的团队。看完这篇文章你能拿到一条从数据获取、文本清洗、特征工程到模型训练和上线验证的完整可复现路径也会知道哪些坑会让你白跑一个月。2. MDA 文本为什么能预报风险数据获取与清洗在做任何特征工程之前得先回答一个问题为什么一家公司不会直接在年报里写“我快不行了”我们却还能从 MDA 里读出风险这个问题的答案决定了整个项目的建模思路而不是简单套用一套情感分析往里灌。2.1 软信息为什么比财务指标早暴露风险财务指标的滞后性是行业内公认的痛点。资产负债率、流动比率、现金短债比这些硬数据只能反映报告期末的某一时点状态而房地产项目的销售回款、融资到账、工程付款往往错配在好几个季度里。更麻烦的是存货跌价准备计提多少、收入按什么进度确认、哪些并表哪些不并表公司自己有一定操作空间。审计意见通过之后你看到的数字已经是管理层“修饰过”的版本。MDA 的逻辑刚好相反。监管对这部分内容的要求是“管理层对经营情况的讨论与分析”它天然要求管理层回顾过去、展望未来并且解释重大变化。这里有一个微妙的博弈公司不敢不写但也不会直白地暴露风险于是风险就藏在了措辞里。一家公司如果在 MDA 里反复提“流动性管理”“偿债安排”“受限资金”“展期协商”即便当期利润还是正的你已经可以闻到紧张的味道。房地产行业的文本信号尤其值得做原因在于它的风险传导链条特别长。拿地、开发、预售、回款、结转任何一个环节卡住现金流都会出问题而这些问题在合并报表里早期几乎看不出来。管理层站在经营一线比外部分析师更早看到回款速度下降、银行授信收紧、合作方要求提前还款。这些信息不会单独披露但会通过 MDA 的篇幅分配、高频词汇和语气变化流露出来。所以这个项目的核心假设是文本不是财务指标的替代品而是一个提前量更足的高频信号源。2.2 从哪拿数据三个来源与抓取注意事项做这类项目数据来源不外乎三个方向我一般会组合使用而不是只抓一个。来源类型典型内容对风险预测的价值主要坑年度报告中的 MDA 章节“经营情况讨论与分析”或“管理层讨论与分析”整节年度口径、覆盖最全适合作为主数据源不同年份章节命名不同PDF 版面复杂业绩说明会记录与投资者交流文本管理层现场回答、提问纪要频率更高、更口语化措辞修饰少格式杂问答混排需要重新拼装债券募集说明书、跟踪评级报告经营与风险因素、偿债能力分析对负债端和融资能力描述更细文件较长风险相关段落分散抓取上最重要的一个原则是按章节锚点截取不要整篇 PDF 全部塞给模型。年度报告里除了 MDA 还有公司简介、审计报告、财务报表附注这些内容的语义和 MDA 完全不同混在一起只会稀释信号。锚点词要准备多个版本因为不同年份、不同公司的叫法差异很大“经营情况讨论与分析”“管理层讨论与分析”“董事会报告”都出现过。还有一些公司会把 MDA 拆成多个小节抓取结束后要检查一下长度如果某家公司抓出来的文本只有 200 字基本可以判定锚点匹配失败。2.3 文本清洗的标准流程与代码拿到原始文本之后清洗是第一个容易翻车的环节。年报 PDF 大多有页眉页脚、页码、表格横线有些还是双层 PDF直接从页面抽文本会出现乱序。我常用的做法是用 PyMuPDF 先定位锚点再从锚点页开始向后抽取最后用正则把页眉页码和重复空行去掉。import fitz # PyMuPDF import re def extract_mda(pdf_path, anchors(经营情况讨论与分析, 管理层讨论与分析, 董事会报告)): doc fitz.open(pdf_path) start_page None full_text [] for page_no in range(len(doc)): text doc[page_no].get_text() for anchor in anchors: if anchor in text and start_page is None: start_page page_no if start_page is not None: full_text.append(text) raw \n.join(full_text) raw re.sub(r\n\d{1,3}\n, \n, raw) # 去掉孤立的页码 raw re.sub(r[ \t], , raw) # 合并空格和制表符 raw re.sub(r\n{3,}, \n\n, raw) # 压缩连续换行 return raw这段代码的逻辑是逐页扫描文本命中任意一个锚点后记录起始页从该页开始持续拼接后续所有页面文本。之所以用首个锚点命中而不是全部命中收集是因为年报正文里“经营情况讨论与分析”可能在目录页出现一次、在正文出现一次如果不去重会导致从目录页就开始抓抓进大量无用内容。参数说明anchors 是章节别名列表建议把公司历史年报里用过的叫法都放进页码正则\n\d{1,3}\n专门处理单行页码但如果页码是“第 3 页 / 共 120 页”这种带文字的形式需要额外加一条规则。抓取结束后我习惯打印每家公司 MDA 的文本长度分布凡是长度明显偏离中位数的样本都回到 PDF 人工确认一遍锚点是否匹配错位。这一步看着费时间实际上能省掉后面特征工程阶段的大量脏数据排查。3. 把文字变成数字特征工程与风险标签文本清洗完之后下一步是把 MDA 从自然语言变成模型能用的向量。这个环节直接决定模型上限因为后面无论用什么模型输入的特征质量都是瓶颈。这里我不建议一上来就上 BERT 嵌入而是先用三类经典特征把基线立住。3.1 三类文本特征语气、词频、相似度第一类是语气特征也就是情感和情绪打分。要注意金融文本不能用通用情感词典通用词典会把“诉讼”“违约”“风险”这些中性词直接打成强负面反而不利于区分公司间的相对差异。常见做法是用金融专用词典再叠加一份针对房地产行业的自定义词表把“拿地”“去化”“回款”“受限资金”“展期”这些词单独赋予风险权重。算的时候先做词典匹配再按句子聚合最后归一化到整篇 MDA 的语气得分。第二类是词频与 TF-IDF 特征。风险信号往往藏在某个词的出现频次变化里比如“偿债”这个词在一篇 3000 字的 MDA 里出现 10 次跟在一篇 10000 字的报告里出现 10 次含义完全不同。所以用相对频次比绝对频次更稳TF-IDF 天然做了这个归一化而且能压制“公司”“报告”“管理层”这类每篇都出现的高频噪声词。建议 ngram 范围开到 1-2这样像“偿债压力”“现金流紧张”这种二元短语也能被捕捉到。第三类是文本相似度特征。把本年度 MDA 和上一年度 MDA 做余弦相似度正常情况下一家经营稳定的公司MDA 的结构和表述风格不会大变如果相似度突然大幅下降往往意味着公司经营方向、风险状况或者披露策略出了变化。这里有个反直觉的点相似度骤降不一定是风险上升也可能是并购重组导致的业务结构变化所以要放在后面的模型里和其他特征一起判断不要单独当作预警指标。3.2 风险标签怎么构造窗口期决定项目成败标签是整个项目里最容易被低估的部分。常见做法是把未来 12 个月内发生债务违约、贷款逾期、被出具非标审计意见、被实施退市风险警示的公司定义为正样本。窗口期设计是核心用 T 年年报的 MDA 文本预测 T 年报告期结束后 12 个月内的风险事件而不是用违约已经发生的那期年报去做事后复盘。这一点必须想清楚。如果把违约事件当年的 MDA 当作正样本文本模型学到的是“已经出事之后管理层怎么说”而不是“出事之前管理层怎么露出苗头”这样的模型拿到当下场景去预测未来效果会大打折扣。我一般会把每条样本对应到具体的报告期截止日然后只取事件发生日之前最近一份年报的 MDA确保文本信息在时间上严格先于风险事件。负样本的构造相对简单未来 12 个月内没有发生任何风险事件的公司-年度样本。房地产行业的正样本比例通常很低一百条样本里可能只有三五条是正的这种不平衡会在模型训练阶段带来明显偏差需要在训练时通过类别权重或者采样策略去调整而不是指望模型自己学会“少数派”。3.3 特征工程代码一份能直接跑通的片段from sklearn.feature_extraction.text import TfidfVectorizer from scipy.sparse import hstack import pandas as pd df pd.DataFrame({ company_id: [C001, C001, C002], # 公司唯一标识用于分组 year: [2021, 2022, 2021], mda_text: [报告期内公司实现营收..., ..., ...], liability_ratio: [78.5, 81.2, 65.3], # 资产负债率 cash_short_debt: [0.8, 0.6, 1.2], # 现金短债比 risk_label: [0, 1, 0] }) vectorizer TfidfVectorizer( max_features3000, ngram_range(1, 2), min_df3, max_df0.85, sublinear_tfTrue ) tfidf vectorizer.fit_transform(df[mda_text]) fin df[[liability_ratio, cash_short_debt]].values X hstack([tfidf, fin]) y df[risk_label].values这段代码的作用是把文本和财务字段拼成同一个稀疏矩阵。参数上max_features3000是为了把 TF-IDF 维度控制在一个树模型能轻松处理的范围min_df3表示至少在 3 篇文档中出现过的词才保留避免单篇文档的生僻词成为噪声max_df0.85表示在超过 85% 的文档中都出现的词会被忽略这些词基本是“公司”“报告”这类无区分度词汇。sublinear_tfTrue使用 1log(tf) 来平滑词频不然长文本里的高频词会主导向量方向。关键提醒fit_transform必须在训练集上完成验证集和测试集只能调用transform。如果把训练集和验证集放在一起做 TF-IDF 拟合词表里会混入验证集的信息导致验证结果虚高这在时间序列类风控项目里属于典型的标签泄漏。4. 模型选型与训练从 baseline 到可解释分类器特征工程做完之后模型选择反而没有那么多悬念。核心矛盾是样本量小、特征维度高、业务又要可解释这三个约束条件基本把深度文本模型排除在第一梯队之外。4.1 三条路线怎么选模型路线适用场景文本特征利用方式主要瓶颈逻辑回归 / 线性 SVM样本量小、强解释要求稀疏 TF-IDF 直接线性组合无法捕捉非线性交互LightGBM / XGBoost中等样本、混合特征对稀疏特征做非线性切分需要防过拟合调试参数较多BERT 类预训练模型样本量大、算力充足语义化理解上下文小样本容易过拟合可解释性差我一般会把 LightGBM 作为首选 baseline原因很实际它对稀疏输入友好训练速度快能处理 TF-IDF 和财务数值特征的混合输入还能输出 feature importance 给业务方解释。BERT 类模型在一个只有几百条样本的地产数据集上几乎必然过拟合除非你有上万条经过标注的文本否则不建议一上来就做微调。逻辑回归适合做对照实验用来证明“文本特征在这条任务上是否有增量”非常合适。4.2 训练一个风险分类器LightGBM 完整代码import lightgbm as lgb from sklearn.model_selection import GroupKFold from sklearn.metrics import roc_auc_score params { objective: binary, metric: auc, learning_rate: 0.03, num_leaves: 31, max_depth: 5, min_child_samples: 30, feature_fraction: 0.7, bagging_fraction: 0.8, bagging_freq: 1, lambda_l2: 1.0, verbose: -1, } group_kfold GroupKFold(n_splits5) for train_idx, valid_idx in group_kfold.split(X, y, groupsdf[company_id]): X_tr, X_va X[train_idx], X[valid_idx] y_tr, y_va y[train_idx], y[valid_idx] dtr lgb.Dataset(X_tr, labely_tr) dva lgb.Dataset(X_va, labely_va, referencedtr) model lgb.train( params, dtr, num_boost_round1000, valid_sets[dva], callbacks[lgb.early_stopping(50), lgb.log_evaluation(100)] ) auc roc_auc_score(y_va, model.predict(X_va, num_iterationmodel.best_iteration)) print(ffold auc{auc:.4f})这里最关键的设计是GroupKFold按company_id分组。同一家公司在不同年度的 MDA 文本高度相似如果随机划分同一家公司的 2021 年和 2022 年样本会同时出现在训练集和验证集里模型等于见过答案再考试AUC 会虚高 0.1 以上。按公司分组后验证集里的公司完全不参与训练更接近真实上线时“预测一家没见过的公司”的场景。参数上learning_rate0.03配合early_stopping是防过拟合的第一道防线宁可多跑几百轮也不要一上来用 0.1max_depth5和min_child_samples30是为了限制单棵树深度文本特征维度高、噪声多太深的树很容易记住个别样本lambda_l21.0是给特征权重加 L2 正则。如果项目正负样本比例极不平衡在params里加scale_pos_weight: 10这类值具体数值取决于负样本倍数一般从 5 开始试。4.3 三个必调参数别只盯着默认值第一个是num_boost_round和早停轮数的配合。我会把num_boost_round设成 1000 甚至 2000然后靠early_stopping(50)截停这样模型可以在小学习率下充分迭代又不会因为过拟合导致验证 AUC 掉头。如果你发现最佳迭代次数始终停在 200 轮以下说明学习率偏高或者叶子节点太多需要往低调。第二个是scale_pos_weight。房地产风险样本天然稀少不调会偏向预测负样本调过头又会把大量正常企业误报成风险名单。我一般会先在默认参数下跑出 baseline AUC然后按正负样本比例 1:5、1:10、1:15 各跑一轮挑出验证集上 PrecisionTop50 最高的那一档而不是只看 AUC。AUC 高不代表名单可用风控业务真正关心的是“我圈定的前 50 家公司里到底有几家真的出事了”。第三个是max_depth和min_child_samples的组合。个人习惯是max_depth从 4 开始min_child_samples从 20 开始一组一组试。文本特征矩阵很稀疏如果min_child_samples太小树会沿着某些只在两三篇文档里出现的词分裂这类分裂基本是噪声。特征重要性出来之后可以检查排名靠前的特征里有没有明显的长尾词有的话说明参数还需要收紧。5. 避坑MDA 风险预测项目最常见的 5 个坑这个项目的坑几乎都不在模型算法里而在数据处理和标签设计上。下面 5 个问题都是我见过或者亲身踩过的按出现频率排个序。5.1 坑一MDA 章节抓取抓不全锚点匹配失败现象是某些公司抓出来的文本特别短或者内容明显是“公司简介”“经营业务”而不是管理层讨论。主要原因在于各公司年报章节命名不统一有些叫“经营情况讨论与分析”有些叫“管理层讨论与分析”还有些把内容拆成“报告期主要经营情况”“未来发展展望”等子章节单一锚点必然漏抓。解决思路是多锚点加回退机制。先准备 5 到 8 个锚点词按优先级匹配抓完后再做一次文本长度分布检查凡是长度落在下四分位之外的样本用目录页的章节标题和页码信息重新定位。这个过程不值得写太多自动化人工核对几十家问题样本反而更快。5.2 坑二标签泄漏模型分数高得吓人上线就翻车现象是离线验证 AUC 做到 0.95 以上上线后预测的名单却大量误报。原因大概率是标签和文本的时间窗重叠了——最常见的手误是把“违约已经发生的年份”的 MDA 文本当成正样本而违约事件发生在报告期截止日之前模型实际上是在学“出事后怎么描述”而不是“出事前的征兆”。解决方法是严格约束时间线。每一条样本都记录报告期截止日风险标签只看截止日之后 12 个月内发生的事件如果事件已经发生就回溯到事件发生前最近一份年报。建议在代码里加一个断言校验正样本的 MDA 报告期截止日必须早于事件发生日否则直接报错而不是默默地把脏样本喂进去。5.3 坑三加了文本特征模型效果反而变差现象是财务基线 AUC 0.78加上 TF-IDF 特征之后掉到 0.76看起来文本没有用。原因通常是文本特征与财务特征高度共线或者 TF-IDF 维度太高把树模型的注意力带偏了。还有一个被忽略的因素通用情感词典和房地产语境不匹配把“结转”“竣工备案”这些正常经营词打成了负面。解决思路是先单独验证文本增量。只用文本特征跑一个逻辑回归看单独 AUC 是否显著高于随机如果单独 AUC 本身就接近 0.5说明特征构造有问题不要继续混进主模型。另一种有效手段是把 TF-IDF 降维成主题特征比如用 LDA 提取 20 到 30 个主题再把这几个主题占比作为输入维度低、噪声小、可解释性还更强。5.4 坑四相似度特征被“换人写稿”干扰现象是某家公司本年 MDA 与上年相似度从 0.8 骤降到 0.4模型立刻输出高风险预警但这家公司经营完全正常。原因可能是换了报告撰写团队、换了审计机构、或者发生并购导致并表范围变化文本风格突变不等于风险突变。解决方法是把绝对相似度改成相对相似度。具体来说把每家公司当年的相似度减去当年同行业所有公司相似度的中位数得到一个“偏离值”。如果全行业相似度都在下降可能是披露模板改了这属于系统性变化不应该算作单个公司的风险信号。我习惯把原始相似度和偏离相似度都作为特征放进模型让模型自己决定信任哪个。5.5 坑五只预测“硬违约”对流动性紧张但还没出事的公司漏报现象是回测名单里命中率很高但命中的几乎都是已经明显出问题的公司提前预警的意义被削弱。原因是标签定义太窄只用了违约、ST 这类硬事件而管理层在 MDA 里流露的流动性焦虑没有被建模。解决方法是构造“准风险”标签。把未来 12 个月内出现债券收益率显著上行、融资性现金流持续为负、短期债务占比大幅上升等一种或多种迹象的公司列为弱正样本把稳健公司作为负样本然后训练一个多分类或回归模型输出连续风险分。这个做法的难点在于弱正样本的阈值需要业务侧参与定义但换来的是预警提前量明显提升模型从“事后诸葛亮”变成“事前预报员”。6. 从模型到可用名单最小验证路径与一个校准技巧模型训练完成之后最容易被忽略的一步是向业务方证明“文本信息到底带来了多少增量”。我的最小验证路径是同时训练两个模型一个只用财务特征一个用财务加文本特征然后在滚动时间窗口上对比两者的 AUC 和一个更贴近业务口径的指标——Top 50 名单命中率。表格可以是这样的模型验证集 AUCTop 50 命中公司数其中事前预警占比仅财务特征0.762146财务 MDA 文本特征0.8111912看到明细差距业务方才会承认文本分析不是玄学。另一个对我帮助很大的技巧是做概率分桶校准把模型输出的风险概率从高到低分成 10 桶分别统计每一桶的真实风险发生率。实际项目里经常发现 0.7 以上概率段的命中率能达到预期但 0.5 到 0.7 这个区间噪声很大这时候就按桶来定业务阈值而不是盯着全局 F1。以前我在某个模拟项目 X 里只报 AUC 和召回率业务方始终觉得是黑匣子后来改成给名单、给命中公司、给前三位的可解释特征因子模型才真正被采信。这个调整没有增加任何算法复杂度却比调十个参数都有用。希望帮到你。本文还有配套的精品资源点击获取 
长河君 · 2026/10/10 0:21:16 · 阅读 1.2k 基于MDA文本挖掘的房地产企业信用风险预测方法
简介面向金融文本挖掘方向的高校毕业设计这套项目使用房地产企业年报中的管理层讨论与分析MDA文本结合财务指标与债券主体评级数据构建了从风险词向量训练、文本聚类到回归分析的风险预测完整流程适合计算机、金融科技相关专业学生用作期末大作业或论文复现参考。包内共37个文件以Jupyter Notebook分析脚本、Excel与txt数据表、词向量模型及可视化图表为主压缩包约101.93MB目录将语料、财务数据、模型和词典分区存放便于按步骤复现实验。除核心源码外还附有停用词表、风险种子词与情感词典等配套资源已有46人学习浏览内容经导师审定且本地调试可运行。通过该项目可掌握中文文本预处理、Word2Vec词向量与LDA主题建模、风险词典构建、财务指标处理及回归建模等核心方法是一份评审分98分、包含源码模型与数据的高分毕业设计范例。1. 为什么要把“管理层讨论与分析”当作风险信号源一家房地产企业的年报里利润表可能还是正的现金流表已经开始变紧真正把风险说漏嘴的往往是后面的那段管理层讨论与分析MDA。标题里的研究项目核心就是把这部分管理层自述变成可量化的风险信号再配合财务指标去预测企业未来 12 个月内发生潜在风险的概率。它不是堆了几百个财务比率再跑一个分类器而是把文字当成一个前瞻性强、人为修饰空间小的数据源。适合谁做信用风险评估、房企投后管理、财报文本挖掘的从业者以及想在风控里引入软信息但不知道怎么落地的团队。看完这篇文章你能拿到一条从数据获取、文本清洗、特征工程到模型训练和上线验证的完整可复现路径也会知道哪些坑会让你白跑一个月。2. MDA 文本为什么能预报风险数据获取与清洗在做任何特征工程之前得先回答一个问题为什么一家公司不会直接在年报里写“我快不行了”我们却还能从 MDA 里读出风险这个问题的答案决定了整个项目的建模思路而不是简单套用一套情感分析往里灌。2.1 软信息为什么比财务指标早暴露风险财务指标的滞后性是行业内公认的痛点。资产负债率、流动比率、现金短债比这些硬数据只能反映报告期末的某一时点状态而房地产项目的销售回款、融资到账、工程付款往往错配在好几个季度里。更麻烦的是存货跌价准备计提多少、收入按什么进度确认、哪些并表哪些不并表公司自己有一定操作空间。审计意见通过之后你看到的数字已经是管理层“修饰过”的版本。MDA 的逻辑刚好相反。监管对这部分内容的要求是“管理层对经营情况的讨论与分析”它天然要求管理层回顾过去、展望未来并且解释重大变化。这里有一个微妙的博弈公司不敢不写但也不会直白地暴露风险于是风险就藏在了措辞里。一家公司如果在 MDA 里反复提“流动性管理”“偿债安排”“受限资金”“展期协商”即便当期利润还是正的你已经可以闻到紧张的味道。房地产行业的文本信号尤其值得做原因在于它的风险传导链条特别长。拿地、开发、预售、回款、结转任何一个环节卡住现金流都会出问题而这些问题在合并报表里早期几乎看不出来。管理层站在经营一线比外部分析师更早看到回款速度下降、银行授信收紧、合作方要求提前还款。这些信息不会单独披露但会通过 MDA 的篇幅分配、高频词汇和语气变化流露出来。所以这个项目的核心假设是文本不是财务指标的替代品而是一个提前量更足的高频信号源。2.2 从哪拿数据三个来源与抓取注意事项做这类项目数据来源不外乎三个方向我一般会组合使用而不是只抓一个。来源类型典型内容对风险预测的价值主要坑年度报告中的 MDA 章节“经营情况讨论与分析”或“管理层讨论与分析”整节年度口径、覆盖最全适合作为主数据源不同年份章节命名不同PDF 版面复杂业绩说明会记录与投资者交流文本管理层现场回答、提问纪要频率更高、更口语化措辞修饰少格式杂问答混排需要重新拼装债券募集说明书、跟踪评级报告经营与风险因素、偿债能力分析对负债端和融资能力描述更细文件较长风险相关段落分散抓取上最重要的一个原则是按章节锚点截取不要整篇 PDF 全部塞给模型。年度报告里除了 MDA 还有公司简介、审计报告、财务报表附注这些内容的语义和 MDA 完全不同混在一起只会稀释信号。锚点词要准备多个版本因为不同年份、不同公司的叫法差异很大“经营情况讨论与分析”“管理层讨论与分析”“董事会报告”都出现过。还有一些公司会把 MDA 拆成多个小节抓取结束后要检查一下长度如果某家公司抓出来的文本只有 200 字基本可以判定锚点匹配失败。2.3 文本清洗的标准流程与代码拿到原始文本之后清洗是第一个容易翻车的环节。年报 PDF 大多有页眉页脚、页码、表格横线有些还是双层 PDF直接从页面抽文本会出现乱序。我常用的做法是用 PyMuPDF 先定位锚点再从锚点页开始向后抽取最后用正则把页眉页码和重复空行去掉。import fitz # PyMuPDF import re def extract_mda(pdf_path, anchors(经营情况讨论与分析, 管理层讨论与分析, 董事会报告)): doc fitz.open(pdf_path) start_page None full_text [] for page_no in range(len(doc)): text doc[page_no].get_text() for anchor in anchors: if anchor in text and start_page is None: start_page page_no if start_page is not None: full_text.append(text) raw \n.join(full_text) raw re.sub(r\n\d{1,3}\n, \n, raw) # 去掉孤立的页码 raw re.sub(r[ \t], , raw) # 合并空格和制表符 raw re.sub(r\n{3,}, \n\n, raw) # 压缩连续换行 return raw这段代码的逻辑是逐页扫描文本命中任意一个锚点后记录起始页从该页开始持续拼接后续所有页面文本。之所以用首个锚点命中而不是全部命中收集是因为年报正文里“经营情况讨论与分析”可能在目录页出现一次、在正文出现一次如果不去重会导致从目录页就开始抓抓进大量无用内容。参数说明anchors 是章节别名列表建议把公司历史年报里用过的叫法都放进页码正则\n\d{1,3}\n专门处理单行页码但如果页码是“第 3 页 / 共 120 页”这种带文字的形式需要额外加一条规则。抓取结束后我习惯打印每家公司 MDA 的文本长度分布凡是长度明显偏离中位数的样本都回到 PDF 人工确认一遍锚点是否匹配错位。这一步看着费时间实际上能省掉后面特征工程阶段的大量脏数据排查。3. 把文字变成数字特征工程与风险标签文本清洗完之后下一步是把 MDA 从自然语言变成模型能用的向量。这个环节直接决定模型上限因为后面无论用什么模型输入的特征质量都是瓶颈。这里我不建议一上来就上 BERT 嵌入而是先用三类经典特征把基线立住。3.1 三类文本特征语气、词频、相似度第一类是语气特征也就是情感和情绪打分。要注意金融文本不能用通用情感词典通用词典会把“诉讼”“违约”“风险”这些中性词直接打成强负面反而不利于区分公司间的相对差异。常见做法是用金融专用词典再叠加一份针对房地产行业的自定义词表把“拿地”“去化”“回款”“受限资金”“展期”这些词单独赋予风险权重。算的时候先做词典匹配再按句子聚合最后归一化到整篇 MDA 的语气得分。第二类是词频与 TF-IDF 特征。风险信号往往藏在某个词的出现频次变化里比如“偿债”这个词在一篇 3000 字的 MDA 里出现 10 次跟在一篇 10000 字的报告里出现 10 次含义完全不同。所以用相对频次比绝对频次更稳TF-IDF 天然做了这个归一化而且能压制“公司”“报告”“管理层”这类每篇都出现的高频噪声词。建议 ngram 范围开到 1-2这样像“偿债压力”“现金流紧张”这种二元短语也能被捕捉到。第三类是文本相似度特征。把本年度 MDA 和上一年度 MDA 做余弦相似度正常情况下一家经营稳定的公司MDA 的结构和表述风格不会大变如果相似度突然大幅下降往往意味着公司经营方向、风险状况或者披露策略出了变化。这里有个反直觉的点相似度骤降不一定是风险上升也可能是并购重组导致的业务结构变化所以要放在后面的模型里和其他特征一起判断不要单独当作预警指标。3.2 风险标签怎么构造窗口期决定项目成败标签是整个项目里最容易被低估的部分。常见做法是把未来 12 个月内发生债务违约、贷款逾期、被出具非标审计意见、被实施退市风险警示的公司定义为正样本。窗口期设计是核心用 T 年年报的 MDA 文本预测 T 年报告期结束后 12 个月内的风险事件而不是用违约已经发生的那期年报去做事后复盘。这一点必须想清楚。如果把违约事件当年的 MDA 当作正样本文本模型学到的是“已经出事之后管理层怎么说”而不是“出事之前管理层怎么露出苗头”这样的模型拿到当下场景去预测未来效果会大打折扣。我一般会把每条样本对应到具体的报告期截止日然后只取事件发生日之前最近一份年报的 MDA确保文本信息在时间上严格先于风险事件。负样本的构造相对简单未来 12 个月内没有发生任何风险事件的公司-年度样本。房地产行业的正样本比例通常很低一百条样本里可能只有三五条是正的这种不平衡会在模型训练阶段带来明显偏差需要在训练时通过类别权重或者采样策略去调整而不是指望模型自己学会“少数派”。3.3 特征工程代码一份能直接跑通的片段from sklearn.feature_extraction.text import TfidfVectorizer from scipy.sparse import hstack import pandas as pd df pd.DataFrame({ company_id: [C001, C001, C002], # 公司唯一标识用于分组 year: [2021, 2022, 2021], mda_text: [报告期内公司实现营收..., ..., ...], liability_ratio: [78.5, 81.2, 65.3], # 资产负债率 cash_short_debt: [0.8, 0.6, 1.2], # 现金短债比 risk_label: [0, 1, 0] }) vectorizer TfidfVectorizer( max_features3000, ngram_range(1, 2), min_df3, max_df0.85, sublinear_tfTrue ) tfidf vectorizer.fit_transform(df[mda_text]) fin df[[liability_ratio, cash_short_debt]].values X hstack([tfidf, fin]) y df[risk_label].values这段代码的作用是把文本和财务字段拼成同一个稀疏矩阵。参数上max_features3000是为了把 TF-IDF 维度控制在一个树模型能轻松处理的范围min_df3表示至少在 3 篇文档中出现过的词才保留避免单篇文档的生僻词成为噪声max_df0.85表示在超过 85% 的文档中都出现的词会被忽略这些词基本是“公司”“报告”这类无区分度词汇。sublinear_tfTrue使用 1log(tf) 来平滑词频不然长文本里的高频词会主导向量方向。关键提醒fit_transform必须在训练集上完成验证集和测试集只能调用transform。如果把训练集和验证集放在一起做 TF-IDF 拟合词表里会混入验证集的信息导致验证结果虚高这在时间序列类风控项目里属于典型的标签泄漏。4. 模型选型与训练从 baseline 到可解释分类器特征工程做完之后模型选择反而没有那么多悬念。核心矛盾是样本量小、特征维度高、业务又要可解释这三个约束条件基本把深度文本模型排除在第一梯队之外。4.1 三条路线怎么选模型路线适用场景文本特征利用方式主要瓶颈逻辑回归 / 线性 SVM样本量小、强解释要求稀疏 TF-IDF 直接线性组合无法捕捉非线性交互LightGBM / XGBoost中等样本、混合特征对稀疏特征做非线性切分需要防过拟合调试参数较多BERT 类预训练模型样本量大、算力充足语义化理解上下文小样本容易过拟合可解释性差我一般会把 LightGBM 作为首选 baseline原因很实际它对稀疏输入友好训练速度快能处理 TF-IDF 和财务数值特征的混合输入还能输出 feature importance 给业务方解释。BERT 类模型在一个只有几百条样本的地产数据集上几乎必然过拟合除非你有上万条经过标注的文本否则不建议一上来就做微调。逻辑回归适合做对照实验用来证明“文本特征在这条任务上是否有增量”非常合适。4.2 训练一个风险分类器LightGBM 完整代码import lightgbm as lgb from sklearn.model_selection import GroupKFold from sklearn.metrics import roc_auc_score params { objective: binary, metric: auc, learning_rate: 0.03, num_leaves: 31, max_depth: 5, min_child_samples: 30, feature_fraction: 0.7, bagging_fraction: 0.8, bagging_freq: 1, lambda_l2: 1.0, verbose: -1, } group_kfold GroupKFold(n_splits5) for train_idx, valid_idx in group_kfold.split(X, y, groupsdf[company_id]): X_tr, X_va X[train_idx], X[valid_idx] y_tr, y_va y[train_idx], y[valid_idx] dtr lgb.Dataset(X_tr, labely_tr) dva lgb.Dataset(X_va, labely_va, referencedtr) model lgb.train( params, dtr, num_boost_round1000, valid_sets[dva], callbacks[lgb.early_stopping(50), lgb.log_evaluation(100)] ) auc roc_auc_score(y_va, model.predict(X_va, num_iterationmodel.best_iteration)) print(ffold auc{auc:.4f})这里最关键的设计是GroupKFold按company_id分组。同一家公司在不同年度的 MDA 文本高度相似如果随机划分同一家公司的 2021 年和 2022 年样本会同时出现在训练集和验证集里模型等于见过答案再考试AUC 会虚高 0.1 以上。按公司分组后验证集里的公司完全不参与训练更接近真实上线时“预测一家没见过的公司”的场景。参数上learning_rate0.03配合early_stopping是防过拟合的第一道防线宁可多跑几百轮也不要一上来用 0.1max_depth5和min_child_samples30是为了限制单棵树深度文本特征维度高、噪声多太深的树很容易记住个别样本lambda_l21.0是给特征权重加 L2 正则。如果项目正负样本比例极不平衡在params里加scale_pos_weight: 10这类值具体数值取决于负样本倍数一般从 5 开始试。4.3 三个必调参数别只盯着默认值第一个是num_boost_round和早停轮数的配合。我会把num_boost_round设成 1000 甚至 2000然后靠early_stopping(50)截停这样模型可以在小学习率下充分迭代又不会因为过拟合导致验证 AUC 掉头。如果你发现最佳迭代次数始终停在 200 轮以下说明学习率偏高或者叶子节点太多需要往低调。第二个是scale_pos_weight。房地产风险样本天然稀少不调会偏向预测负样本调过头又会把大量正常企业误报成风险名单。我一般会先在默认参数下跑出 baseline AUC然后按正负样本比例 1:5、1:10、1:15 各跑一轮挑出验证集上 PrecisionTop50 最高的那一档而不是只看 AUC。AUC 高不代表名单可用风控业务真正关心的是“我圈定的前 50 家公司里到底有几家真的出事了”。第三个是max_depth和min_child_samples的组合。个人习惯是max_depth从 4 开始min_child_samples从 20 开始一组一组试。文本特征矩阵很稀疏如果min_child_samples太小树会沿着某些只在两三篇文档里出现的词分裂这类分裂基本是噪声。特征重要性出来之后可以检查排名靠前的特征里有没有明显的长尾词有的话说明参数还需要收紧。5. 避坑MDA 风险预测项目最常见的 5 个坑这个项目的坑几乎都不在模型算法里而在数据处理和标签设计上。下面 5 个问题都是我见过或者亲身踩过的按出现频率排个序。5.1 坑一MDA 章节抓取抓不全锚点匹配失败现象是某些公司抓出来的文本特别短或者内容明显是“公司简介”“经营业务”而不是管理层讨论。主要原因在于各公司年报章节命名不统一有些叫“经营情况讨论与分析”有些叫“管理层讨论与分析”还有些把内容拆成“报告期主要经营情况”“未来发展展望”等子章节单一锚点必然漏抓。解决思路是多锚点加回退机制。先准备 5 到 8 个锚点词按优先级匹配抓完后再做一次文本长度分布检查凡是长度落在下四分位之外的样本用目录页的章节标题和页码信息重新定位。这个过程不值得写太多自动化人工核对几十家问题样本反而更快。5.2 坑二标签泄漏模型分数高得吓人上线就翻车现象是离线验证 AUC 做到 0.95 以上上线后预测的名单却大量误报。原因大概率是标签和文本的时间窗重叠了——最常见的手误是把“违约已经发生的年份”的 MDA 文本当成正样本而违约事件发生在报告期截止日之前模型实际上是在学“出事后怎么描述”而不是“出事前的征兆”。解决方法是严格约束时间线。每一条样本都记录报告期截止日风险标签只看截止日之后 12 个月内发生的事件如果事件已经发生就回溯到事件发生前最近一份年报。建议在代码里加一个断言校验正样本的 MDA 报告期截止日必须早于事件发生日否则直接报错而不是默默地把脏样本喂进去。5.3 坑三加了文本特征模型效果反而变差现象是财务基线 AUC 0.78加上 TF-IDF 特征之后掉到 0.76看起来文本没有用。原因通常是文本特征与财务特征高度共线或者 TF-IDF 维度太高把树模型的注意力带偏了。还有一个被忽略的因素通用情感词典和房地产语境不匹配把“结转”“竣工备案”这些正常经营词打成了负面。解决思路是先单独验证文本增量。只用文本特征跑一个逻辑回归看单独 AUC 是否显著高于随机如果单独 AUC 本身就接近 0.5说明特征构造有问题不要继续混进主模型。另一种有效手段是把 TF-IDF 降维成主题特征比如用 LDA 提取 20 到 30 个主题再把这几个主题占比作为输入维度低、噪声小、可解释性还更强。5.4 坑四相似度特征被“换人写稿”干扰现象是某家公司本年 MDA 与上年相似度从 0.8 骤降到 0.4模型立刻输出高风险预警但这家公司经营完全正常。原因可能是换了报告撰写团队、换了审计机构、或者发生并购导致并表范围变化文本风格突变不等于风险突变。解决方法是把绝对相似度改成相对相似度。具体来说把每家公司当年的相似度减去当年同行业所有公司相似度的中位数得到一个“偏离值”。如果全行业相似度都在下降可能是披露模板改了这属于系统性变化不应该算作单个公司的风险信号。我习惯把原始相似度和偏离相似度都作为特征放进模型让模型自己决定信任哪个。5.5 坑五只预测“硬违约”对流动性紧张但还没出事的公司漏报现象是回测名单里命中率很高但命中的几乎都是已经明显出问题的公司提前预警的意义被削弱。原因是标签定义太窄只用了违约、ST 这类硬事件而管理层在 MDA 里流露的流动性焦虑没有被建模。解决方法是构造“准风险”标签。把未来 12 个月内出现债券收益率显著上行、融资性现金流持续为负、短期债务占比大幅上升等一种或多种迹象的公司列为弱正样本把稳健公司作为负样本然后训练一个多分类或回归模型输出连续风险分。这个做法的难点在于弱正样本的阈值需要业务侧参与定义但换来的是预警提前量明显提升模型从“事后诸葛亮”变成“事前预报员”。6. 从模型到可用名单最小验证路径与一个校准技巧模型训练完成之后最容易被忽略的一步是向业务方证明“文本信息到底带来了多少增量”。我的最小验证路径是同时训练两个模型一个只用财务特征一个用财务加文本特征然后在滚动时间窗口上对比两者的 AUC 和一个更贴近业务口径的指标——Top 50 名单命中率。表格可以是这样的模型验证集 AUCTop 50 命中公司数其中事前预警占比仅财务特征0.762146财务 MDA 文本特征0.8111912看到明细差距业务方才会承认文本分析不是玄学。另一个对我帮助很大的技巧是做概率分桶校准把模型输出的风险概率从高到低分成 10 桶分别统计每一桶的真实风险发生率。实际项目里经常发现 0.7 以上概率段的命中率能达到预期但 0.5 到 0.7 这个区间噪声很大这时候就按桶来定业务阈值而不是盯着全局 F1。以前我在某个模拟项目 X 里只报 AUC 和召回率业务方始终觉得是黑匣子后来改成给名单、给命中公司、给前三位的可解释特征因子模型才真正被采信。这个调整没有增加任何算法复杂度却比调十个参数都有用。希望帮到你。本文还有配套的精品资源点击获取