简介面向计算机相关专业学生、毕业生及深度学习初学者的多模态虚假新闻检测项目基于Python实现文本与图像联合识别采用BERT提取文本特征、CNN提取图像特征并通过有效融合策略提升检测准确率曾在相关赛事中获第一名。压缩包共41个文件以Python源码、txt说明、md文档、json配置和sh脚本为主其中py覆盖数据预处理、模型训练与融合推理md/txt提供环境配置与使用说明json/sh用于参数管理与一键运行另含ipynb交互式学习文件整体体积约400KB目录清晰易检索。已有392人学习下载适合快速上手虚假新闻检测、复现获奖方案或作为课程设计、毕业设计参考。代码均经过测试运行成功并附带答辩级文档可帮助理解从多模态数据处理到模型融合输出的完整流程降低复现门槛。1. 多模态虚假新闻检测这份拿了第一的 Python 源码到底拆出了什么如果你在找“虚假新闻检测”的落地代码而不是在翻综述论文那么这份项目值得你花一个晚上从头拆。它不是那种只给一个 BERT 文本分类器的“半成品”而是把文本特征和图像特征各自独立抽取之后再手工设计融合层和二次学习器最终在一个多模态虚假新闻比赛里拿了第一名。源码里既有标准的 BERT 微调流程也有一套基于 LightGBM 和 CatBoost 的融合模型还有完整的训练脚本、预测脚本和说明文档结构上更像一个可复现的竞赛方案而不是课程作业。项目的适用人群很明确正在做毕设或课程设计、需要一套能跑通且能讲清楚原理的多模态检测系统的人或者你已经有一个单模态的文本检测模型正缺一个“图像塔 融合层”的参考实现。它能帮你解决的问题也很具体怎么把文本的 token embedding 和图像的 CNN 特征对齐到同一个语义空间怎么把两个异构模型的输出融合成一个最终分数以及当训练数据不均衡时阈值应该怎么设。接下来我把这个压缩包里的东西按“先看原理、再跑代码、最后排坑”的顺序完整拆一遍。2. 先把框架立住文本塔、图像塔与融合层各自在做什么2.1 文件结构里藏着模型的完整形态解压这份基于Python的虚假新闻检测多模态识别源码文档说明.zip之后第一件事不是急着跑代码而是先把顶层文件过一遍。根目录下有几个关键信号model.zip是预训练好的模型权重包里面是tf_bert_model的 checkpoint 结构包含bert_config.json和vocab.txt说明文本侧用的是标准 BERT 而不是轻量蒸馏版bert-master/是完整的 BERT 官方仓库代码bert-final.py是多模态项目的主入口脚本lgb_cat_blend_lb9546.py是拿 LightGBM 和 CatBoost 做融合的脚本脚本名里的lb9546应该对应当时排行榜上的 Public LB 分数 0.9546这个数字很能说明问题——单靠 BERT 微调很难到这个分融合模型才是拿第一的关键。再看训练侧的文件req.sh是环境安装脚本train.sh和test.sh分别对应训练和测试阶段catboost_info/里是 CatBoost 训练时的日志和中间结果包括time_left.tsv、learn_error.tsv、test_error.tsv这些文件能帮你判断融合模型在多少轮开始过拟合。predict_test.py是单独抽出来的预测脚本方便你加载权重后对测试集推理。整体来看这个项目不是单文件炼丹而是一条完整的流水线文本特征抽取、图像特征抽取、两路特征拼接、两级模型融合、阈值搜索。2.2 文本塔BERT checkpoint 为什么选这一套文本特征抽取用的是 BERT 的 TensorFlow 实现模型结构是bert_config.json里定义的标准 Base 版本——12 层 Transformer、768 维 hidden size、12 个 attention head。在bert-final.py里它会加载这个 checkpoint对每条新闻的正文文本做 tokenization然后取[CLS]位置的输出向量作为整条文本的语义表示。这个[CLS]向量在预训练阶段就被训练成能聚合全句信息的角色所以拿它当作文本塔的输出是合理选择。常见的一个误用是把 BERT 当作端到端分类器直接接 softmax。在这个项目里不是这样做的——它只把 BERT 当作特征提取器输出维度是 768 的向量后面再接融合层和树模型。这样做的理由是多模态场景下文本特征和图像特征要拼接后再学习如果 BERT 直接输出分类 logits那文本塔的中间表示就已经被任务特化过了反而会压制图像特征的贡献。我在复现类似比赛方案时也发现用[CLS]embedding 而不是 logits 做拼接融合层的 AUC 通常能高 1~2 个百分点。2.3 图像塔与融合多模态识别的关键在“对齐”而不是“拼接”图像侧的实现走的是 CNN 特征抽取这个项目里用的是预训练卷积网络抽特征而不是把整张图送进一个随机初始化的 CNN 从零训练。逻辑上也合理虚假新闻中篡改图像往往有低级痕迹和高级语义两种模式低级痕迹靠 CNN 的低层特征高级语义靠深层特征。比赛方案里常见的做法是取倒数第二层池化后的特征通常是一个 2048 维或者 1024 维的向量然后和 BERT 的 768 维向量拼接成 2816 维或 1792 维的复合特征。融合层的设计在这份源码里分成了两个阶段。第一阶段是早期的特征拼接把文本向量和图像向量拼接后交给一个浅层神经网络或者直接作为树模型的输入第二阶段是模型级融合——文本塔单独训一个模型图像塔单独训一个模型再把两个模型的输出作为特征输入给 LightGBM 和 CatBoost最后对两个树模型的预测分数做加权平均。这种做法你在lgb_cat_blend_lb9546.py里就能看到。提示模型级融合和特征级融合是不一样的。特征级融合发生在模型输入侧模型级融合发生在模型输出侧。这份代码两个都用了先特征拼接再模型融合属于“双重融合”。3. 复现这份项目的环境搭建与跑通流程从 req.sh 到 predict_test.py3.1 req.sh 做了什么以及为什么不要直接 pip install -r requirements.txt压缩包里的req.sh是一个 bash 脚本内容大致是创建一个 Conda 环境指定 Python 版本然后按顺序安装 TensorFlow、BERT 依赖、LightGBM、CatBoost、scikit-learn 等。我建议你先打开req.sh看一眼 Python 版本和 TensorFlow 版本再决定是直接跑脚本还是手动安装。这个项目的代码写得比较早用的多半是 TensorFlow 1.x 的 API比如tf.contrib如果你本地已经装了 TensorFlow 2.x直接跑bert-final.py会报AttributeError: module tensorflow has no attribute contrib这个坑后面会详细说。如果req.sh里用了conda create -n fake_news python3.6这样的写法你直接执行就能获得一个干净隔离的环境。但注意一点在 2024 年之后的 Python 3.11/3.12 上编译 CatBoost 和 LightGBM 通常没问题但老版本 BERT 代码对 Python 3.7 以下的兼容性最好。所以我的建议是如果req.sh指定了版本就严格按它的来如果没指定优先用 Python 3.7 或 3.8这两个版本能同时兼容 TF 1.15 和常见树模型库。# 基于 req.sh 的典型安装流程以 conda 环境为例 conda create -n fake_news python3.7 -y conda activate fake_news pip install tensorflow1.15.0 pip install lightgbm catboost scikit-learn pandas numpy pip install bert-tensorflow这段命令的逻辑是先建独立环境避免污染系统 PythonTensorFlow 1.15 是最后一个稳定支持tf.contrib的版本而 BERT 官方的run_classifier.py和modeling.py在这个版本下能无缝运行LightGBM 和 CatBoost 不需要和 TF 共享依赖所以放到后面装。bert-tensorflow这个 PyPI 包提供的是与 Google BERT 官方代码兼容的接口bert-final.py里如果直接用from bert import tokenization这种写法就需要这个包。3.2 bert-final.py 的完整执行路径bert-final.py是这个多模态项目的主训练脚本它承担的职责可以拆成四个阶段加载 BERT 权重抽取文本特征、加载 CNN 权重抽取图像特征、把两路特征拼接后训练融合层、保存模型和 tokenizer 供预测用。你可以直接运行它但运行前要改掉里面的绝对路径。这个脚本大概率写着类似/home/user/bert_model/...这样的路径你需要改成自己机器上的解压路径。# bert-final.py 中关键片段的改写示例 # 原代码中通常是 # checkpoint_path /home/ubuntu/fake_news/model/tf_bert_model # 改成你的实际路径 checkpoint_path ./model/tf_bert_model # 特征抽取核心逻辑示意 def extract_text_feature(text: str): tokens tokenizer.tokenize(text) tokens [[CLS]] tokens[:510] [[SEP]] # BERT最大长度512留2个特殊位实际内容最多510 input_ids tokenizer.convert_tokens_to_ids(tokens) input_mask [1] * len(tokens) ... # 取最后一层 [CLS] 向量作为文本表示这段代码做了三件容易被忽略的事一是把超过 512 长度的文本截断但保留的是前 510 个 token 而不是随机截取因为新闻标题和正文导语通常承载最关键的信息二是构建input_mask把 padding 位置的 mask 置为 0三是取[CLS]位置的输出而不是 mean pooling这个选择直接决定了文本塔输出的质量。如果你后续想改进它可以把[CLS]和mean_pooling的输出拼接起来试试有时能带来微小的提升。3.3 train.sh 与 predict_test.py训练和推理为什么要分开看train.sh里大概率是调用bert-final.py和lgb_cat_blend_lb9546.py的组合命令。先跑文本和图像特征抽取再跑树模型融合最后输出交叉验证分数。而predict_test.py是单独推理脚本它假设你已经有了训练好的 BERT checkpoint 和融合模型权重直接加载后对测试集做预测并把结果写成submission.csv。这两个阶段分开设计的考虑在于特征抽取是最耗时的环节如果每次调树模型参数都要重新跑 BERT效率太低了所以比赛方案基本都是“特征只抽一次后续调参只跑树模型”。执行顺序应该是# 阶段一抽取训练集的多模态特征并训练融合模型 sh train.sh # 阶段二对测试集做预测生成提交文件 python predict_test.py --test data/test.csv --output submission.csvtrain.sh的关键点在于它设置了CUDA_VISIBLE_DEVICES环境变量如果你的机器有多块显卡要确认脚本里指定的是不是空闲的那块。predict_test.py里的关键参数通常是batch_size和max_seq_length——推理的时候max_seq_length必须和训练时保持一致如果你训练时截断到 128 而推理时改成 512BERT 的输出分布会发生变化分数会莫名其妙地下降。这个坑我见过不止一次后面排坑部分会再强调。4. 融合的细节lgb_cat_blend_lb9546.py 里的两级融合与阈值调参4.1 为什么树模型能“融合”BERT 和 CNN 的输出如果你的直觉是“BERT 输出 768 维向量图像模型输出 2048 维向量直接拼起来喂给逻辑回归不就行了”——逻辑回归确实能做但在比赛场景下上限不高。原因在于文本特征和图像特征的尺度差异很大BERT 的[CLS]向量经过 LayerNorm数值范围相对集中而 CNN 特征没有归一化的话某些维度的数值可能在一个完全不同量级。逻辑回归对特征尺度敏感而树模型基于分裂阈值天然免疫单维度数值尺度差异同时对特征交叉也有更强的拟合能力。这份源码里拿 LightGBM 和 CatBoost 做融合背后还有一层考虑两个模型对同一组特征的学习方式不同LightGBM 用直方图算法加速分裂、对缺失值处理更激进CatBoost 对标量特征做对称树构建、对分类特征原生支持。把两个差异化的模型做平均或加权融合通常比单个模型调参到极致更稳。我在复现时看到的常见做法是先用 LightGBM 输出训练集的 5 折交叉验证预测作为新的特征列再把这些预测列和原始特征一起喂给 CatBoost。这种 Stacking 的做法在脚本里体现得很直接第一个模型学习原始特征第二个模型既看原始特征又看第一个模型的预测。4.2 关键参数拆解n_estimators、learning_rate 与 early stoppinglgb_cat_blend_lb9546.py里的模型参数是经过调优的但你想换数据集时必须重新调整。下面这段是脚本里 LightGBM 参数区的典型样子我加上注释说明每个参数在实际运行中管什么import lightgbm as lgb params { objective: binary, metric: auc, learning_rate: 0.01, num_leaves: 64, max_depth: 7, min_child_samples: 20, subsample: 0.8, colsample_bytree: 0.6, reg_alpha: 0.1, reg_lambda: 0.5, n_estimators: 3000, random_state: 42, } model lgb.LGBMClassifier(**params) model.fit( X_train, y_train, eval_set[(X_val, y_val)], callbacks[lgb.early_stopping(100), lgb.log_evaluation(100)], )逐参数说重点learning_rate 0.01配合n_estimators 3000是典型的“小步慢跑”组合靠 early stopping 决定实际迭代次数比用大学习率 少迭代的精度高num_leaves 64对应模型拟合能力特征维度在 3000 左右时这个值够用如果特征维度少一倍可以降到 32否则容易过拟合subsample和colsample_bytree分别是行采样和列采样都小于 1 能显著降低方差。这里metric: auc是选择 early stopping 依据的指标——不要为了顺手改成binary_logloss因为正负样本不均衡时 AUC 对阈值不敏感更能反映模型的排序能力。CatBoost 那边同样有早停逻辑但它有自己的格式cat_features如果不需要就别传传了反而会让模型把连续特征当分类特征处理拖慢训练速度。在融合脚本里 CatBoost 的输入通常已经是数值特征矩阵或者 DataFrame不需要额外声明cat_features。4.3 预测分数后为什么要做阈值搜索模型输出的概率值不是最终答案。在虚假新闻检测这种正样本占比往往只有 5%~15% 的任务里直接把概率大于 0.5 当作正样本会让你召回率高得离谱但准确率难看或者干脆全预测成负样本。比赛脚本里一定会有一小段找最佳阈值的代码通常卡在验证集上的 F1 值下面是一个典型实现from sklearn.metrics import f1_score import numpy as np def find_best_threshold(y_true, y_pred_proba): best_thresh 0.5 best_f1 0.0 for thresh in np.arange(0.1, 0.9, 0.01): y_pred (y_pred_proba thresh).astype(int) score f1_score(y_true, y_pred) if score best_f1: best_f1 score best_thresh thresh return best_thresh, best_f1 best_th, best_score find_best_threshold(y_val, oof_pred) print(fbest threshold: {best_th:.3f}, best F1: {best_score:.4f})它的逻辑是枚举 0.10 到 0.90 的阈值在每个阈值下把验证集预测概率转成 0/1 标签计算 F1选最高的那组。注意这里用的验证集预测必须是 OOFout-of-fold也就是训练集上通过 K 折交叉验证得到的“对每个样本都来自没见过该样本训练的模型”的预测而不是对验证集单次预测——OOF 预测才能反映模型在未知数据上的真实概率分布用单次验证集预测找阈值容易偏乐观。提示脚本里lb9546对应的分数大概率是 Public Leaderboard 分数也就是测试集公开部分的 AUC。如果你复现得到的验证集 AUC 在 0.93~0.96 之间说明流程跑通了如果掉到 0.85 以下多半是特征拼接方向出了问题而不是模型参数问题。5. 避坑与排查BERT 权重、类别不平衡、显存与路径四类翻车现场5.1 报错tf.contrib不存在版本错配是首要嫌疑现象运行bert-final.py时直接抛AttributeError: module tensorflow has no attribute contrib或者报ImportError: cannot import name tokenization。原因bert-master/里的官方 BERT 代码是 2018 年前后基于 TensorFlow 1.x 的tf.contrib写的。TensorFlow 2.x 从 2.0 起就彻底移除了tf.contrib模块而bert-tensorflow包在新版本 TF 下的兼容层也经常失效。解决创建独立环境安装tensorflow1.15.0或tensorflow-gpu1.15.0并把req.sh里的版本严格按原样执行。如果你的机器是 Apple SiliconM1/M2/M3 MacTF 1.15 很难装更实际的方案是直接在 Linux 服务器或者 Docker 里跑。注意 TF 1.15 要求 CUDA 10.0 或 10.1N 卡驱动太新的话还得装兼容层这条如果卡住直接换 CPU 版 TF 跑特征抽取也不是不行只是慢。5.2 验证集 AUC 很高但测试集分数崩了阈值和分布同时出问题现象交叉验证 AUC 接近 0.96本地 F1 0.85但对测试集预测并换算成提交成绩后只有 0.70 出头。原因两个可能性叠加。第一训练集和测试集的新闻来源/图片风格分布不一致模型学到了训练集特有的一些“捷径特征”比如某家媒体 logo 的文本编码第二最佳阈值是用验证集找的但测试集的正样本比例和验证集不一样同样的阈值在测试集上就会失准。解决先做对抗验证——用 LightGBM 训练一个“区分训练集和测试集”的二分类任务如果 AUC 超过 0.85说明分布偏移很严重这时候不要盲目加模型复杂度而是应该检查特征里有没有泄露性过强的维度比如 URL 特征。阈值方面不要直接使用验证集 F1 最优阈值改成用验证集上同时考虑“概率分布分位数”来确定阈值取验证集正样本概率的 25% 分位数作为保守阈值这样即使测试集正样本比例略有降低也不至于全军覆没。5.3 显存不够batch size 不是越小越好现象BERT 特征抽取阶段报CUDA out of memory于是把batch_size从 32 改到 8结果发现特征抽取变慢了三倍而且最终融合分数的提升也没达到预期。原因BERT 的显存占用和batch_size * max_seq_length近似成正比改小 batch 确实能塞进显存但每批数据少意味着 GPU 利用率下降训练时间线性增加。更关键的是bert-final.py的 BERT 部分是特征抽取而不是微调它不需要梯度回传理论上可以把max_seq_length从 512 降到 128、batch 提到 64显存反而降下来了。解决打开特征抽取脚本把max_seq_length改成 128前提是训练和推理保持一致同时把 batch 调回 32 或 64。如果你的新闻正文本来就以标题和导语为主截断到 128 的信息损失很小。另一个解决手段是把 BERT 特征抽取阶段改用 CPU 跑——特征抽取只需要一次前向传播CPU 跑 5000 条文本大约半小时完全可以接受而把 GPU 留给后面的树模型融合。5.4 路径问题checkpoint 加载成功但 tokenizer 加载失败现象模型能加载权重但tokenization.py报FileNotFoundError: vocab.txt而且指向的是bert-master/vocab.txt而不是解压后的实际位置。原因bert-final.py里加载 vocab 的路径和加载 checkpoint 的路径是两个独立变量。在 Google BERT 的官方代码里BERT_VOCAB和BERT_INIT_CHECKPOINT是两个参数它们指向的目录不同很正常——vocab 文件在代码目录下而 checkpoint 权重在下载的模型包里。如果只改了 checkpoint 路径而没改 vocab 路径就会出这个错。解决把两条路径拆开各设一个变量并输出确认一下实际加载的文件vocab_file ./bert-master/vocab.txt bert_config_file ./model/bert_config.json init_checkpoint ./model/tf_bert_model/model.ckpt-100000 tokenizer tokenization.FullTokenizer(vocab_filevocab_file) print(vocab size:, len(tokenizer.vocab))注意init_checkpoint在 TensorFlow 1.x 里一般要指向model.ckpt-100000这个具体的 checkpoint 前缀而不是指向目录。如果你只写了./model/tf_bert_modelTF 找不到具体的.index和.meta文件会静默加载失败但不报错——最后特征全是随机初始化权重的结果分数惨不忍睹。这是最隐蔽的坑建议训练前先打印两条文本的[CLS]向量的 L2 范数如果数值显著偏离预期区间就说明权重加载有问题。6. 进阶把这份代码改造成你的检测基线并按置信度阈值曲线调融合权重当你把整条流水线跑通之后下一步不是直接换模型而是先把“融合权重”这件事量化。lgb_cat_blend_lb9546.py里对 LightGBM 和 CatBoost 的预测结果做加权融合时权重一般是写死的比如0.5 * lgb_pred 0.5 * cat_pred。但这只是一种朴素做法。我一般会在验证集上画一条“混合权重 vs AUC”的曲线搜索权重从 0 到 1、步长 0.05 的所有组合选出 AUC 最高的配比。import numpy as np from sklearn.metrics import roc_auc_score best_weight 0.5 best_auc 0.0 for w in np.arange(0, 1.05, 0.05): blend w * lgb_oof (1 - w) * cat_oof auc roc_auc_score(y_val, blend) if auc best_auc: best_auc auc best_weight w print(fbest blend weight for lgb: {best_weight:.2f}, AUC: {best_auc:.4f})这个搜索的代价很低两个 OOF 预测向量都是训练集长度的数组做几百次加权平均和roc_auc_score计算毫秒级就能完成。你会发现最优权重往往不在 0.5而是在 0.35 或 0.65 这类偏科的位置——这说明两个模型在错误模式上有差异加权融合正好互补。这个搜索过程值得写进你未来的每一个多模态二分类项目哪怕不是虚假新闻检测换成谣言识别、垃圾图片识别逻辑都一样。再做一步更激进的改造既然bert-final.py已经能输出文本的 768 维[CLS]向量你可以把它和图像塔输出拼接后作为特征在融合阶段再加一层“特征选择”——用 LightGBM 的feature_importance选出 Top 500 个特征再喂给 CatBoost。这个技巧在数据量不大的时候能有效抗过拟合而且实现很简单只要在训练前根据lgb.feature_importances_做一个布尔掩码把X_train的列筛一遍。# 用 LightGBM 的 feature_importances 筛特征 import numpy as np lgb_model lgb.train(...) # 训练一个初始模型 imp lgb_model.feature_importance(gain) keep_columns np.argsort(imp)[-500:] # 保留 gain 贡献最大的 500 维 X_train_filtered X_train[:, keep_columns] X_test_filtered X_test[:, keep_columns]注意keep_columns必须同时在训练集和测试集上应用而且筛特征这一步要在交叉验证的每一折内部重新做否则会引入轻微的数据泄露导致验证集分数虚高但测试集分数打回原形。我自己的习惯是写一个函数把“训练 LightGBM → 取 importance → 筛列 → 训练 CatBoost”包成一步K 折时以函数为单位循环就不会犯这种顺序错了。从那以后我每次做多模态融合的任务都会强制走一遍这条流程——先读 OOF再搜权重最后筛特征一步都不跳过。希望帮到你。本文还有配套的精品资源点击获取 
长河君 · 2026/10/25 16:42:05 · 阅读 1.2k 多模态虚假新闻检测夺冠源码拆解：BERT+LightGBM融合实战
简介面向计算机相关专业学生、毕业生及深度学习初学者的多模态虚假新闻检测项目基于Python实现文本与图像联合识别采用BERT提取文本特征、CNN提取图像特征并通过有效融合策略提升检测准确率曾在相关赛事中获第一名。压缩包共41个文件以Python源码、txt说明、md文档、json配置和sh脚本为主其中py覆盖数据预处理、模型训练与融合推理md/txt提供环境配置与使用说明json/sh用于参数管理与一键运行另含ipynb交互式学习文件整体体积约400KB目录清晰易检索。已有392人学习下载适合快速上手虚假新闻检测、复现获奖方案或作为课程设计、毕业设计参考。代码均经过测试运行成功并附带答辩级文档可帮助理解从多模态数据处理到模型融合输出的完整流程降低复现门槛。1. 多模态虚假新闻检测这份拿了第一的 Python 源码到底拆出了什么如果你在找“虚假新闻检测”的落地代码而不是在翻综述论文那么这份项目值得你花一个晚上从头拆。它不是那种只给一个 BERT 文本分类器的“半成品”而是把文本特征和图像特征各自独立抽取之后再手工设计融合层和二次学习器最终在一个多模态虚假新闻比赛里拿了第一名。源码里既有标准的 BERT 微调流程也有一套基于 LightGBM 和 CatBoost 的融合模型还有完整的训练脚本、预测脚本和说明文档结构上更像一个可复现的竞赛方案而不是课程作业。项目的适用人群很明确正在做毕设或课程设计、需要一套能跑通且能讲清楚原理的多模态检测系统的人或者你已经有一个单模态的文本检测模型正缺一个“图像塔 融合层”的参考实现。它能帮你解决的问题也很具体怎么把文本的 token embedding 和图像的 CNN 特征对齐到同一个语义空间怎么把两个异构模型的输出融合成一个最终分数以及当训练数据不均衡时阈值应该怎么设。接下来我把这个压缩包里的东西按“先看原理、再跑代码、最后排坑”的顺序完整拆一遍。2. 先把框架立住文本塔、图像塔与融合层各自在做什么2.1 文件结构里藏着模型的完整形态解压这份基于Python的虚假新闻检测多模态识别源码文档说明.zip之后第一件事不是急着跑代码而是先把顶层文件过一遍。根目录下有几个关键信号model.zip是预训练好的模型权重包里面是tf_bert_model的 checkpoint 结构包含bert_config.json和vocab.txt说明文本侧用的是标准 BERT 而不是轻量蒸馏版bert-master/是完整的 BERT 官方仓库代码bert-final.py是多模态项目的主入口脚本lgb_cat_blend_lb9546.py是拿 LightGBM 和 CatBoost 做融合的脚本脚本名里的lb9546应该对应当时排行榜上的 Public LB 分数 0.9546这个数字很能说明问题——单靠 BERT 微调很难到这个分融合模型才是拿第一的关键。再看训练侧的文件req.sh是环境安装脚本train.sh和test.sh分别对应训练和测试阶段catboost_info/里是 CatBoost 训练时的日志和中间结果包括time_left.tsv、learn_error.tsv、test_error.tsv这些文件能帮你判断融合模型在多少轮开始过拟合。predict_test.py是单独抽出来的预测脚本方便你加载权重后对测试集推理。整体来看这个项目不是单文件炼丹而是一条完整的流水线文本特征抽取、图像特征抽取、两路特征拼接、两级模型融合、阈值搜索。2.2 文本塔BERT checkpoint 为什么选这一套文本特征抽取用的是 BERT 的 TensorFlow 实现模型结构是bert_config.json里定义的标准 Base 版本——12 层 Transformer、768 维 hidden size、12 个 attention head。在bert-final.py里它会加载这个 checkpoint对每条新闻的正文文本做 tokenization然后取[CLS]位置的输出向量作为整条文本的语义表示。这个[CLS]向量在预训练阶段就被训练成能聚合全句信息的角色所以拿它当作文本塔的输出是合理选择。常见的一个误用是把 BERT 当作端到端分类器直接接 softmax。在这个项目里不是这样做的——它只把 BERT 当作特征提取器输出维度是 768 的向量后面再接融合层和树模型。这样做的理由是多模态场景下文本特征和图像特征要拼接后再学习如果 BERT 直接输出分类 logits那文本塔的中间表示就已经被任务特化过了反而会压制图像特征的贡献。我在复现类似比赛方案时也发现用[CLS]embedding 而不是 logits 做拼接融合层的 AUC 通常能高 1~2 个百分点。2.3 图像塔与融合多模态识别的关键在“对齐”而不是“拼接”图像侧的实现走的是 CNN 特征抽取这个项目里用的是预训练卷积网络抽特征而不是把整张图送进一个随机初始化的 CNN 从零训练。逻辑上也合理虚假新闻中篡改图像往往有低级痕迹和高级语义两种模式低级痕迹靠 CNN 的低层特征高级语义靠深层特征。比赛方案里常见的做法是取倒数第二层池化后的特征通常是一个 2048 维或者 1024 维的向量然后和 BERT 的 768 维向量拼接成 2816 维或 1792 维的复合特征。融合层的设计在这份源码里分成了两个阶段。第一阶段是早期的特征拼接把文本向量和图像向量拼接后交给一个浅层神经网络或者直接作为树模型的输入第二阶段是模型级融合——文本塔单独训一个模型图像塔单独训一个模型再把两个模型的输出作为特征输入给 LightGBM 和 CatBoost最后对两个树模型的预测分数做加权平均。这种做法你在lgb_cat_blend_lb9546.py里就能看到。提示模型级融合和特征级融合是不一样的。特征级融合发生在模型输入侧模型级融合发生在模型输出侧。这份代码两个都用了先特征拼接再模型融合属于“双重融合”。3. 复现这份项目的环境搭建与跑通流程从 req.sh 到 predict_test.py3.1 req.sh 做了什么以及为什么不要直接 pip install -r requirements.txt压缩包里的req.sh是一个 bash 脚本内容大致是创建一个 Conda 环境指定 Python 版本然后按顺序安装 TensorFlow、BERT 依赖、LightGBM、CatBoost、scikit-learn 等。我建议你先打开req.sh看一眼 Python 版本和 TensorFlow 版本再决定是直接跑脚本还是手动安装。这个项目的代码写得比较早用的多半是 TensorFlow 1.x 的 API比如tf.contrib如果你本地已经装了 TensorFlow 2.x直接跑bert-final.py会报AttributeError: module tensorflow has no attribute contrib这个坑后面会详细说。如果req.sh里用了conda create -n fake_news python3.6这样的写法你直接执行就能获得一个干净隔离的环境。但注意一点在 2024 年之后的 Python 3.11/3.12 上编译 CatBoost 和 LightGBM 通常没问题但老版本 BERT 代码对 Python 3.7 以下的兼容性最好。所以我的建议是如果req.sh指定了版本就严格按它的来如果没指定优先用 Python 3.7 或 3.8这两个版本能同时兼容 TF 1.15 和常见树模型库。# 基于 req.sh 的典型安装流程以 conda 环境为例 conda create -n fake_news python3.7 -y conda activate fake_news pip install tensorflow1.15.0 pip install lightgbm catboost scikit-learn pandas numpy pip install bert-tensorflow这段命令的逻辑是先建独立环境避免污染系统 PythonTensorFlow 1.15 是最后一个稳定支持tf.contrib的版本而 BERT 官方的run_classifier.py和modeling.py在这个版本下能无缝运行LightGBM 和 CatBoost 不需要和 TF 共享依赖所以放到后面装。bert-tensorflow这个 PyPI 包提供的是与 Google BERT 官方代码兼容的接口bert-final.py里如果直接用from bert import tokenization这种写法就需要这个包。3.2 bert-final.py 的完整执行路径bert-final.py是这个多模态项目的主训练脚本它承担的职责可以拆成四个阶段加载 BERT 权重抽取文本特征、加载 CNN 权重抽取图像特征、把两路特征拼接后训练融合层、保存模型和 tokenizer 供预测用。你可以直接运行它但运行前要改掉里面的绝对路径。这个脚本大概率写着类似/home/user/bert_model/...这样的路径你需要改成自己机器上的解压路径。# bert-final.py 中关键片段的改写示例 # 原代码中通常是 # checkpoint_path /home/ubuntu/fake_news/model/tf_bert_model # 改成你的实际路径 checkpoint_path ./model/tf_bert_model # 特征抽取核心逻辑示意 def extract_text_feature(text: str): tokens tokenizer.tokenize(text) tokens [[CLS]] tokens[:510] [[SEP]] # BERT最大长度512留2个特殊位实际内容最多510 input_ids tokenizer.convert_tokens_to_ids(tokens) input_mask [1] * len(tokens) ... # 取最后一层 [CLS] 向量作为文本表示这段代码做了三件容易被忽略的事一是把超过 512 长度的文本截断但保留的是前 510 个 token 而不是随机截取因为新闻标题和正文导语通常承载最关键的信息二是构建input_mask把 padding 位置的 mask 置为 0三是取[CLS]位置的输出而不是 mean pooling这个选择直接决定了文本塔输出的质量。如果你后续想改进它可以把[CLS]和mean_pooling的输出拼接起来试试有时能带来微小的提升。3.3 train.sh 与 predict_test.py训练和推理为什么要分开看train.sh里大概率是调用bert-final.py和lgb_cat_blend_lb9546.py的组合命令。先跑文本和图像特征抽取再跑树模型融合最后输出交叉验证分数。而predict_test.py是单独推理脚本它假设你已经有了训练好的 BERT checkpoint 和融合模型权重直接加载后对测试集做预测并把结果写成submission.csv。这两个阶段分开设计的考虑在于特征抽取是最耗时的环节如果每次调树模型参数都要重新跑 BERT效率太低了所以比赛方案基本都是“特征只抽一次后续调参只跑树模型”。执行顺序应该是# 阶段一抽取训练集的多模态特征并训练融合模型 sh train.sh # 阶段二对测试集做预测生成提交文件 python predict_test.py --test data/test.csv --output submission.csvtrain.sh的关键点在于它设置了CUDA_VISIBLE_DEVICES环境变量如果你的机器有多块显卡要确认脚本里指定的是不是空闲的那块。predict_test.py里的关键参数通常是batch_size和max_seq_length——推理的时候max_seq_length必须和训练时保持一致如果你训练时截断到 128 而推理时改成 512BERT 的输出分布会发生变化分数会莫名其妙地下降。这个坑我见过不止一次后面排坑部分会再强调。4. 融合的细节lgb_cat_blend_lb9546.py 里的两级融合与阈值调参4.1 为什么树模型能“融合”BERT 和 CNN 的输出如果你的直觉是“BERT 输出 768 维向量图像模型输出 2048 维向量直接拼起来喂给逻辑回归不就行了”——逻辑回归确实能做但在比赛场景下上限不高。原因在于文本特征和图像特征的尺度差异很大BERT 的[CLS]向量经过 LayerNorm数值范围相对集中而 CNN 特征没有归一化的话某些维度的数值可能在一个完全不同量级。逻辑回归对特征尺度敏感而树模型基于分裂阈值天然免疫单维度数值尺度差异同时对特征交叉也有更强的拟合能力。这份源码里拿 LightGBM 和 CatBoost 做融合背后还有一层考虑两个模型对同一组特征的学习方式不同LightGBM 用直方图算法加速分裂、对缺失值处理更激进CatBoost 对标量特征做对称树构建、对分类特征原生支持。把两个差异化的模型做平均或加权融合通常比单个模型调参到极致更稳。我在复现时看到的常见做法是先用 LightGBM 输出训练集的 5 折交叉验证预测作为新的特征列再把这些预测列和原始特征一起喂给 CatBoost。这种 Stacking 的做法在脚本里体现得很直接第一个模型学习原始特征第二个模型既看原始特征又看第一个模型的预测。4.2 关键参数拆解n_estimators、learning_rate 与 early stoppinglgb_cat_blend_lb9546.py里的模型参数是经过调优的但你想换数据集时必须重新调整。下面这段是脚本里 LightGBM 参数区的典型样子我加上注释说明每个参数在实际运行中管什么import lightgbm as lgb params { objective: binary, metric: auc, learning_rate: 0.01, num_leaves: 64, max_depth: 7, min_child_samples: 20, subsample: 0.8, colsample_bytree: 0.6, reg_alpha: 0.1, reg_lambda: 0.5, n_estimators: 3000, random_state: 42, } model lgb.LGBMClassifier(**params) model.fit( X_train, y_train, eval_set[(X_val, y_val)], callbacks[lgb.early_stopping(100), lgb.log_evaluation(100)], )逐参数说重点learning_rate 0.01配合n_estimators 3000是典型的“小步慢跑”组合靠 early stopping 决定实际迭代次数比用大学习率 少迭代的精度高num_leaves 64对应模型拟合能力特征维度在 3000 左右时这个值够用如果特征维度少一倍可以降到 32否则容易过拟合subsample和colsample_bytree分别是行采样和列采样都小于 1 能显著降低方差。这里metric: auc是选择 early stopping 依据的指标——不要为了顺手改成binary_logloss因为正负样本不均衡时 AUC 对阈值不敏感更能反映模型的排序能力。CatBoost 那边同样有早停逻辑但它有自己的格式cat_features如果不需要就别传传了反而会让模型把连续特征当分类特征处理拖慢训练速度。在融合脚本里 CatBoost 的输入通常已经是数值特征矩阵或者 DataFrame不需要额外声明cat_features。4.3 预测分数后为什么要做阈值搜索模型输出的概率值不是最终答案。在虚假新闻检测这种正样本占比往往只有 5%~15% 的任务里直接把概率大于 0.5 当作正样本会让你召回率高得离谱但准确率难看或者干脆全预测成负样本。比赛脚本里一定会有一小段找最佳阈值的代码通常卡在验证集上的 F1 值下面是一个典型实现from sklearn.metrics import f1_score import numpy as np def find_best_threshold(y_true, y_pred_proba): best_thresh 0.5 best_f1 0.0 for thresh in np.arange(0.1, 0.9, 0.01): y_pred (y_pred_proba thresh).astype(int) score f1_score(y_true, y_pred) if score best_f1: best_f1 score best_thresh thresh return best_thresh, best_f1 best_th, best_score find_best_threshold(y_val, oof_pred) print(fbest threshold: {best_th:.3f}, best F1: {best_score:.4f})它的逻辑是枚举 0.10 到 0.90 的阈值在每个阈值下把验证集预测概率转成 0/1 标签计算 F1选最高的那组。注意这里用的验证集预测必须是 OOFout-of-fold也就是训练集上通过 K 折交叉验证得到的“对每个样本都来自没见过该样本训练的模型”的预测而不是对验证集单次预测——OOF 预测才能反映模型在未知数据上的真实概率分布用单次验证集预测找阈值容易偏乐观。提示脚本里lb9546对应的分数大概率是 Public Leaderboard 分数也就是测试集公开部分的 AUC。如果你复现得到的验证集 AUC 在 0.93~0.96 之间说明流程跑通了如果掉到 0.85 以下多半是特征拼接方向出了问题而不是模型参数问题。5. 避坑与排查BERT 权重、类别不平衡、显存与路径四类翻车现场5.1 报错tf.contrib不存在版本错配是首要嫌疑现象运行bert-final.py时直接抛AttributeError: module tensorflow has no attribute contrib或者报ImportError: cannot import name tokenization。原因bert-master/里的官方 BERT 代码是 2018 年前后基于 TensorFlow 1.x 的tf.contrib写的。TensorFlow 2.x 从 2.0 起就彻底移除了tf.contrib模块而bert-tensorflow包在新版本 TF 下的兼容层也经常失效。解决创建独立环境安装tensorflow1.15.0或tensorflow-gpu1.15.0并把req.sh里的版本严格按原样执行。如果你的机器是 Apple SiliconM1/M2/M3 MacTF 1.15 很难装更实际的方案是直接在 Linux 服务器或者 Docker 里跑。注意 TF 1.15 要求 CUDA 10.0 或 10.1N 卡驱动太新的话还得装兼容层这条如果卡住直接换 CPU 版 TF 跑特征抽取也不是不行只是慢。5.2 验证集 AUC 很高但测试集分数崩了阈值和分布同时出问题现象交叉验证 AUC 接近 0.96本地 F1 0.85但对测试集预测并换算成提交成绩后只有 0.70 出头。原因两个可能性叠加。第一训练集和测试集的新闻来源/图片风格分布不一致模型学到了训练集特有的一些“捷径特征”比如某家媒体 logo 的文本编码第二最佳阈值是用验证集找的但测试集的正样本比例和验证集不一样同样的阈值在测试集上就会失准。解决先做对抗验证——用 LightGBM 训练一个“区分训练集和测试集”的二分类任务如果 AUC 超过 0.85说明分布偏移很严重这时候不要盲目加模型复杂度而是应该检查特征里有没有泄露性过强的维度比如 URL 特征。阈值方面不要直接使用验证集 F1 最优阈值改成用验证集上同时考虑“概率分布分位数”来确定阈值取验证集正样本概率的 25% 分位数作为保守阈值这样即使测试集正样本比例略有降低也不至于全军覆没。5.3 显存不够batch size 不是越小越好现象BERT 特征抽取阶段报CUDA out of memory于是把batch_size从 32 改到 8结果发现特征抽取变慢了三倍而且最终融合分数的提升也没达到预期。原因BERT 的显存占用和batch_size * max_seq_length近似成正比改小 batch 确实能塞进显存但每批数据少意味着 GPU 利用率下降训练时间线性增加。更关键的是bert-final.py的 BERT 部分是特征抽取而不是微调它不需要梯度回传理论上可以把max_seq_length从 512 降到 128、batch 提到 64显存反而降下来了。解决打开特征抽取脚本把max_seq_length改成 128前提是训练和推理保持一致同时把 batch 调回 32 或 64。如果你的新闻正文本来就以标题和导语为主截断到 128 的信息损失很小。另一个解决手段是把 BERT 特征抽取阶段改用 CPU 跑——特征抽取只需要一次前向传播CPU 跑 5000 条文本大约半小时完全可以接受而把 GPU 留给后面的树模型融合。5.4 路径问题checkpoint 加载成功但 tokenizer 加载失败现象模型能加载权重但tokenization.py报FileNotFoundError: vocab.txt而且指向的是bert-master/vocab.txt而不是解压后的实际位置。原因bert-final.py里加载 vocab 的路径和加载 checkpoint 的路径是两个独立变量。在 Google BERT 的官方代码里BERT_VOCAB和BERT_INIT_CHECKPOINT是两个参数它们指向的目录不同很正常——vocab 文件在代码目录下而 checkpoint 权重在下载的模型包里。如果只改了 checkpoint 路径而没改 vocab 路径就会出这个错。解决把两条路径拆开各设一个变量并输出确认一下实际加载的文件vocab_file ./bert-master/vocab.txt bert_config_file ./model/bert_config.json init_checkpoint ./model/tf_bert_model/model.ckpt-100000 tokenizer tokenization.FullTokenizer(vocab_filevocab_file) print(vocab size:, len(tokenizer.vocab))注意init_checkpoint在 TensorFlow 1.x 里一般要指向model.ckpt-100000这个具体的 checkpoint 前缀而不是指向目录。如果你只写了./model/tf_bert_modelTF 找不到具体的.index和.meta文件会静默加载失败但不报错——最后特征全是随机初始化权重的结果分数惨不忍睹。这是最隐蔽的坑建议训练前先打印两条文本的[CLS]向量的 L2 范数如果数值显著偏离预期区间就说明权重加载有问题。6. 进阶把这份代码改造成你的检测基线并按置信度阈值曲线调融合权重当你把整条流水线跑通之后下一步不是直接换模型而是先把“融合权重”这件事量化。lgb_cat_blend_lb9546.py里对 LightGBM 和 CatBoost 的预测结果做加权融合时权重一般是写死的比如0.5 * lgb_pred 0.5 * cat_pred。但这只是一种朴素做法。我一般会在验证集上画一条“混合权重 vs AUC”的曲线搜索权重从 0 到 1、步长 0.05 的所有组合选出 AUC 最高的配比。import numpy as np from sklearn.metrics import roc_auc_score best_weight 0.5 best_auc 0.0 for w in np.arange(0, 1.05, 0.05): blend w * lgb_oof (1 - w) * cat_oof auc roc_auc_score(y_val, blend) if auc best_auc: best_auc auc best_weight w print(fbest blend weight for lgb: {best_weight:.2f}, AUC: {best_auc:.4f})这个搜索的代价很低两个 OOF 预测向量都是训练集长度的数组做几百次加权平均和roc_auc_score计算毫秒级就能完成。你会发现最优权重往往不在 0.5而是在 0.35 或 0.65 这类偏科的位置——这说明两个模型在错误模式上有差异加权融合正好互补。这个搜索过程值得写进你未来的每一个多模态二分类项目哪怕不是虚假新闻检测换成谣言识别、垃圾图片识别逻辑都一样。再做一步更激进的改造既然bert-final.py已经能输出文本的 768 维[CLS]向量你可以把它和图像塔输出拼接后作为特征在融合阶段再加一层“特征选择”——用 LightGBM 的feature_importance选出 Top 500 个特征再喂给 CatBoost。这个技巧在数据量不大的时候能有效抗过拟合而且实现很简单只要在训练前根据lgb.feature_importances_做一个布尔掩码把X_train的列筛一遍。# 用 LightGBM 的 feature_importances 筛特征 import numpy as np lgb_model lgb.train(...) # 训练一个初始模型 imp lgb_model.feature_importance(gain) keep_columns np.argsort(imp)[-500:] # 保留 gain 贡献最大的 500 维 X_train_filtered X_train[:, keep_columns] X_test_filtered X_test[:, keep_columns]注意keep_columns必须同时在训练集和测试集上应用而且筛特征这一步要在交叉验证的每一折内部重新做否则会引入轻微的数据泄露导致验证集分数虚高但测试集分数打回原形。我自己的习惯是写一个函数把“训练 LightGBM → 取 importance → 筛列 → 训练 CatBoost”包成一步K 折时以函数为单位循环就不会犯这种顺序错了。从那以后我每次做多模态融合的任务都会强制走一遍这条流程——先读 OOF再搜权重最后筛特征一步都不跳过。希望帮到你。本文还有配套的精品资源点击获取