简介这套基于 Python 与 PyTorch 实现的多模态情感分析反事实推理模型框架面向具备一定深度学习基础并希望从理论走向实战的开发者也可用于毕业设计、课程项目或工程实训。包内共 19 个文件以 17 个 Python 脚本为主代码按数据加载、模型定义、训练入口与配置管理分层组织并附 Markdown 说明文档和 .gitignore 配置文件整体压缩包仅 36KB结构紧凑、便于快速定位和替换模块开展实验。项目基于 PyTorch 1.3.1 搭建集成 MISA、MAG-BERT 与自监督多模态等模型组件同时引入因果推理思路从数据准备、多个子模型的组合到一键启动训练流程完整适合对照源码逐段理解多模态特征融合与反事实推断的实现细节。已有 558 人浏览学习适合想研究多模态情感计算与反事实推理、需要可运行框架作为参考的读者。1. 反事实推理不是玄学多模态情感分析为什么需要它用 Python 做多模态情感分析难点不在把文本、音频、视觉三路特征塞进一个模型而在于让模型回答“假如画面不这么暗这条评价还会是负面的吗”——这正是反事实推理要解决的因果问题。这套基于 PyTorch 的 CLUE 多模态情感分析反事实推理模型框架把 MISA、MAG-BERT、Self-MM 和显式的 causal_model.py 打包进同一套训练流程目标不是简单做特征拼接而是消除模态间的虚假相关让预测结果经得起换一个世界再问一次。适合拿它做毕设、课程设计或工程实训的学生也适合已经跑通单模态情感任务、想往多模态因果方向进阶的工程师框架里模型与数据处理分离替换自己的数据集时不用动网络结构。2. 拆开 CLUE 模型框架数据流、载体与四个核心模块2.1 从文件结构看分工先看清楚手里有什么CLUE_model-master/ ├── __init__.py ├── config.py # 模型结构参数与数据路径 ├── train_config.py # 训练超参lr、batch、epoch ├── train.py # 训练入口 ├── create_dataset.py # 原始特征 - 标准化数据集 ├── model_carrier.py # 模型载体训练/验证/保存的统一封装 ├── utils/ │ ├── convert.py # 原始特征格式转换 │ └── functions.py # 指标计算、工具函数 ├── dataset/ │ └── data_loader.py # DataLoader 与模态对齐 └── models/ ├── __init__.py ├── misa_model.py # 模态不变/特定表征编码器 ├── magbert_model.py # 面向多模态的 BERT 变体 ├── selfmm_model.py # 自监督多任务多模态模型 ├── causal_model.py # 反事实推理因果模块 └── subNets/ # 三个单模态的特征子网络这个框架的设计思路是模型与数据分离。我拆过不少同类开源代码最怕的就是一个 model.py 里既写 Dataset 又写 loss 又写 optimizer改一个地方牵连三个模块。CLUE 把四件事拆开了config 管参数dataset 管数据models 管网络结构model_carrier 管训练流程。换数据集时改 create_dataset.py 和 config.py换模型结构时只动 models/ 下的文件其余不用碰。依赖环境按仓库标注来PyTorch 1.3.1仓库里写的 Python 1.7 明显是笔误对应 3.6/3.7 生态。这个组合下 BERT 权重加载和 DataLoader 行为最稳定。装依赖的顺序是 pip install -r requirements.txt装完先跑 python create_dataset.py 生成标准化数据再跑 python train.py。如果环境管理器里已经装了较新的 PyTorch建议单独建一个 conda 环境PyTorch 1.3.1 的老接口与新版 torch 的兼容性问题不值得花时间解决。提示安装老版本 PyTorch 前先用 nvidia-smi 确认驱动版本驱动过旧时 cu101 的 wheel 能装上但运行时同样会报 CUDA error。2.2 MISA 和 MAG-BERT两种多模态编码器的取舍MISA 的核心思想是把每个模态的表征拆成两份一份是跨模态不变的共享表征invariant一份是该模态独有的特定表征specific。情感表达里文本说“好棒”和画面中的人微笑传递的积极信号属于不变表征而文本的讽刺语气、画面色调这类风格信息属于特定表征。misa_model.py 前向传播大致由三部分组成三个单模态子网络分别编码一个相似性约束让同一句话的三种模态表征在共享空间里靠拢一个对抗判别器让共享表征里分辨不出模态来源从而逼模型把模态身份信息赶进特定表征。MAG-BERT 走的是另一条路不拆表征而是把视觉和音频特征当作额外 token 接进 BERT 的编码器层和文本 token 一起做自注意力。这样做的理论收益是模态间交互更充分但代价也明显显存占用直线上升而且在 PyTorch 1.3.1 年代视觉特征进 BERT 的成熟官方实现很少很多对齐细节要靠自己调。所以我把这个模块定位成可选增强默认主线用 MISA想发论文做对比实验时再开 MAG-BERT。2.3 Self-MM 与 Causal Model反事实推理在主框架里的位置Self-MM 解决的是单模态标签缺失的问题。MOSI/MOSEI 这类多模态情感数据集只有整句的情感分没有“这一段音频单独是几分”的标签。Self-MM 用主标签生成器为每个单模态生成伪标签每个模态再配一个辅助分类头形成多任务学习防止主模型直接退化到只依赖某一个模态。causal_model.py 才是真正的反事实推理模块。我一般把它拆成三层理解第一层是结构因果建模把文本、音频、视觉到情感的路径画成显式因果图模态之间允许存在关联边第二层是干预intervention把某个模态的表征替换成无偏采样值模拟“删掉这个模态的信息”第三层是反事实对比计算原样本与干预样本预测分布的差异作为一致性损失。差异越小说明模型对模态间的虚假相关越不敏感。这种设计的好处是显式可解释你可以统计每个模态的平均干预效应ATE而不是把三个模态一股脑丢进黑匣子。2.4 model_carrier.py模型载体承担的三件杂事model_carrier.py 这个命名在别的框架里不常见它把三件杂事统一封装了。第一件是设备分配PyTorch 1.3.1 时代最常用的并行手段是 nn.DataParallel载体里会判断 torch.cuda.device_count() 然后包一层单卡环境也要保证能直接跑通。第二件是 checkpoint 保存与恢复多模态模型往往包含多个子模块只存最外层 state_dict 会导致恢复时 key 对不上建议统一保存 OrderedDict并且每次保存后打印前 20 个 key 核对一遍。第三件是训练骨架train_one_epoch、validate、early_stopping 这些通用流程放在载体里具体模型只需要实现 forward 和 loss 计算实验新结构时不用重写循环。3. 把数据变成可训练样本convert、create_dataset 与 config 三件套3.1 convert.py 与 functions.py特征格式统一与指标计算多模态情感任务最常用的基准是 CMU-MOSI 和 CMU-MOSEI每个样本是一段对齐好的视频片段包含文本词向量序列、音频声学特征、视觉表情特征和整句情感强度标签-3 到 3。convert.py 的职责是把原始特征统一成规范格式float32 的 dtype、统一的序列长度、缺失帧的填充规则。这一步看着不起眼却是后续所有模型跑通的前提。我见过不止一次 feature shape 转置后模型照样训练、指标全崩的情况因为维度对不上时 torch 的广播机制不一定报错。functions.py 里放的是评测指标。情感分析只看 loss 不够至少要看二分类准确率和 F1。MOSI 数据正负样本不均衡模型很容易学到“全部输出正例”的捷径准确率还能维持 60% 以上F1 却只有 50%。# functions.py 里二分类指标的核心实现 def eval_classification(truth, pred): # truth: 原始情感强度标签范围 [-3, 3] # pred: 模型输出的连续预测值 truth_bin (truth 0).astype(int) pred_bin (pred 0).astype(int) acc (truth_bin pred_bin).mean() from sklearn.metrics import f1_score f1 f1_score(truth_bin, pred_bin, averagebinary) return acc, f1情感评测的通行做法是把连续分数在 0 处切开大于 0 算正向、小于等于 0 算负向所以这里阈值取 0。f1_score 的 average 参数在二分类场景固定用 binary。如果你用的 NumPy 版本较新注意用 .astype(int) 而不是 np.int后者在新版里已被移除。3.2 create_dataset.py 与 data_loader.py划分、标准化与模态对齐create_dataset.py 承担特征标准化和数据集划分两件事。标准化必须只用训练集统计 mean/std验证集和测试集沿用训练集的统计量用全量数据算就是数据泄漏验证指标会虚高。# create_dataset.py 中标准化与切分的逻辑示意 from sklearn.model_selection import train_test_split texts, audios, visuals, labels load_raw_features() idx np.arange(len(labels)) # train/test 8:2再从 train 里留出 1/8 做 valid得到约 7:1:2 tr_idx, ts_idx train_test_split(idx, test_size0.2, random_state42) tr_idx, va_idx train_test_split(tr_idx, test_size0.125, random_state42) mean_a audios[tr_idx].mean(axis0) std_a audios[tr_idx].std(axis0) 1e-8 audios_norm (audios - mean_a) / std_a # visuals 做同样的处理mean/std 都只来自 tr_idxrandom_state 固定成 42方便后续复现。audio 和 visual 的特征维度高不标准化时模型会偏向分布差异大的模态损失下降快但泛化差。分母加 1e-8 是防止某个特征维的方差为 0 导致除零。data_loader.py 里的核心是 collate_fn。文本序列长度因句而异同一个 batch 里要做 paddingaudio 和 visual 在 MOSI 中已经对齐到句子级可以直接堆叠但如果是自采数据就需要先在 create_dataset 里做时间维度池化。def collate_fn(batch): texts, audios, visuals, labels zip(*batch) max_len max([t.shape[0] for t in texts]) padded [np.pad(t, ((0, max_len - t.shape[0]), (0, 0))) for t in texts] return (torch.FloatTensor(np.stack(padded)), torch.FloatTensor(np.stack(audios)), torch.FloatTensor(np.stack(visuals)), torch.FloatTensor(np.stack(labels)))pad 用 0 填充没问题但 forward 里必须配合 attention mask否则模型会把 padding 位置当成真实语义参与注意力计算。音频和视觉如果长度不一不要强行 pad 到一个奇怪的长度优先用自适应平均池化压到固定帧数。3.3 train_config.py 与 config.py训练前必须确认的五个参数config.py 管的是模型结构和数据路径train_config.py 管的是优化器、学习率、批次大小。下面这五个是我每次跑同类项目都会先确认的参数位置常见取值说明batch_sizetrain_config.py32显存不够就用 16 梯度累积 2 步learning_ratetrain_config.pyBERT 层 2e-5其余 1e-3全网络统一 1e-4 容易破坏 BERT 预训练权重dropoutconfig.py0.1 ~ 0.3MISA 的对抗判别器更依赖 dropout 稳定训练grad_cliptrain_config.py1.0多模态各 loss 数值量级差异大不裁剪必爆early_stop_patiencetrain_config.py10以验证集 F1 为准不要看 losslearning_rate 分层是最容易被忽视的。只要模型里带了预训练 BERTBERT 部分就该用 2e-5 上下的学习率其余依赖随机初始化的部分可以用到 1e-3。如果统一设 1e-4前 5 个 epoch 看着还行后面 BERT 权重被冲刷验证集 F1 会明显回落。grad_clip 在多任务场景几乎是必需品三个单模态辅助 loss 的梯度量级差 100 倍并不罕见。3.4 跑通一次完整训练命令、日志与预期指标# 1. 安装依赖建议在干净的 conda 环境里执行 pip install -r requirements.txt # 2. 构建数据集首次运行会生成标准化缓存文件 python create_dataset.py # 3. 启动训练若 train.py 没暴露 --epochs 参数则改 train_config.py 里的轮数 python train.py --epochs 5跑完三个命令看日志里有没有这几样东西样本总数、train/valid/test 的样本数、第一个 epoch 的 loss 变化。如果第一个 epoch 结束 loss 几乎没降先查学习率是不是低于 1e-5BERT 微调在这个量级基本不动。在 MOSI 上Acc-2 到 80% 上下、F1 到 79% 上下、MAE 在 0.9 左右属于正常复现水平大幅低于这个区间按 3.3 的表格逐项核对先不动模型结构。4. 避坑指南PyTorch 1.3.1 环境下多模态训练的五个翻车现场多模态情感分析的坑主要集中在环境依赖、数据对齐和数值稳定性三个方向。下面五条是我在不同项目里反复踩过的每一条都对应一段血泪调试时间按环境问题、数据问题、训练行为的顺序排列。4.1 环境与依赖类装不上、加载不了、显存先爆坑一pip 装 torch 直接装成新版CUDA 和驱动对不上。现象torch.cuda.is_available() 返回 False程序不报错而是静默落到 CPU训练速度慢 20 倍日志里完全看不出来。原因PyTorch 1.3.1 对应 CUDA 10.1默认的 pip 源在你不指定版本时会给你装最新 torch而新版 torch 依赖更高版本 CUDA老显卡或老驱动根本带不动。解决明确指定版本对应的 wheelpip install torch1.3.1cu101 -f https://download.pytorch.org/whl/torch_stable.html。装完以后在 train.py 第一行加 torch.cuda.is_available() 断言不要等跑完一个 epoch 才发现设备不对。Windows 下还要注意把 DataLoader 的 num_workers 设为 0老版本 torch 在 Windows 的 multiprocessing 队列上很容易卡死。坑二加载预训练 BERT 权重时报 size mismatch。现象RuntimeError: size mismatch for bert.embeddings.word_embeddings.weight训练进程直接退出。原因MAG-BERT 或 MISA 对词嵌入做了改动比如加了特殊 token、改了 hidden size模型的 embedding 矩阵维度和预训练权重不一致。解决加载时用 strictFalse 并打印缺失/不匹配的 keystate_dict torch.load(bert-base-uncased.bin, map_locationcpu) missing, unexpected model.load_state_dict(state_dict, strictFalse) print(missing:, missing) print(unexpected:, unexpected)missing 里的 key 是模型有但预训练权重没有的层比如多模态投影层这些可以保留随机初始化unexpected 是预训练里有但模型用不上的层以 bert.* 开头且 unexpected 数量异常时说明模型结构加载错了需要回头查 config.py 的 hidden_size。4.2 数据与训练行为类对齐、指标、反事实分支不收敛坑三loss 正常下降但 Acc-2 和 F1 卡在 55% 上下。现象验证集准确率接近随机水平模型基本在猜。原因一是只盯 loss 不看 F1MOSI 的正样本占多数模型学到“全输出正例”时 loss 还能继续降但 F1 起不来二是标准化阶段用了全量数据的 mean/std验证指标虚高一上测试集就崩。解决评测函数里同时输出 Acc-2、F1、Acc-7 和 MAE 四个指标Acc-2 是二分类Acc-7 是把 [-3,3] 的连续情感分数按整数做七分类然后严格按 3.2 节的方式重做一遍数据集确认 mean/std 只来自训练集索引。坑四反事实因果损失在训练中期突然变成 NaN。现象前 20 个 epoch 一切正常之后 loss 突然出现 nan模型权重一次更新后全废。原因causal_model.py 里的干预采样用了重参数化reparameterization trick标准差经 softplus 之后数值溢出或者 KL 项没做 clamp累积到一定量级直接冲爆。解决给标准差加下界std F.softplus(raw_std) 1e-3KL 项 clamp 到 (0, 10)梯度裁剪设 1.0。诊断时可以给每个 loss 分量挂 hook逐个打印数值定位到具体是 KL 还是生成 loss 先变 nan。Self-MM 的伪标签生成器同样要防概率取 log 遇到 0给概率加 eps 后再取 log。坑五换了自己的数据集后模态尺寸对不上。现象DataLoader 在 np.stack 时报维度不一致或者 forward 里矩阵乘法 shape 不匹配报错信息指向不明确。原因自采数据的音频采样率、视频帧率、视觉特征维度与 MOSI 不一致create_dataset.py 里没有统一对齐。解决在 create_dataset.py 末尾加一个 assert把三个模态的 seq_len 打印出来不一致时用 nn.AdaptiveAvgPool1d 把较长的模态压到固定长度。多模态数据集常见的对齐帧数是 50 帧左右视觉和声学特征都池化到同一个长度后再进模型。池化放在标准化之后否则池化会改变分布mean/std 需要重新算。这五条坑按顺序排下来有内在逻辑环境装不对时先断言设备数据不对齐时先断言 shape指标不对时先看 F1数值不稳定时先查梯度。下次再遇到奇怪问题直接按这个顺序排查。5. 让反事实分支真正学到东西预训练加载、干预样本与多任务损失5.1 BERT 预训练权重加载与冻结策略在 MISA 和 MAG-BERT 中文本编码器是以 BERT 为底座的。加载预训练权重时我的做法是分阶段冻结前 4 层 BERT 参数不更新后 8 层和所有新增层正常训练。前四层学到的是通用词法、句法特征不管下游任务是情感分析还是 NLI 都不变后几层才与语义强相关值得充分微调。# train.py 里冻结 BERT 前四层的示例 for name, param in model.named_parameters(): if name.startswith(magbert.bert.encoder.layer.0) or \ name.startswith(magbert.bert.encoder.layer.1) or \ name.startswith(magbert.bert.encoder.layer.2) or \ name.startswith(magbert.bert.encoder.layer.3): param.requires_grad False用 named_parameters 遍历时前缀要与你实际加载的模型命名一致。如果你用的是 MISABERT 模块名可能是 misa_model.text_encoder.bert.*把前缀替换即可。验证集 F1 上不去时先解冻 layer 4 和 layer 5不要一次性全部解冻否则小数据集很容易过拟合。5.2 反事实干预样本的生成do-算子怎么落地反事实分支不能只靠一个辅助 loss 自动学会因果干预样本必须显式构造。我一般用三种方式在每批数据进入主模型前随机施加。第一种是模态替换batch 内随机挑样本把视觉特征两两交换模拟“同一句话配上别人的表情”第二种是边缘化把某个模态置为单位高斯噪声让模型只能依赖剩余模态第三种是构造文本反事实对把 “good” 换成 “bad” 这类词典级替换保持画面与语音不变。# 模态替换batch 内打乱视觉特征 def intervention(visuals, ratio0.6): bsz visuals.size(0) perm torch.randperm(bsz) while (perm torch.arange(bsz)).any(): perm torch.randperm(bsz) # 避免样本和自己交换 mask (torch.rand(bsz) ratio).float().unsqueeze(-1).unsqueeze(-1) return mask * visuals[perm] (1 - mask) * visuals这里的关键是 mask 先随机一个 0/1 向量再扩维度让同一个样本要么整体替换、要么不替换保持时间步一致性。ratio 控制干预强度0.4 到 0.7 之间比较稳太低反事实分支学不到差异太高主任务失去有效信号。防自交换的 while 循环在 batch 很小的时候很有必要batch 大时碰巧自交换的概率很低但写上是好习惯。训练时干预样本也要走一遍 MISA 编码器反事实 loss 取原样本与干预样本预测的 KL 散度并期望它小。给反事实分支的梯度路径加 stop-gradient 是个常用操作避免干预扰动把主分支的特征也带偏。5.3 多任务损失的配比辅助任务权重不能拍脑袋Self-MM 至少产生四个 loss三个单模态辅助分类 loss一个主任务 loss。权重配比不对模型会被辅助任务带走主任务 F1 反而下跌。比手调更稳的做法是不确定性加权——把每个任务的权重也变成可学习参数log_var torch.zeros(4, requires_gradTrue, devicedevice) loss (loss_main / (2 * log_var[0].exp()) log_var[0] / 2 loss_aux1 / (2 * log_var[1].exp()) log_var[1] / 2 loss_aux2 / (2 * log_var[2].exp()) log_var[2] / 2 loss_aux3 / (2 * log_var[3].exp()) log_var[3] / 2)这个式子的来源是 Kendall 等人提出的不确定性加权每一项除以噪声方差的两倍、再加上方差本身的一半防止权重无限增大。update 时 log_var 要跟着 optimizer 一起更新。如果不想引入额外机制手调也有顺序主任务 1.0三个辅助分类各 0.3反事实因果 loss 从 0.1 起慢慢升到 1.0每一步都看验证集 F1 的反应。一次只动一个权重否则几个 loss 同时跳定位不到是哪个模块出了问题。多模态情感任务里模态间冗余度高即使没有反事实分支融合特征也能把指标做到不错所以反事实 loss 权重太小就只是装饰。调完之后一定要检查反事实分支的梯度范数确认它和其他分支在同一量级才说明这个模块真的在参与训练。6. 反事实能力的三项验证清单证明学到的是因果而不是过拟合模型加了反事实模块验证集 F1 涨了并不代表它真的学会了因果。我有三个验证手段每次训练结束后强制跑一遍。第一项是模态干预测试把测试集的视觉特征随机打乱重新过一遍模型。若模型学到的是文本语义和真实跨模态因果文本为负面的样本仍应被判为负面预测分布剧烈变化说明它还是在依赖画面像素的统计捷径。第二项是因果效应分解对每个测试样本分别干预单模态统计干预前后预测分数的偏移均值和方差。一次典型运行的统计结果大致如下干预模态预测偏移均值偏移方差仅文本0.720.13仅视觉0.290.41仅音频0.180.22偏移均值越大说明该模态的因果贡献越大偏移方差大说明模型在该模态无信号时仍被扰动带偏学到的是相关而非因果。这个表格输出的是统计量不是单个指标训练脚本里加十行就能存成 CSV方便不同实验横向比。第三项是反事实样本对手工构造 100 条“文本情绪与画面色调冲突”的样本正面文本配暗色调画面好模型应倾向文本情绪差模型会被画面带偏。这个测试完全用训练好的模型做推理不占额外训练时间。从那以后我每次跑多模态实验都会把这三项验证固化在 train.py 末尾训练结束自动产出一份反事实审计报告。多模态情感分析最容易出现的幻觉就是融合后 F1 涨了但鲁棒性更差反事实验证就是防止自己被单一指标欺骗的一道保险。希望这套框架和排查思路帮你在自己的数据上少踩坑、早拿到可信的结果。本文还有配套的精品资源点击获取 
长河君 · 2026/10/1 10:56:27 · 阅读 1.2k 多模态情感分析为何需要反事实推理：CLUE框架全解析
简介这套基于 Python 与 PyTorch 实现的多模态情感分析反事实推理模型框架面向具备一定深度学习基础并希望从理论走向实战的开发者也可用于毕业设计、课程项目或工程实训。包内共 19 个文件以 17 个 Python 脚本为主代码按数据加载、模型定义、训练入口与配置管理分层组织并附 Markdown 说明文档和 .gitignore 配置文件整体压缩包仅 36KB结构紧凑、便于快速定位和替换模块开展实验。项目基于 PyTorch 1.3.1 搭建集成 MISA、MAG-BERT 与自监督多模态等模型组件同时引入因果推理思路从数据准备、多个子模型的组合到一键启动训练流程完整适合对照源码逐段理解多模态特征融合与反事实推断的实现细节。已有 558 人浏览学习适合想研究多模态情感计算与反事实推理、需要可运行框架作为参考的读者。1. 反事实推理不是玄学多模态情感分析为什么需要它用 Python 做多模态情感分析难点不在把文本、音频、视觉三路特征塞进一个模型而在于让模型回答“假如画面不这么暗这条评价还会是负面的吗”——这正是反事实推理要解决的因果问题。这套基于 PyTorch 的 CLUE 多模态情感分析反事实推理模型框架把 MISA、MAG-BERT、Self-MM 和显式的 causal_model.py 打包进同一套训练流程目标不是简单做特征拼接而是消除模态间的虚假相关让预测结果经得起换一个世界再问一次。适合拿它做毕设、课程设计或工程实训的学生也适合已经跑通单模态情感任务、想往多模态因果方向进阶的工程师框架里模型与数据处理分离替换自己的数据集时不用动网络结构。2. 拆开 CLUE 模型框架数据流、载体与四个核心模块2.1 从文件结构看分工先看清楚手里有什么CLUE_model-master/ ├── __init__.py ├── config.py # 模型结构参数与数据路径 ├── train_config.py # 训练超参lr、batch、epoch ├── train.py # 训练入口 ├── create_dataset.py # 原始特征 - 标准化数据集 ├── model_carrier.py # 模型载体训练/验证/保存的统一封装 ├── utils/ │ ├── convert.py # 原始特征格式转换 │ └── functions.py # 指标计算、工具函数 ├── dataset/ │ └── data_loader.py # DataLoader 与模态对齐 └── models/ ├── __init__.py ├── misa_model.py # 模态不变/特定表征编码器 ├── magbert_model.py # 面向多模态的 BERT 变体 ├── selfmm_model.py # 自监督多任务多模态模型 ├── causal_model.py # 反事实推理因果模块 └── subNets/ # 三个单模态的特征子网络这个框架的设计思路是模型与数据分离。我拆过不少同类开源代码最怕的就是一个 model.py 里既写 Dataset 又写 loss 又写 optimizer改一个地方牵连三个模块。CLUE 把四件事拆开了config 管参数dataset 管数据models 管网络结构model_carrier 管训练流程。换数据集时改 create_dataset.py 和 config.py换模型结构时只动 models/ 下的文件其余不用碰。依赖环境按仓库标注来PyTorch 1.3.1仓库里写的 Python 1.7 明显是笔误对应 3.6/3.7 生态。这个组合下 BERT 权重加载和 DataLoader 行为最稳定。装依赖的顺序是 pip install -r requirements.txt装完先跑 python create_dataset.py 生成标准化数据再跑 python train.py。如果环境管理器里已经装了较新的 PyTorch建议单独建一个 conda 环境PyTorch 1.3.1 的老接口与新版 torch 的兼容性问题不值得花时间解决。提示安装老版本 PyTorch 前先用 nvidia-smi 确认驱动版本驱动过旧时 cu101 的 wheel 能装上但运行时同样会报 CUDA error。2.2 MISA 和 MAG-BERT两种多模态编码器的取舍MISA 的核心思想是把每个模态的表征拆成两份一份是跨模态不变的共享表征invariant一份是该模态独有的特定表征specific。情感表达里文本说“好棒”和画面中的人微笑传递的积极信号属于不变表征而文本的讽刺语气、画面色调这类风格信息属于特定表征。misa_model.py 前向传播大致由三部分组成三个单模态子网络分别编码一个相似性约束让同一句话的三种模态表征在共享空间里靠拢一个对抗判别器让共享表征里分辨不出模态来源从而逼模型把模态身份信息赶进特定表征。MAG-BERT 走的是另一条路不拆表征而是把视觉和音频特征当作额外 token 接进 BERT 的编码器层和文本 token 一起做自注意力。这样做的理论收益是模态间交互更充分但代价也明显显存占用直线上升而且在 PyTorch 1.3.1 年代视觉特征进 BERT 的成熟官方实现很少很多对齐细节要靠自己调。所以我把这个模块定位成可选增强默认主线用 MISA想发论文做对比实验时再开 MAG-BERT。2.3 Self-MM 与 Causal Model反事实推理在主框架里的位置Self-MM 解决的是单模态标签缺失的问题。MOSI/MOSEI 这类多模态情感数据集只有整句的情感分没有“这一段音频单独是几分”的标签。Self-MM 用主标签生成器为每个单模态生成伪标签每个模态再配一个辅助分类头形成多任务学习防止主模型直接退化到只依赖某一个模态。causal_model.py 才是真正的反事实推理模块。我一般把它拆成三层理解第一层是结构因果建模把文本、音频、视觉到情感的路径画成显式因果图模态之间允许存在关联边第二层是干预intervention把某个模态的表征替换成无偏采样值模拟“删掉这个模态的信息”第三层是反事实对比计算原样本与干预样本预测分布的差异作为一致性损失。差异越小说明模型对模态间的虚假相关越不敏感。这种设计的好处是显式可解释你可以统计每个模态的平均干预效应ATE而不是把三个模态一股脑丢进黑匣子。2.4 model_carrier.py模型载体承担的三件杂事model_carrier.py 这个命名在别的框架里不常见它把三件杂事统一封装了。第一件是设备分配PyTorch 1.3.1 时代最常用的并行手段是 nn.DataParallel载体里会判断 torch.cuda.device_count() 然后包一层单卡环境也要保证能直接跑通。第二件是 checkpoint 保存与恢复多模态模型往往包含多个子模块只存最外层 state_dict 会导致恢复时 key 对不上建议统一保存 OrderedDict并且每次保存后打印前 20 个 key 核对一遍。第三件是训练骨架train_one_epoch、validate、early_stopping 这些通用流程放在载体里具体模型只需要实现 forward 和 loss 计算实验新结构时不用重写循环。3. 把数据变成可训练样本convert、create_dataset 与 config 三件套3.1 convert.py 与 functions.py特征格式统一与指标计算多模态情感任务最常用的基准是 CMU-MOSI 和 CMU-MOSEI每个样本是一段对齐好的视频片段包含文本词向量序列、音频声学特征、视觉表情特征和整句情感强度标签-3 到 3。convert.py 的职责是把原始特征统一成规范格式float32 的 dtype、统一的序列长度、缺失帧的填充规则。这一步看着不起眼却是后续所有模型跑通的前提。我见过不止一次 feature shape 转置后模型照样训练、指标全崩的情况因为维度对不上时 torch 的广播机制不一定报错。functions.py 里放的是评测指标。情感分析只看 loss 不够至少要看二分类准确率和 F1。MOSI 数据正负样本不均衡模型很容易学到“全部输出正例”的捷径准确率还能维持 60% 以上F1 却只有 50%。# functions.py 里二分类指标的核心实现 def eval_classification(truth, pred): # truth: 原始情感强度标签范围 [-3, 3] # pred: 模型输出的连续预测值 truth_bin (truth 0).astype(int) pred_bin (pred 0).astype(int) acc (truth_bin pred_bin).mean() from sklearn.metrics import f1_score f1 f1_score(truth_bin, pred_bin, averagebinary) return acc, f1情感评测的通行做法是把连续分数在 0 处切开大于 0 算正向、小于等于 0 算负向所以这里阈值取 0。f1_score 的 average 参数在二分类场景固定用 binary。如果你用的 NumPy 版本较新注意用 .astype(int) 而不是 np.int后者在新版里已被移除。3.2 create_dataset.py 与 data_loader.py划分、标准化与模态对齐create_dataset.py 承担特征标准化和数据集划分两件事。标准化必须只用训练集统计 mean/std验证集和测试集沿用训练集的统计量用全量数据算就是数据泄漏验证指标会虚高。# create_dataset.py 中标准化与切分的逻辑示意 from sklearn.model_selection import train_test_split texts, audios, visuals, labels load_raw_features() idx np.arange(len(labels)) # train/test 8:2再从 train 里留出 1/8 做 valid得到约 7:1:2 tr_idx, ts_idx train_test_split(idx, test_size0.2, random_state42) tr_idx, va_idx train_test_split(tr_idx, test_size0.125, random_state42) mean_a audios[tr_idx].mean(axis0) std_a audios[tr_idx].std(axis0) 1e-8 audios_norm (audios - mean_a) / std_a # visuals 做同样的处理mean/std 都只来自 tr_idxrandom_state 固定成 42方便后续复现。audio 和 visual 的特征维度高不标准化时模型会偏向分布差异大的模态损失下降快但泛化差。分母加 1e-8 是防止某个特征维的方差为 0 导致除零。data_loader.py 里的核心是 collate_fn。文本序列长度因句而异同一个 batch 里要做 paddingaudio 和 visual 在 MOSI 中已经对齐到句子级可以直接堆叠但如果是自采数据就需要先在 create_dataset 里做时间维度池化。def collate_fn(batch): texts, audios, visuals, labels zip(*batch) max_len max([t.shape[0] for t in texts]) padded [np.pad(t, ((0, max_len - t.shape[0]), (0, 0))) for t in texts] return (torch.FloatTensor(np.stack(padded)), torch.FloatTensor(np.stack(audios)), torch.FloatTensor(np.stack(visuals)), torch.FloatTensor(np.stack(labels)))pad 用 0 填充没问题但 forward 里必须配合 attention mask否则模型会把 padding 位置当成真实语义参与注意力计算。音频和视觉如果长度不一不要强行 pad 到一个奇怪的长度优先用自适应平均池化压到固定帧数。3.3 train_config.py 与 config.py训练前必须确认的五个参数config.py 管的是模型结构和数据路径train_config.py 管的是优化器、学习率、批次大小。下面这五个是我每次跑同类项目都会先确认的参数位置常见取值说明batch_sizetrain_config.py32显存不够就用 16 梯度累积 2 步learning_ratetrain_config.pyBERT 层 2e-5其余 1e-3全网络统一 1e-4 容易破坏 BERT 预训练权重dropoutconfig.py0.1 ~ 0.3MISA 的对抗判别器更依赖 dropout 稳定训练grad_cliptrain_config.py1.0多模态各 loss 数值量级差异大不裁剪必爆early_stop_patiencetrain_config.py10以验证集 F1 为准不要看 losslearning_rate 分层是最容易被忽视的。只要模型里带了预训练 BERTBERT 部分就该用 2e-5 上下的学习率其余依赖随机初始化的部分可以用到 1e-3。如果统一设 1e-4前 5 个 epoch 看着还行后面 BERT 权重被冲刷验证集 F1 会明显回落。grad_clip 在多任务场景几乎是必需品三个单模态辅助 loss 的梯度量级差 100 倍并不罕见。3.4 跑通一次完整训练命令、日志与预期指标# 1. 安装依赖建议在干净的 conda 环境里执行 pip install -r requirements.txt # 2. 构建数据集首次运行会生成标准化缓存文件 python create_dataset.py # 3. 启动训练若 train.py 没暴露 --epochs 参数则改 train_config.py 里的轮数 python train.py --epochs 5跑完三个命令看日志里有没有这几样东西样本总数、train/valid/test 的样本数、第一个 epoch 的 loss 变化。如果第一个 epoch 结束 loss 几乎没降先查学习率是不是低于 1e-5BERT 微调在这个量级基本不动。在 MOSI 上Acc-2 到 80% 上下、F1 到 79% 上下、MAE 在 0.9 左右属于正常复现水平大幅低于这个区间按 3.3 的表格逐项核对先不动模型结构。4. 避坑指南PyTorch 1.3.1 环境下多模态训练的五个翻车现场多模态情感分析的坑主要集中在环境依赖、数据对齐和数值稳定性三个方向。下面五条是我在不同项目里反复踩过的每一条都对应一段血泪调试时间按环境问题、数据问题、训练行为的顺序排列。4.1 环境与依赖类装不上、加载不了、显存先爆坑一pip 装 torch 直接装成新版CUDA 和驱动对不上。现象torch.cuda.is_available() 返回 False程序不报错而是静默落到 CPU训练速度慢 20 倍日志里完全看不出来。原因PyTorch 1.3.1 对应 CUDA 10.1默认的 pip 源在你不指定版本时会给你装最新 torch而新版 torch 依赖更高版本 CUDA老显卡或老驱动根本带不动。解决明确指定版本对应的 wheelpip install torch1.3.1cu101 -f https://download.pytorch.org/whl/torch_stable.html。装完以后在 train.py 第一行加 torch.cuda.is_available() 断言不要等跑完一个 epoch 才发现设备不对。Windows 下还要注意把 DataLoader 的 num_workers 设为 0老版本 torch 在 Windows 的 multiprocessing 队列上很容易卡死。坑二加载预训练 BERT 权重时报 size mismatch。现象RuntimeError: size mismatch for bert.embeddings.word_embeddings.weight训练进程直接退出。原因MAG-BERT 或 MISA 对词嵌入做了改动比如加了特殊 token、改了 hidden size模型的 embedding 矩阵维度和预训练权重不一致。解决加载时用 strictFalse 并打印缺失/不匹配的 keystate_dict torch.load(bert-base-uncased.bin, map_locationcpu) missing, unexpected model.load_state_dict(state_dict, strictFalse) print(missing:, missing) print(unexpected:, unexpected)missing 里的 key 是模型有但预训练权重没有的层比如多模态投影层这些可以保留随机初始化unexpected 是预训练里有但模型用不上的层以 bert.* 开头且 unexpected 数量异常时说明模型结构加载错了需要回头查 config.py 的 hidden_size。4.2 数据与训练行为类对齐、指标、反事实分支不收敛坑三loss 正常下降但 Acc-2 和 F1 卡在 55% 上下。现象验证集准确率接近随机水平模型基本在猜。原因一是只盯 loss 不看 F1MOSI 的正样本占多数模型学到“全输出正例”时 loss 还能继续降但 F1 起不来二是标准化阶段用了全量数据的 mean/std验证指标虚高一上测试集就崩。解决评测函数里同时输出 Acc-2、F1、Acc-7 和 MAE 四个指标Acc-2 是二分类Acc-7 是把 [-3,3] 的连续情感分数按整数做七分类然后严格按 3.2 节的方式重做一遍数据集确认 mean/std 只来自训练集索引。坑四反事实因果损失在训练中期突然变成 NaN。现象前 20 个 epoch 一切正常之后 loss 突然出现 nan模型权重一次更新后全废。原因causal_model.py 里的干预采样用了重参数化reparameterization trick标准差经 softplus 之后数值溢出或者 KL 项没做 clamp累积到一定量级直接冲爆。解决给标准差加下界std F.softplus(raw_std) 1e-3KL 项 clamp 到 (0, 10)梯度裁剪设 1.0。诊断时可以给每个 loss 分量挂 hook逐个打印数值定位到具体是 KL 还是生成 loss 先变 nan。Self-MM 的伪标签生成器同样要防概率取 log 遇到 0给概率加 eps 后再取 log。坑五换了自己的数据集后模态尺寸对不上。现象DataLoader 在 np.stack 时报维度不一致或者 forward 里矩阵乘法 shape 不匹配报错信息指向不明确。原因自采数据的音频采样率、视频帧率、视觉特征维度与 MOSI 不一致create_dataset.py 里没有统一对齐。解决在 create_dataset.py 末尾加一个 assert把三个模态的 seq_len 打印出来不一致时用 nn.AdaptiveAvgPool1d 把较长的模态压到固定长度。多模态数据集常见的对齐帧数是 50 帧左右视觉和声学特征都池化到同一个长度后再进模型。池化放在标准化之后否则池化会改变分布mean/std 需要重新算。这五条坑按顺序排下来有内在逻辑环境装不对时先断言设备数据不对齐时先断言 shape指标不对时先看 F1数值不稳定时先查梯度。下次再遇到奇怪问题直接按这个顺序排查。5. 让反事实分支真正学到东西预训练加载、干预样本与多任务损失5.1 BERT 预训练权重加载与冻结策略在 MISA 和 MAG-BERT 中文本编码器是以 BERT 为底座的。加载预训练权重时我的做法是分阶段冻结前 4 层 BERT 参数不更新后 8 层和所有新增层正常训练。前四层学到的是通用词法、句法特征不管下游任务是情感分析还是 NLI 都不变后几层才与语义强相关值得充分微调。# train.py 里冻结 BERT 前四层的示例 for name, param in model.named_parameters(): if name.startswith(magbert.bert.encoder.layer.0) or \ name.startswith(magbert.bert.encoder.layer.1) or \ name.startswith(magbert.bert.encoder.layer.2) or \ name.startswith(magbert.bert.encoder.layer.3): param.requires_grad False用 named_parameters 遍历时前缀要与你实际加载的模型命名一致。如果你用的是 MISABERT 模块名可能是 misa_model.text_encoder.bert.*把前缀替换即可。验证集 F1 上不去时先解冻 layer 4 和 layer 5不要一次性全部解冻否则小数据集很容易过拟合。5.2 反事实干预样本的生成do-算子怎么落地反事实分支不能只靠一个辅助 loss 自动学会因果干预样本必须显式构造。我一般用三种方式在每批数据进入主模型前随机施加。第一种是模态替换batch 内随机挑样本把视觉特征两两交换模拟“同一句话配上别人的表情”第二种是边缘化把某个模态置为单位高斯噪声让模型只能依赖剩余模态第三种是构造文本反事实对把 “good” 换成 “bad” 这类词典级替换保持画面与语音不变。# 模态替换batch 内打乱视觉特征 def intervention(visuals, ratio0.6): bsz visuals.size(0) perm torch.randperm(bsz) while (perm torch.arange(bsz)).any(): perm torch.randperm(bsz) # 避免样本和自己交换 mask (torch.rand(bsz) ratio).float().unsqueeze(-1).unsqueeze(-1) return mask * visuals[perm] (1 - mask) * visuals这里的关键是 mask 先随机一个 0/1 向量再扩维度让同一个样本要么整体替换、要么不替换保持时间步一致性。ratio 控制干预强度0.4 到 0.7 之间比较稳太低反事实分支学不到差异太高主任务失去有效信号。防自交换的 while 循环在 batch 很小的时候很有必要batch 大时碰巧自交换的概率很低但写上是好习惯。训练时干预样本也要走一遍 MISA 编码器反事实 loss 取原样本与干预样本预测的 KL 散度并期望它小。给反事实分支的梯度路径加 stop-gradient 是个常用操作避免干预扰动把主分支的特征也带偏。5.3 多任务损失的配比辅助任务权重不能拍脑袋Self-MM 至少产生四个 loss三个单模态辅助分类 loss一个主任务 loss。权重配比不对模型会被辅助任务带走主任务 F1 反而下跌。比手调更稳的做法是不确定性加权——把每个任务的权重也变成可学习参数log_var torch.zeros(4, requires_gradTrue, devicedevice) loss (loss_main / (2 * log_var[0].exp()) log_var[0] / 2 loss_aux1 / (2 * log_var[1].exp()) log_var[1] / 2 loss_aux2 / (2 * log_var[2].exp()) log_var[2] / 2 loss_aux3 / (2 * log_var[3].exp()) log_var[3] / 2)这个式子的来源是 Kendall 等人提出的不确定性加权每一项除以噪声方差的两倍、再加上方差本身的一半防止权重无限增大。update 时 log_var 要跟着 optimizer 一起更新。如果不想引入额外机制手调也有顺序主任务 1.0三个辅助分类各 0.3反事实因果 loss 从 0.1 起慢慢升到 1.0每一步都看验证集 F1 的反应。一次只动一个权重否则几个 loss 同时跳定位不到是哪个模块出了问题。多模态情感任务里模态间冗余度高即使没有反事实分支融合特征也能把指标做到不错所以反事实 loss 权重太小就只是装饰。调完之后一定要检查反事实分支的梯度范数确认它和其他分支在同一量级才说明这个模块真的在参与训练。6. 反事实能力的三项验证清单证明学到的是因果而不是过拟合模型加了反事实模块验证集 F1 涨了并不代表它真的学会了因果。我有三个验证手段每次训练结束后强制跑一遍。第一项是模态干预测试把测试集的视觉特征随机打乱重新过一遍模型。若模型学到的是文本语义和真实跨模态因果文本为负面的样本仍应被判为负面预测分布剧烈变化说明它还是在依赖画面像素的统计捷径。第二项是因果效应分解对每个测试样本分别干预单模态统计干预前后预测分数的偏移均值和方差。一次典型运行的统计结果大致如下干预模态预测偏移均值偏移方差仅文本0.720.13仅视觉0.290.41仅音频0.180.22偏移均值越大说明该模态的因果贡献越大偏移方差大说明模型在该模态无信号时仍被扰动带偏学到的是相关而非因果。这个表格输出的是统计量不是单个指标训练脚本里加十行就能存成 CSV方便不同实验横向比。第三项是反事实样本对手工构造 100 条“文本情绪与画面色调冲突”的样本正面文本配暗色调画面好模型应倾向文本情绪差模型会被画面带偏。这个测试完全用训练好的模型做推理不占额外训练时间。从那以后我每次跑多模态实验都会把这三项验证固化在 train.py 末尾训练结束自动产出一份反事实审计报告。多模态情感分析最容易出现的幻觉就是融合后 F1 涨了但鲁棒性更差反事实验证就是防止自己被单一指标欺骗的一道保险。希望这套框架和排查思路帮你在自己的数据上少踩坑、早拿到可信的结果。本文还有配套的精品资源点击获取