一段文字里的情绪被认出来了模型就算理解了这个情绪词吗换成要求它表达同一种情绪或判断这个词在具体语境中是否描述感受结果可能不同。这篇论文没有提出新的分类网络而是用三类任务检查“大模型理解情绪”这句话的适用范围。1论文来源【论文标题】Characterizing and Evaluating Working Emotion Vocabularies in Multilingual Large Language Models【论文作者】Nicholas Deas、Iván Pérez Mejía、Ellie Yang、Kathleen McKeown。【论文地址】https://aclanthology.org/2026.acl-long.2188/【论文源码】https://github.com/NickDeas/WorkingEmotionVocabulary/【论文等级】ACL 2026主会长文CCF-A2026年7月发表47272-47294页。2论文背景固定标签集便于比较模型却未必覆盖人们描述感受时使用的词。同样是负面情绪lonely、abandoned和frustrated指向的体验并不相同。作者借用心理语言学中的“工作情绪词汇”概念考察模型在哪些情绪状态词上表现较好或较差而非只报告整套测试的平均分。3方法动机预测文本中的情绪、按要求表达情绪、判断一个词是否描述情绪并不是同一项能力。论文据此追问三项任务的结果是否一致词频、效价、唤醒度等属性能否解释模型对不同情绪词的表现差异4论文方法4.1 用三类任务刻画情绪理解识别任务遮住原文中的情绪词要求模型补全表达任务要求回复体现指定情绪但不能直接写出目标词判别任务则给出词及上下文判断它是否描述情感状态。例如blue指颜色还是低落需要结合语境。三项任务分别测量识别、表达与概念判别。Figure 2识别、表达与判别三类任务的提示模板4.2 区分数据规模与评估范围数据来自MASIVE的英语、西班牙语Reddit文本。主任务测试分别用49、50条双人标注文本覆盖41、45个状态词回归分析扩展到标注子集中的131、143个状态词。共评估23个4B-8B模型主文集中展示四个家族的8个配置其余结果见附录。Table 1标注子集、少样本示例池与测试集统计4.3 三项任务如何计分识别用mBERT上下文嵌入计算候选词与原词的最大余弦相似度表达先由微调mT5预测回复中的状态词再与指定目标比较。两者的Top-k相似度均不是准确率。判别比较模型与人工评分的Spearman相关并补充分类格式的Cohen’s κ。后续把三任务得分归一化按综合表现的有序分组拟合回归。5实验结果以下数值只对应论文评估的模型、语言和样本。表3、表4保留原文的±2SE不将点估计差值直接解释为统计显著性。5.1 情绪状态识别为什么做检查模型能否恢复作者实际使用的状态词。对应图表Table 3全部23个模型见Table 11。实验结果英语OLMo 3由Base到指令版Top-5相似度37.3%→63.0%西班牙语Ministral 3为38.4%→60.9%。实验结论这些配置的指令版识别分数较高但分数表示语义接近程度不是正确恢复原词的比例。Table 3主文8个配置的情绪状态识别结果误差为±2SE5.2 指定情绪的表达为什么做检验识别端的改善能否延伸到生成端。对应图表Table 4完整结果见Table 12。实验结果西班牙语Qwen 3由Base到指令版Top-5相似度61.2%→55.2%Ministral 3为62.5%→50.4%。实验结论指令微调并未一致改善情绪表达。作者观察到部分回复转而安慰用户这一解释来自输出观察不是独立的因果实验。Table 4指定情绪表达的代理评估结果误差为±2SE5.3 情感状态的判别格式为什么做比较“是或否”与0-3分评分能否对齐人工判断。对应图表Figure 3完整相关性及κ见Figure 7、Table 13。实验结果二元格式在部分配置上相关较低或为负利用输出概率加权的评分格式对部分模型更接近人工判断。实验结论输出格式会改变测量结果不能把某一种提示下的相关性当作稳定的情感理解能力。Figure 3四种判别格式与人工评分的相关性横线为标注者间相关5.4 少样本示例的作用为什么做检查给定人工示例能否改善主观判断的一致性。对应图表Figure 4。实验结果示例数取0、1、3、5同一输入的示例在模型间保持一致。多数指令版模型的相关性提高但并非所有曲线都单调上升。实验结论示例能帮助部分模型适应标注标准某个配置超过标注者间相关不等于整体情绪理解超过人类。Figure 4判别任务中示例数量变化与人工评分相关性的关系5.5 三任务表现是否一致为什么做检验一种能力能否代表另一种能力。对应图表Table 5。实验结果状态词层面的识别与表达相关系数为0.09-0.45并非全部显著。Llama 3.1的识别与判别相关英语为0.04西班牙语为0.29后者仅标记为p≤0.075。实验结论任务间缺少强而稳定的一致性。这里比较的是同一模型对不同状态词的表现不是模型排行榜之间的相关性。Table 5识别I、判别V、表达E的状态词层面相关显著性按原表保留5.6 哪些词较易或较难为什么做将综合分数还原为可检查的具体词项。对应图表Table 14。实验结果abandoned进入四个模型英语排名前列aloof则均在后列。西班牙语afortunada靠前rodeado靠后。实验结论存在跨模型重复出现的词项差异但该排名只覆盖当前样本不能理解为模型掌握的全部情绪词典。Table 14四个模型在两种语言中排名前五和后五的状态词5.7 词频与心理语言学属性为什么做检查词项差异是否与可量化属性相关。对应图表Table 6。实验结果词频与表现的关系在两种语言中方向不同英语整体趋于负向西班牙语趋于正向显著性因配置而异。实验结论高频不一定对应更好理解。词频取自2025年7月CommonCrawl快照只是训练暴露的代理量回归关系不能证明训练语料导致了差异。Table 6词频、效价、唤醒度、具体性与习得年龄的有序回归系数5.8 mT5代理评价是否可靠为什么做检查表达任务的自动评分器是否提供有效信息。对应图表附录C、Table 9。实验结果英语生成文本中目标词、mT5首选词、随机词被评为合适的比例分别为56.8%、47.5%、21.6%两位评价者的相关仅0.14。实验结论mT5首选词优于随机词但仍不完美。该人工检查只覆盖英语且只评首选词不能直接证明Top-5或西班牙语评分的可靠性。Table 9目标词、mT5首选词与随机词的人工适切性评价5.9 排除相关预测变量为什么做检查词频与习得年龄相关是否影响回归解释。对应图表Table 15、Table 16。实验结果两者相关系数为英语-0.63、西班牙语-0.42。分别移除词频或习得年龄后多数系数方向大体延续。实验结论趋势有一定稳定性但两种属性的独立贡献仍不清楚不能据此确定哪一个是主要原因。Table 15移除词频后的有序回归结果Table 16移除习得年龄后的有序回归结果6结论论文以识别、表达和判别三类任务评估多语言大模型并据此刻画不同情感状态词上的表现差异。结果显示指令微调对识别和表达的作用并不一致单项任务也不足以概括情绪理解。词项排名与回归分析进一步呈现了语言间的差异。研究范围限于英语、西班牙语及所选MASIVE样本表达评价仍依赖不完美的mT5代理模型。