)
温度采样就是控制模型每次选词时有多敢冒险、多爱出格的那个旋钮。1. 它到底在说什么Temperature(采样温度)是大语言模型在“决定下一个词”之前,对候选词概率做的一次整体缩放。模型先把每个候选词算出一个分数(logits,逻辑值),再把这些分数变成概率;温度干的事,就是在变概率之前,先把分数统一除以一个数,再算概率。这个数越大,概率分布就越平、越“谁都有机会”;这个数越小,概率就越集中到少数高分词上。用一个场景就懂了:你走进一家餐厅,低温度像是每次都点招牌菜——稳、快、但吃来吃去就那几样;高温度像是闭着眼往菜单上指——偶尔点出惊喜,也偶尔点到黑暗料理。模型也是一样:低温度让它“从最有把握的词里挑”,高温度让它“多给冷门词一些机会”。它控制的是胆子,不是智商。2. 为什么现在这个词很热温度这个概念不是大模型发明的。它来自统计物理里的玻尔兹曼分布(Boltzmann Distribution),最早被 Ackley、Hinton 与 Sejnowski 在 1985 年的玻尔兹曼机(Boltzmann Machine)里拿来给神经网络“退火”。后来 Ficler 与 Goldberg(2017)、Fan 等人(2018)把它用到了文本生成上,于是“调温度”成了开源社区的默认玩法。真正让它飞入寻