做推荐系统迟早要面对一个问题我怎么量化推荐质量。业务方问一句“这次模型效果到底提升了没”如果只丢出一句“感觉差不多”那接下来的优化根本没法推进。准确率、召回率、F1、NDCG这四个词就是推荐系统离线评估里的基本功但真正能在实操中选对、算对、用对的人其实没那么多。尤其是刚入行的同学最容易拿着准确率当万能钥匙结果模型上线后线上数据纹丝不动回头才发现是评估指标选错了。这篇文章把四个指标的来龙去脉、计算方式、适用场景和选型逻辑一次性讲清楚配合具体例子和踩坑经验希望能帮你少走几趟弯路。无论你是刚转算法的新人还是已经做了几年推荐但评估环节一直靠模板代码带过的工程师这篇都值得花十分钟认真读一遍。1. 为什么离线评价指标决定推荐系统的迭代效率1.1 推荐系统的工作闭环与离线评估的位置推荐系统的迭代本质上是一个闭环历史日志训练模型、离线评估看效果、上线做AB实验、回收线上数据、再回来调整模型。离线评估就夹在训练和上线之间它是成本最低的那道质检关卡。如果离线指标选偏了最直接的后果是你花了两周训练的新模型在线下报告里“吊打”老模型结果上了线以后点击率还在原地踏步。这种案例在行业里并不少见根子往往不是模型有问题而是衡量模型的那把尺子本身就选错了。离线评估的作用就像工厂里的出厂质检你不可能每件产品都拉到市场上试一遍再决定要不要发货所以必须在出厂前用高效、廉价、可重复的手段筛掉明显不合格的东西。推荐系统里的“出厂质检”就是离线评估。离线评估的主要特征有三个一是可重复同一份测试数据可以反复跑模型改一版就比一版二是可量化所有结论都落到具体数字上三是可对比不同模型、不同特征版本、不同样本切分方式都能用同一套指标横向对比。这三个特征决定了离线评估是团队协作和迭代管理的地基地基如果歪了上面盖多少层楼都白搭。1.2 四个指标的分类命中派与排序派的差异准确率Precision、召回率Recall、F1、NDCG这四个指标虽然常被放在一起讨论但它们实际上分属两个完全不同的流派。准确率、召回率、F1属于“命中派”核心逻辑是把你预测的东西和真实的东西拿来做集合对比看重合度有多大。这一类指标对待所有位置一视同仁第一位推荐的结果和第10位推荐的结果只要命中了就同样算数没命中就同样不算数。它们适合回答的问题是“我推荐的这批东西里到底对不对”“该找到的东西找到了多少”。NDCG属于“排序派”核心逻辑是位置越靠前推荐对了就越值钱推荐错了代价也越大。它看的不再是“有没有命中”而是“命中的东西排得够不够靠前”。这类指标适合回答的问题是“我排出来的这个顺序用户买不买账”更贴近真实场景。这两派没有高下之分关键在于使用场景。召回阶段需要尽可能少漏掉用户可能感兴趣的东西命中派指标更合适精排阶段是在几百万候选里挑出那几十个给用户看位置意味着曝光量级差距排序派指标就更有话语权。把这个基本分类先刻在脑子里后面选型才不会乱。2. 准确率、召回率、F1从混淆矩阵说起的命中类指标2.1 混淆矩阵回顾四个基本量一句话记忆讲这三个指标之前必须先回到混淆矩阵。很多教程把混淆矩阵画得很复杂其实只需要理解四个格子真正例TP模型预测为正真实也是正。就是你推荐了某商品用户真的买了。假正例FP模型预测为正真实是负。就是你推荐了某商品用户划过没理。假负例FN模型预测为负真实是正。就是你没推荐某商品用户其实会喜欢。真负例TN模型预测为负真实也是负。就是你没推荐某商品用户确实也不喜欢。这里有个关键认知模型产出的“推荐列表”本质上是对所有候选物品做了一次正负分类。在给定的截断位置比如取前10个内被选中的就是预测为正没选中的就是预测为负。混淆矩阵的四个量是后面所有公式的基础如果你对TP、FP、FN、TN还模模糊糊建议先回头把这一节读熟练再往下走。有了这四个量三个指标的定义就非常干净了准确率 TP / (TP FP)回答“我推荐的东西里真正对的比例有多高”。召回率 TP / (TP FN)回答“用户真正喜欢的东西里我推荐出来了多少”。F1 2 × 准确率 × 召回率 / (准确率 召回率)是两者的调和平均。2.2 一个具体例子为什么准确率会骗人光看公式还是抽象直接上一个例子。假设有一个用户他最近的购买行为记录显示他一共对5个商品产生了真实兴趣比如加购或收藏作为ground truth。模型给这个用户推了10个商品其中命中了3个。那么真正例TP 3模型推了且用户真的喜欢。假正例FP 7模型推了但用户没兴趣。假负例FN 2用户喜欢的5个里有2个模型没推出来。准确率 3 / (3 7) 0.3召回率 3 / (3 2) 0.6F1 2 × 0.3 × 0.6 / (0.3 0.6) ≈ 0.4。看起来准确率很低召回率还行F1被准确率拖下来了。这个结果本身没有对错但它揭示了一个很容易踩的坑如果只看准确率你可能会觉得这个模型一塌糊涂如果只看召回率你又可能觉得模型还不错。同一个模型用不同指标衡量得到的结论可能截然相反这就是为什么不能逮着一个指标用到老。准确率会骗人的典型场景是正负样本极不均衡的时候。比如推荐列表里的商品绝大多数用户根本不感兴趣FP巨大哪怕模型偶尔命中了几个准确率也高不到哪去反过来如果用户真实兴趣数量本身很少而模型又推得非常保守比如只推1个且推中了准确率就是100%但这能说明模型好吗显然不能因为它把绝大部分用户可能感兴趣的东西都漏掉了。2.3 召回率与准确率的矛盾此消彼长的拉锯战在真实系统中准确率和召回率很难同时提高。你想提高召回率最简单粗暴的方式就是多推把候选列表从10个扩到50个能捞回更多真实兴趣但推得越多混进去的无关内容也越多准确率自然就下来了。反过来想提高准确率最直接的办法是少推只把置信度最高的1个推出去准确率可能很高但召回率会低得没法看。这就是准确率和召回率之间的拉锯战。在推荐系统里这种矛盾背后反映的是业务对“曝光量”和“精准度”之间的取舍。短视频场景你希望召回率高一些宁可多推一些不那么精准的内容也要保证用户总能刷到自己感兴趣的医疗、法律这类强决策场景你希望准确率更高推错一条的代价比漏掉十条更大。F1的存在就是为了在这两个互相打架的指标之间取一个平衡点。它不是简单算平均数而是调和平均。调和平均的脾气是哪个数小它就往哪个数靠。举个例子准确率0.9、召回率0.1算术平均是0.5但调和平均是2×0.9×0.1/1.0 0.18。这个特性非常重要它意味着F1对“偏科”的模型打分很严厉一个在准确率和召回率上严重失衡的模型F1不会好看。2.4 F1的直觉理解与实际使用边界为什么用调和平均而不是算术平均用一句通俗的话解释算术平均允许用高分拉平低分调和平均则强制要求两个指标都表现好。放在推荐场景里如果你希望模型“推荐的东西要靠谱”和“该推的东西别漏掉”两者都不能差F1就比单独看任何一个指标都合适。但F1也不是银弹。要注意的是F1本身没有业务含义它只是一个综合评分。0.5的F1不代表“模型有50%的概率做对”它只是一个相对分数用来横向比较不同模型或不同参数配置的优劣。另外一个很容易被忽略的问题是阈值选择。同样一个模型你把“推荐”的判定阈值调高输出的列表更短、更精准准确率高召回率低调低阈值输出列表更长、更杂准确率低召回率高。F1在这个过程中会呈现一个倒U形走势实操里我们通常的做法是扫一遍阈值找出F1最大的那个点作为默认配置。这种做法很简单但很有用尤其在做召回阶段效果对比的时候。3. NDCG真正衡量排序质量的指标3.1 从业务直觉到DCG公式准确率、召回率、F1回答的是“推得对不对”但它们默认所有位置一样重要。真实场景显然不是这样。用户刷推荐流的时候第一屏的内容和被折叠到第五屏的内容曝光量和点击率差出两个数量级。既然位置代表了实打实的流量分配评估指标就必须把位置因素纳入进来。NDCGNormalized Discounted Cumulative Gain归一化折损累计增益就是干这个的。要理解NDCG得先拆解它的三个组成部分。CGCumulative Gain累计增益最简单就是把推荐列表里每个位置的相关性分加起来。比如一个长度为3的推荐列表相关性标签分别是3、2、1那CG就是3216。CG的问题是完全不管位置顺序怎么打乱它都不受影响这显然不够用。DCGDiscounted Cumulative Gain折损累计增益引入位置衰减。核心逻辑是位置越靠后对最终累计得分的贡献就越小。常用的衰减系数是log2(i1)把每个位置的增益除以这个折损系数再求和。公式写出来就是DCGK Σ (2^rel_i - 1) / log2(i 1)其中rel_i是第i个位置的相关性评分i从1开始计数。相关性评分怎么定义取决于你的业务目标。最常见的有三种做法用用户行为映射点击1收藏3购买5之类用模型预测的CTR归一化或者用人工标注的相关性等级。不管用哪种关键是要稳定一致换一批数据就换一套标准的话指标就失去了可比性。3.2 手算一个NDCG全过程公式说多了全是术语直接走一遍手算的流程就清楚了。假设某个用户的一次请求我们取K5。这个用户的真实行为标签显示物品A质量极高相关分3物品B质量不错相关分2物品C质量中等相关分1物品D和E跟用户完全不相关相关分0。也就是说这一轮请求里总共只有3个真正值得推荐的东西。我们的模型给出的Top5排序是B、A、C、D、E。先算这个排序的DCG5位置1B相关分2折损系数log2(2)1.0贡献 (2^2 - 1) / 1.0 3位置2A相关分3折损系数log2(3)≈1.585贡献 (2^3 - 1) / 1.585 7 / 1.585 ≈ 4.42位置3C相关分1折损系数log2(4)2.0贡献 (2^1 - 1) / 2.0 0.5位置4D相关分0贡献 0位置5E相关分0贡献 0DCG5 3 4.42 0.5 7.92。但7.92这个数字本身没有绝对意义它受相关性分数定义和列表长度影响。所以NDCG要做一次归一化把当前排序的DCG除以“完美排序”下的DCG这个完美排序叫IDCGIdeal DCG。这轮请求里如果模型能未卜先知按相关分从高到低排出A3、B2、C1、D0、E0那IDCG5是位置1A相关分3贡献 7 / 1.0 7位置2B相关分2贡献 3 / 1.585 ≈ 1.89位置3C相关分1贡献 0.5位置4和5D、E贡献 0IDCG5 7 1.89 0.5 9.39。NDCG5 7.92 / 9.39 ≈ 0.843。这个0.843怎么理解它就是“当前排序距离完美排序还差多少”。1.0就是完美排序越接近1.0越好。这个例子也顺带说明了一个重要规律把相关分高的物品排得越靠前DCG的增益越大NDCG就越接近1.0。而如果模型把C排到第一位、把A排到第三位DCG会明显往下掉NDCG就会很难看。3.3 为什么是2的rel次方为什么衰减用logNDCG的公式里有三个设计细节每个都值得花两句话说明白。第一为什么要用(2^rel_i - 1)而不是直接用rel_i直白地说这样做能放大相关性之间的差距。相关分3和2只差1但2^3-17和2^2-13在增益上差了4。这样做是对的因为真实场景里“高质量”和“中等质量”之间的用户体验差异不是线性的。一个用户对真正喜欢的内容产生的互动可能是普通内容的数倍甚至数十倍线性加分根本拉不开差距。只有对极高质量的结果加权重才能体现“把最好的排最前”的价值。第二为什么衰减用log2(i1)而不是线性衰减用log衰减的意思是从位置1到位置2权重从1降到约0.63从位置9到位置10权重从0.33降到0.3。头部位置之间权重差异大、尾部位置之间差异小这符合用户注意力分布。用户看前几个结果的概率远大于后面的但第6和第7的差别已经很小了。log衰减刚好拟合这种注意力曲线既重重保护头部位置又不会让尾部彻底失去存在感。第三NDCG为什么能做到不同用户之间可比因为每个用户的NDCG都被自己的IDCG归一化了。不同用户的相关物品数量完全不同有人只有3个相关物品有人有30个如果不做归一化相关物品多的用户天然得分高横向比较就失真了。归一化以后大家比的是“逼近各自完美排序的程度”而不是比谁的相关物品多这才是公平的横向对比。4. 指标选型不同业务阶段该看哪个数字4.1 召回阶段选型召回率优先NDCG作为辅助参考整个推荐链路里召回和排序的目标完全不同指标选择自然不一样。召回阶段面对的是千万级候选池目标是把可能值得排序的物品“捞”回来宁可多捞不能漏掉。这种场景下召回率是绝对的第一指标。因为漏掉一个用户实际上会喜欢的物品后面排序做得再精细也没机会让它被看到。被多捞回来的低质量物品排序阶段还能过滤掉这个损失是可控的。但只盯着召回率也有问题。如果模型把所有候选全部捞回来召回率倒是100%可是召回阶段的意义也没了。所以实际操作中通常同时监控准确率和召回率用F1或者P-R曲线来找平衡点。我在实践中还习惯在召回评估里同时记录一个NDCGK作为辅助参考目的是看看捞回来的那些正确物品在召回列表里的聚集度如何。如果正确物品在候选集里过于分散会给下游排序制造不小的压力如果相对集中排序阶段要处理的高难场景就少一些。4.2 排序阶段选型位置就是金钱NDCG是核心排序阶段是推荐系统的核心战场模型产出的排位直接决定曝光分配这时候NDCG是首选。原因不复杂。排序阶段的目标不仅仅是“找出用户喜欢的东西”更是“把用户最喜欢的东西排在最前面”。两个模型可能命中完全相同的一组物品准确率和召回率完全一样但排列顺序完全不同用户的点击分布就会差出很多。NDCG能通过位置衰减机制把这个顺序差异精确地量化出来。换命中派指标这种差异根本体现不出来。精排阶段用NDCG还有一个额外的好处它能兼容多级相关性标签。如果业务方给你的不是简单的“喜欢/不喜欢”二分类而是“很感兴趣/一般/不感兴趣/讨厌”这种分级标签NDCG照样能算而且能充分利用分级信息。准确率和召回率想用分级标签就得先做阈值切分一刀切还会损失信息。这就是为什么在精排阶段NDCG的实际工程价值远大于命中派指标。4.3 业务类型对指标选择的影响电商、内容、短视频的差异除了链路位置业务类型也会直接影响指标选型。同样一套NDCG在不同业务里相关性标签的定义就完全不同。我在做电商推荐时常用的相关分映射是购买5分加购4分收藏3分点击1分曝光无行为0分。这套映射的逻辑很朴素购买行为对平台的价值远大于点击重行为必须获得更高的加权。做内容推荐时映射思路又不一样比如完读率高的内容给高分只看图文的给低分核心逻辑是“用户付出的时间就是价值”。而做短视频推荐关注的核心是播放时长和互动行为相关分直接可以用播放时长归一化后的分数。这就带来一个很容易踩的坑直接照搬别人的相关性映射表。在别人那儿好用的映射换到你的业务场景里可能完全扭曲模型评估的结果。因为不同业务的用户行为分布差异巨大同一套分钟级阈值的标定对某些业务就是低估对另一些就是高估。正确做法是自己统计行为分布定出适合当前业务的映射表并且定期复核因为用户的点击习惯和购买习惯都会漂移。4.4 指标选型速查表指标看什么适合场景核心短板准确率推荐结果里正确比例精确性要求高的场景忽略覆盖率受正负样本比例影响大召回率真实兴趣被找到的比例召回阶段、覆盖优先单纯追高会变成“全捞”F1准确率和召回率的平衡召回策略对比无位置信息不区分先后NDCG排序质量与位置价值精排评估、实时流需要多级相关性标签计算成本稍高这张表不是要告诉你“哪个指标最好”而是帮你快速对号入座。大部分情况下一个完整的推荐系统评估体系不止用这四个而是把它们组合起来用比如同时汇报Recall100召回阶段和NDCG10精排阶段这样整个链路的表现才完整。5. 实操避坑我测指标时踩过的坑5.1 截断位置K随便选指标自欺欺人几乎每个新手都会犯这个错。评估的时候顺手写个Top-10代码跑通了就完事完全没想过这个K跟业务窗口是否匹配。K的意义在于它决定了你评价的是“推荐系统前多少个位置的质量”。如果你的产品一屏只展示8个商品你却用NDCG50来做评估这个指标就严重脱离了真实场景。位置9到50的曝光概率极低它们对线上真实体验的贡献微乎其微但它们在NDCG的计算里依然有占比。结果就是一个模型在NDCG50上领先可能在NDCG8上反而落后因为前8个位置的排序质量才是决定用户体验的关键。实操里我的建议是K的选择依赖产品形态而不是拍脑袋。展示位只有8个就把评估位设为8、10、12一档观察不同K下模型表现的稳定性。另外一个经验是日常对比模型时至少要同时看两个不同K的结果比如NDCG5和NDCG20。如果一个模型只在NDCG20上优势明显在NDCG5上反而劣势那说明它的优势集中在低曝光位置这个“优势”的真实业务价值很存疑。5.2 正负样本比例失衡准确率直接被绑架另一个高频问题出现在负样本的采样方式上。推荐系统的候选池里正样本用户有正向行为通常极度稀缺如果直接把所有未曝光或未点击的样本当成负样本灌进评估集负样本数量可能是正样本的成百上千倍。这会导致什么准确率直接被负样本数量绑架。一个极端的例子真实点击率为1%哪怕模型一个都不推对随机往列表里塞10个物品准确率也有90%因为90%的用户不会点。这种准确率数字看起来很高却完全不能反映模型能力。解决思路不是在模型层面而是在评估层面控制好负样本的采样比例。你在离线构造验证集时就应该保持和线上一致的采样比例或者至少固定下来让不同模型在同一数据条件下对比。最怕的是这周用一个采样比例下周换一个比出来的指标差异到底是模型进步还是采样比例变了根本分不清。样本口径的一致性比指标本身的精度更基础。5.3 数据穿越标签泄漏指标虚高的罪魁祸首这是最隐蔽、也最致命的问题。所谓数据穿越就是评估过程用到了“未来”的信息。最常见的场景是用全量行为数据构造训练集和测试集切分时直接按用户ID三七分而不考虑时间。假设用户这周看了A商品测试集里有这条记录训练集里也有同一天的历史行为模型就是“记住了”这一个行为。在离线评估时它做预测的本质是在复述训练时看过的东西NDCG当然好看但这种好看在上线后会瞬间归零。因为线上模型面对的永远是未来它不可能提前知道用户下一个动作是什么。规避方法很简单按时间切分数据。训练集用前7天、测试集用后3天这是最基础的要求。更进一步要考虑用户行为的时间窗口比如用户当天点击过的商品在训练时不应该作为特征出现在该时间点之后的数据里。这部分的坑最多我见过不少团队花大量精力调模型结构各项指标死活涨不动最后排查发现是数据切分时的一行代码顺序写错了。先检查数据再看模型这句话在推荐系统评估里永远不会过时。5.4 常见问题与排查速查现象可能原因排查方向离线NDCG 0.98线上点击率没变化严重标签泄漏检查时间切分逻辑、特征时效性准确率反常地高负样本比例失衡核对验证集正负样本采样比例几个指标口径不一致地波动评估代码与线上逻辑不一致对照截断位置K、相关性映射表新模型离线提升明显、线上AB无差异K值选择偏离真实展位用产品真实展示位置对应的K重新评估同一模型不同批次结果不一致随机采样种子没固定全局设置固定随机种子并复测这张表是我从实际项目里整理出来的遇到指标异常先按这张表排查。绝大多数所谓“模型效果波动”最后都能在评估环节找到明确病因。5.5 补充一个细节离线指标和线上指标为何总对不上最后说一个几乎所有人都会困惑的问题离线NDCG明明涨了线上AB实验的点击率却纹丝不动这是不是评估指标没用不恰恰相反这暴露的是离线与线上的系统偏差。离线评估用的是静态日志你在评估时用户的反馈已经固定了线上模型面对的是实时变化的用户状态和上下文即使同一个模型在离线日志和线上真实流量上的行为差异本身就很大。另一个更核心的原因是离线评估无法模拟用户对推荐结果的反馈闭环。线上模型推荐什么会影响用户接下来的行为用户行为又反过来影响模型下一轮推荐这个互动过程在离线数据集上是无法完全复现的。所以我从来不指望离线指标能精确预测线上效果。离线指标的真正价值在于筛选它能用极低的成本过滤掉明显更差的模型让你把有限的AB实验额度留给那些真正有潜力的候选方案。如果你非要给离线指标和线上效果之间找一个期望关系我的经验是离线NDCG提升1%到2%上线后点击率能正向提升的概率比较大但具体幅度大概率会打折。原因就在于旧模型A产生的行为日志被用来评估新模型B这个数据偏差是结构性的弥补不了。讲到底选指标这件事就是在回答“你的模型到底为业务优化了什么”。命中派保障基础正确排序派逼近极致体验。我自己的习惯是每一个推荐模型上线前都必须同时看RecallK、PrecisionK和NDCGK并记录K值选择依据。这三列数字摆在一起既让我看清模型在下游环节的生存能力也让我对业务方有个交代。最后再分享一个小技巧每个季度把线上AB实验的真实结果拿回来和当初的离线指标放在一起回归一遍看看当初的选型逻辑是否还成立。做上两三个季度你对指标的感觉会比我说的任何经验都更扎实。 
长河君 · 2026/10/18 4:40:31 · 阅读 1.2k 推荐系统离线评估指标详解：准确率、召回率、F1与NDCG
做推荐系统迟早要面对一个问题我怎么量化推荐质量。业务方问一句“这次模型效果到底提升了没”如果只丢出一句“感觉差不多”那接下来的优化根本没法推进。准确率、召回率、F1、NDCG这四个词就是推荐系统离线评估里的基本功但真正能在实操中选对、算对、用对的人其实没那么多。尤其是刚入行的同学最容易拿着准确率当万能钥匙结果模型上线后线上数据纹丝不动回头才发现是评估指标选错了。这篇文章把四个指标的来龙去脉、计算方式、适用场景和选型逻辑一次性讲清楚配合具体例子和踩坑经验希望能帮你少走几趟弯路。无论你是刚转算法的新人还是已经做了几年推荐但评估环节一直靠模板代码带过的工程师这篇都值得花十分钟认真读一遍。1. 为什么离线评价指标决定推荐系统的迭代效率1.1 推荐系统的工作闭环与离线评估的位置推荐系统的迭代本质上是一个闭环历史日志训练模型、离线评估看效果、上线做AB实验、回收线上数据、再回来调整模型。离线评估就夹在训练和上线之间它是成本最低的那道质检关卡。如果离线指标选偏了最直接的后果是你花了两周训练的新模型在线下报告里“吊打”老模型结果上了线以后点击率还在原地踏步。这种案例在行业里并不少见根子往往不是模型有问题而是衡量模型的那把尺子本身就选错了。离线评估的作用就像工厂里的出厂质检你不可能每件产品都拉到市场上试一遍再决定要不要发货所以必须在出厂前用高效、廉价、可重复的手段筛掉明显不合格的东西。推荐系统里的“出厂质检”就是离线评估。离线评估的主要特征有三个一是可重复同一份测试数据可以反复跑模型改一版就比一版二是可量化所有结论都落到具体数字上三是可对比不同模型、不同特征版本、不同样本切分方式都能用同一套指标横向对比。这三个特征决定了离线评估是团队协作和迭代管理的地基地基如果歪了上面盖多少层楼都白搭。1.2 四个指标的分类命中派与排序派的差异准确率Precision、召回率Recall、F1、NDCG这四个指标虽然常被放在一起讨论但它们实际上分属两个完全不同的流派。准确率、召回率、F1属于“命中派”核心逻辑是把你预测的东西和真实的东西拿来做集合对比看重合度有多大。这一类指标对待所有位置一视同仁第一位推荐的结果和第10位推荐的结果只要命中了就同样算数没命中就同样不算数。它们适合回答的问题是“我推荐的这批东西里到底对不对”“该找到的东西找到了多少”。NDCG属于“排序派”核心逻辑是位置越靠前推荐对了就越值钱推荐错了代价也越大。它看的不再是“有没有命中”而是“命中的东西排得够不够靠前”。这类指标适合回答的问题是“我排出来的这个顺序用户买不买账”更贴近真实场景。这两派没有高下之分关键在于使用场景。召回阶段需要尽可能少漏掉用户可能感兴趣的东西命中派指标更合适精排阶段是在几百万候选里挑出那几十个给用户看位置意味着曝光量级差距排序派指标就更有话语权。把这个基本分类先刻在脑子里后面选型才不会乱。2. 准确率、召回率、F1从混淆矩阵说起的命中类指标2.1 混淆矩阵回顾四个基本量一句话记忆讲这三个指标之前必须先回到混淆矩阵。很多教程把混淆矩阵画得很复杂其实只需要理解四个格子真正例TP模型预测为正真实也是正。就是你推荐了某商品用户真的买了。假正例FP模型预测为正真实是负。就是你推荐了某商品用户划过没理。假负例FN模型预测为负真实是正。就是你没推荐某商品用户其实会喜欢。真负例TN模型预测为负真实也是负。就是你没推荐某商品用户确实也不喜欢。这里有个关键认知模型产出的“推荐列表”本质上是对所有候选物品做了一次正负分类。在给定的截断位置比如取前10个内被选中的就是预测为正没选中的就是预测为负。混淆矩阵的四个量是后面所有公式的基础如果你对TP、FP、FN、TN还模模糊糊建议先回头把这一节读熟练再往下走。有了这四个量三个指标的定义就非常干净了准确率 TP / (TP FP)回答“我推荐的东西里真正对的比例有多高”。召回率 TP / (TP FN)回答“用户真正喜欢的东西里我推荐出来了多少”。F1 2 × 准确率 × 召回率 / (准确率 召回率)是两者的调和平均。2.2 一个具体例子为什么准确率会骗人光看公式还是抽象直接上一个例子。假设有一个用户他最近的购买行为记录显示他一共对5个商品产生了真实兴趣比如加购或收藏作为ground truth。模型给这个用户推了10个商品其中命中了3个。那么真正例TP 3模型推了且用户真的喜欢。假正例FP 7模型推了但用户没兴趣。假负例FN 2用户喜欢的5个里有2个模型没推出来。准确率 3 / (3 7) 0.3召回率 3 / (3 2) 0.6F1 2 × 0.3 × 0.6 / (0.3 0.6) ≈ 0.4。看起来准确率很低召回率还行F1被准确率拖下来了。这个结果本身没有对错但它揭示了一个很容易踩的坑如果只看准确率你可能会觉得这个模型一塌糊涂如果只看召回率你又可能觉得模型还不错。同一个模型用不同指标衡量得到的结论可能截然相反这就是为什么不能逮着一个指标用到老。准确率会骗人的典型场景是正负样本极不均衡的时候。比如推荐列表里的商品绝大多数用户根本不感兴趣FP巨大哪怕模型偶尔命中了几个准确率也高不到哪去反过来如果用户真实兴趣数量本身很少而模型又推得非常保守比如只推1个且推中了准确率就是100%但这能说明模型好吗显然不能因为它把绝大部分用户可能感兴趣的东西都漏掉了。2.3 召回率与准确率的矛盾此消彼长的拉锯战在真实系统中准确率和召回率很难同时提高。你想提高召回率最简单粗暴的方式就是多推把候选列表从10个扩到50个能捞回更多真实兴趣但推得越多混进去的无关内容也越多准确率自然就下来了。反过来想提高准确率最直接的办法是少推只把置信度最高的1个推出去准确率可能很高但召回率会低得没法看。这就是准确率和召回率之间的拉锯战。在推荐系统里这种矛盾背后反映的是业务对“曝光量”和“精准度”之间的取舍。短视频场景你希望召回率高一些宁可多推一些不那么精准的内容也要保证用户总能刷到自己感兴趣的医疗、法律这类强决策场景你希望准确率更高推错一条的代价比漏掉十条更大。F1的存在就是为了在这两个互相打架的指标之间取一个平衡点。它不是简单算平均数而是调和平均。调和平均的脾气是哪个数小它就往哪个数靠。举个例子准确率0.9、召回率0.1算术平均是0.5但调和平均是2×0.9×0.1/1.0 0.18。这个特性非常重要它意味着F1对“偏科”的模型打分很严厉一个在准确率和召回率上严重失衡的模型F1不会好看。2.4 F1的直觉理解与实际使用边界为什么用调和平均而不是算术平均用一句通俗的话解释算术平均允许用高分拉平低分调和平均则强制要求两个指标都表现好。放在推荐场景里如果你希望模型“推荐的东西要靠谱”和“该推的东西别漏掉”两者都不能差F1就比单独看任何一个指标都合适。但F1也不是银弹。要注意的是F1本身没有业务含义它只是一个综合评分。0.5的F1不代表“模型有50%的概率做对”它只是一个相对分数用来横向比较不同模型或不同参数配置的优劣。另外一个很容易被忽略的问题是阈值选择。同样一个模型你把“推荐”的判定阈值调高输出的列表更短、更精准准确率高召回率低调低阈值输出列表更长、更杂准确率低召回率高。F1在这个过程中会呈现一个倒U形走势实操里我们通常的做法是扫一遍阈值找出F1最大的那个点作为默认配置。这种做法很简单但很有用尤其在做召回阶段效果对比的时候。3. NDCG真正衡量排序质量的指标3.1 从业务直觉到DCG公式准确率、召回率、F1回答的是“推得对不对”但它们默认所有位置一样重要。真实场景显然不是这样。用户刷推荐流的时候第一屏的内容和被折叠到第五屏的内容曝光量和点击率差出两个数量级。既然位置代表了实打实的流量分配评估指标就必须把位置因素纳入进来。NDCGNormalized Discounted Cumulative Gain归一化折损累计增益就是干这个的。要理解NDCG得先拆解它的三个组成部分。CGCumulative Gain累计增益最简单就是把推荐列表里每个位置的相关性分加起来。比如一个长度为3的推荐列表相关性标签分别是3、2、1那CG就是3216。CG的问题是完全不管位置顺序怎么打乱它都不受影响这显然不够用。DCGDiscounted Cumulative Gain折损累计增益引入位置衰减。核心逻辑是位置越靠后对最终累计得分的贡献就越小。常用的衰减系数是log2(i1)把每个位置的增益除以这个折损系数再求和。公式写出来就是DCGK Σ (2^rel_i - 1) / log2(i 1)其中rel_i是第i个位置的相关性评分i从1开始计数。相关性评分怎么定义取决于你的业务目标。最常见的有三种做法用用户行为映射点击1收藏3购买5之类用模型预测的CTR归一化或者用人工标注的相关性等级。不管用哪种关键是要稳定一致换一批数据就换一套标准的话指标就失去了可比性。3.2 手算一个NDCG全过程公式说多了全是术语直接走一遍手算的流程就清楚了。假设某个用户的一次请求我们取K5。这个用户的真实行为标签显示物品A质量极高相关分3物品B质量不错相关分2物品C质量中等相关分1物品D和E跟用户完全不相关相关分0。也就是说这一轮请求里总共只有3个真正值得推荐的东西。我们的模型给出的Top5排序是B、A、C、D、E。先算这个排序的DCG5位置1B相关分2折损系数log2(2)1.0贡献 (2^2 - 1) / 1.0 3位置2A相关分3折损系数log2(3)≈1.585贡献 (2^3 - 1) / 1.585 7 / 1.585 ≈ 4.42位置3C相关分1折损系数log2(4)2.0贡献 (2^1 - 1) / 2.0 0.5位置4D相关分0贡献 0位置5E相关分0贡献 0DCG5 3 4.42 0.5 7.92。但7.92这个数字本身没有绝对意义它受相关性分数定义和列表长度影响。所以NDCG要做一次归一化把当前排序的DCG除以“完美排序”下的DCG这个完美排序叫IDCGIdeal DCG。这轮请求里如果模型能未卜先知按相关分从高到低排出A3、B2、C1、D0、E0那IDCG5是位置1A相关分3贡献 7 / 1.0 7位置2B相关分2贡献 3 / 1.585 ≈ 1.89位置3C相关分1贡献 0.5位置4和5D、E贡献 0IDCG5 7 1.89 0.5 9.39。NDCG5 7.92 / 9.39 ≈ 0.843。这个0.843怎么理解它就是“当前排序距离完美排序还差多少”。1.0就是完美排序越接近1.0越好。这个例子也顺带说明了一个重要规律把相关分高的物品排得越靠前DCG的增益越大NDCG就越接近1.0。而如果模型把C排到第一位、把A排到第三位DCG会明显往下掉NDCG就会很难看。3.3 为什么是2的rel次方为什么衰减用logNDCG的公式里有三个设计细节每个都值得花两句话说明白。第一为什么要用(2^rel_i - 1)而不是直接用rel_i直白地说这样做能放大相关性之间的差距。相关分3和2只差1但2^3-17和2^2-13在增益上差了4。这样做是对的因为真实场景里“高质量”和“中等质量”之间的用户体验差异不是线性的。一个用户对真正喜欢的内容产生的互动可能是普通内容的数倍甚至数十倍线性加分根本拉不开差距。只有对极高质量的结果加权重才能体现“把最好的排最前”的价值。第二为什么衰减用log2(i1)而不是线性衰减用log衰减的意思是从位置1到位置2权重从1降到约0.63从位置9到位置10权重从0.33降到0.3。头部位置之间权重差异大、尾部位置之间差异小这符合用户注意力分布。用户看前几个结果的概率远大于后面的但第6和第7的差别已经很小了。log衰减刚好拟合这种注意力曲线既重重保护头部位置又不会让尾部彻底失去存在感。第三NDCG为什么能做到不同用户之间可比因为每个用户的NDCG都被自己的IDCG归一化了。不同用户的相关物品数量完全不同有人只有3个相关物品有人有30个如果不做归一化相关物品多的用户天然得分高横向比较就失真了。归一化以后大家比的是“逼近各自完美排序的程度”而不是比谁的相关物品多这才是公平的横向对比。4. 指标选型不同业务阶段该看哪个数字4.1 召回阶段选型召回率优先NDCG作为辅助参考整个推荐链路里召回和排序的目标完全不同指标选择自然不一样。召回阶段面对的是千万级候选池目标是把可能值得排序的物品“捞”回来宁可多捞不能漏掉。这种场景下召回率是绝对的第一指标。因为漏掉一个用户实际上会喜欢的物品后面排序做得再精细也没机会让它被看到。被多捞回来的低质量物品排序阶段还能过滤掉这个损失是可控的。但只盯着召回率也有问题。如果模型把所有候选全部捞回来召回率倒是100%可是召回阶段的意义也没了。所以实际操作中通常同时监控准确率和召回率用F1或者P-R曲线来找平衡点。我在实践中还习惯在召回评估里同时记录一个NDCGK作为辅助参考目的是看看捞回来的那些正确物品在召回列表里的聚集度如何。如果正确物品在候选集里过于分散会给下游排序制造不小的压力如果相对集中排序阶段要处理的高难场景就少一些。4.2 排序阶段选型位置就是金钱NDCG是核心排序阶段是推荐系统的核心战场模型产出的排位直接决定曝光分配这时候NDCG是首选。原因不复杂。排序阶段的目标不仅仅是“找出用户喜欢的东西”更是“把用户最喜欢的东西排在最前面”。两个模型可能命中完全相同的一组物品准确率和召回率完全一样但排列顺序完全不同用户的点击分布就会差出很多。NDCG能通过位置衰减机制把这个顺序差异精确地量化出来。换命中派指标这种差异根本体现不出来。精排阶段用NDCG还有一个额外的好处它能兼容多级相关性标签。如果业务方给你的不是简单的“喜欢/不喜欢”二分类而是“很感兴趣/一般/不感兴趣/讨厌”这种分级标签NDCG照样能算而且能充分利用分级信息。准确率和召回率想用分级标签就得先做阈值切分一刀切还会损失信息。这就是为什么在精排阶段NDCG的实际工程价值远大于命中派指标。4.3 业务类型对指标选择的影响电商、内容、短视频的差异除了链路位置业务类型也会直接影响指标选型。同样一套NDCG在不同业务里相关性标签的定义就完全不同。我在做电商推荐时常用的相关分映射是购买5分加购4分收藏3分点击1分曝光无行为0分。这套映射的逻辑很朴素购买行为对平台的价值远大于点击重行为必须获得更高的加权。做内容推荐时映射思路又不一样比如完读率高的内容给高分只看图文的给低分核心逻辑是“用户付出的时间就是价值”。而做短视频推荐关注的核心是播放时长和互动行为相关分直接可以用播放时长归一化后的分数。这就带来一个很容易踩的坑直接照搬别人的相关性映射表。在别人那儿好用的映射换到你的业务场景里可能完全扭曲模型评估的结果。因为不同业务的用户行为分布差异巨大同一套分钟级阈值的标定对某些业务就是低估对另一些就是高估。正确做法是自己统计行为分布定出适合当前业务的映射表并且定期复核因为用户的点击习惯和购买习惯都会漂移。4.4 指标选型速查表指标看什么适合场景核心短板准确率推荐结果里正确比例精确性要求高的场景忽略覆盖率受正负样本比例影响大召回率真实兴趣被找到的比例召回阶段、覆盖优先单纯追高会变成“全捞”F1准确率和召回率的平衡召回策略对比无位置信息不区分先后NDCG排序质量与位置价值精排评估、实时流需要多级相关性标签计算成本稍高这张表不是要告诉你“哪个指标最好”而是帮你快速对号入座。大部分情况下一个完整的推荐系统评估体系不止用这四个而是把它们组合起来用比如同时汇报Recall100召回阶段和NDCG10精排阶段这样整个链路的表现才完整。5. 实操避坑我测指标时踩过的坑5.1 截断位置K随便选指标自欺欺人几乎每个新手都会犯这个错。评估的时候顺手写个Top-10代码跑通了就完事完全没想过这个K跟业务窗口是否匹配。K的意义在于它决定了你评价的是“推荐系统前多少个位置的质量”。如果你的产品一屏只展示8个商品你却用NDCG50来做评估这个指标就严重脱离了真实场景。位置9到50的曝光概率极低它们对线上真实体验的贡献微乎其微但它们在NDCG的计算里依然有占比。结果就是一个模型在NDCG50上领先可能在NDCG8上反而落后因为前8个位置的排序质量才是决定用户体验的关键。实操里我的建议是K的选择依赖产品形态而不是拍脑袋。展示位只有8个就把评估位设为8、10、12一档观察不同K下模型表现的稳定性。另外一个经验是日常对比模型时至少要同时看两个不同K的结果比如NDCG5和NDCG20。如果一个模型只在NDCG20上优势明显在NDCG5上反而劣势那说明它的优势集中在低曝光位置这个“优势”的真实业务价值很存疑。5.2 正负样本比例失衡准确率直接被绑架另一个高频问题出现在负样本的采样方式上。推荐系统的候选池里正样本用户有正向行为通常极度稀缺如果直接把所有未曝光或未点击的样本当成负样本灌进评估集负样本数量可能是正样本的成百上千倍。这会导致什么准确率直接被负样本数量绑架。一个极端的例子真实点击率为1%哪怕模型一个都不推对随机往列表里塞10个物品准确率也有90%因为90%的用户不会点。这种准确率数字看起来很高却完全不能反映模型能力。解决思路不是在模型层面而是在评估层面控制好负样本的采样比例。你在离线构造验证集时就应该保持和线上一致的采样比例或者至少固定下来让不同模型在同一数据条件下对比。最怕的是这周用一个采样比例下周换一个比出来的指标差异到底是模型进步还是采样比例变了根本分不清。样本口径的一致性比指标本身的精度更基础。5.3 数据穿越标签泄漏指标虚高的罪魁祸首这是最隐蔽、也最致命的问题。所谓数据穿越就是评估过程用到了“未来”的信息。最常见的场景是用全量行为数据构造训练集和测试集切分时直接按用户ID三七分而不考虑时间。假设用户这周看了A商品测试集里有这条记录训练集里也有同一天的历史行为模型就是“记住了”这一个行为。在离线评估时它做预测的本质是在复述训练时看过的东西NDCG当然好看但这种好看在上线后会瞬间归零。因为线上模型面对的永远是未来它不可能提前知道用户下一个动作是什么。规避方法很简单按时间切分数据。训练集用前7天、测试集用后3天这是最基础的要求。更进一步要考虑用户行为的时间窗口比如用户当天点击过的商品在训练时不应该作为特征出现在该时间点之后的数据里。这部分的坑最多我见过不少团队花大量精力调模型结构各项指标死活涨不动最后排查发现是数据切分时的一行代码顺序写错了。先检查数据再看模型这句话在推荐系统评估里永远不会过时。5.4 常见问题与排查速查现象可能原因排查方向离线NDCG 0.98线上点击率没变化严重标签泄漏检查时间切分逻辑、特征时效性准确率反常地高负样本比例失衡核对验证集正负样本采样比例几个指标口径不一致地波动评估代码与线上逻辑不一致对照截断位置K、相关性映射表新模型离线提升明显、线上AB无差异K值选择偏离真实展位用产品真实展示位置对应的K重新评估同一模型不同批次结果不一致随机采样种子没固定全局设置固定随机种子并复测这张表是我从实际项目里整理出来的遇到指标异常先按这张表排查。绝大多数所谓“模型效果波动”最后都能在评估环节找到明确病因。5.5 补充一个细节离线指标和线上指标为何总对不上最后说一个几乎所有人都会困惑的问题离线NDCG明明涨了线上AB实验的点击率却纹丝不动这是不是评估指标没用不恰恰相反这暴露的是离线与线上的系统偏差。离线评估用的是静态日志你在评估时用户的反馈已经固定了线上模型面对的是实时变化的用户状态和上下文即使同一个模型在离线日志和线上真实流量上的行为差异本身就很大。另一个更核心的原因是离线评估无法模拟用户对推荐结果的反馈闭环。线上模型推荐什么会影响用户接下来的行为用户行为又反过来影响模型下一轮推荐这个互动过程在离线数据集上是无法完全复现的。所以我从来不指望离线指标能精确预测线上效果。离线指标的真正价值在于筛选它能用极低的成本过滤掉明显更差的模型让你把有限的AB实验额度留给那些真正有潜力的候选方案。如果你非要给离线指标和线上效果之间找一个期望关系我的经验是离线NDCG提升1%到2%上线后点击率能正向提升的概率比较大但具体幅度大概率会打折。原因就在于旧模型A产生的行为日志被用来评估新模型B这个数据偏差是结构性的弥补不了。讲到底选指标这件事就是在回答“你的模型到底为业务优化了什么”。命中派保障基础正确排序派逼近极致体验。我自己的习惯是每一个推荐模型上线前都必须同时看RecallK、PrecisionK和NDCGK并记录K值选择依据。这三列数字摆在一起既让我看清模型在下游环节的生存能力也让我对业务方有个交代。最后再分享一个小技巧每个季度把线上AB实验的真实结果拿回来和当初的离线指标放在一起回归一遍看看当初的选型逻辑是否还成立。做上两三个季度你对指标的感觉会比我说的任何经验都更扎实。