以小红书为例的推荐系统的转化流程，用户看到内容就是曝光，可以点击进去，然后进行一些“交互”行为，比如评论、点赞、收藏、转发。

通常会考虑用户的一些消费指标

而从推荐系统的角度则会考虑一些北极星指标，也就是优化目标

通常上线一个推荐系统需要进行离线实验，然后做AB测试，效果满意的话再全流量上线

通常一个比较完善的推荐系统包含召回、粗排、精排、重排几个环节

召回一般是多个通道的

粗排、精排会考虑用户特征、物品特征、统计特征来建模，同时考虑多个消费指标，然后得到一个最终的排序分数

最后再通过重排来提高推荐的多样性以及插入一些广告这种

离线验证后需要进行AB测试，才知道训练的模型到底好不好

最简单的做法就是把人群随机分桶，就可以比较实验组和对照组的效果

但是随机分桶的问题在于无法做多个实验，因此通常考虑分层实验，同层互斥就是做的分桶，不同层正交可以避免不同实验之间的干扰，就可以做无数组实验

Holdout机制用于让每个实验可以独立进行汇报

实验推全是逐步将新推荐策略应用到所有用户的过程，而反转实验是通过将部分用户回退到旧策略来评估新策略的有效性。