论文:https://arxiv.org/pdf/2307.04386
代码:https://anonymous.4open.science/r/CFairER-anony/.
关键词:可解释推荐;公平;反事实的解释;强化学习
1 动机
现有推荐系统存在的公平性问题,例如性别歧视和种族偏见等,会导致推荐结果的非公平分配,从而降低用户满意度和系统的可信度。现有的公平性推荐研究提出了一些算法来减轻这种不公平性,但通常是以“黑盒”方式进行的,缺乏透明度和解释性。解释不公平性出现的原因,即识别导致推荐结果不公平的因素,是构建可信赖推荐系统的重要一步。当前的公平性解释方法通常依赖特征或方面的扰动来生成解释,但这些方法面临高计算成本、处理离散属性的能力有限等问题。
基于特征的方法:通过计算输入特征对模型公平性的贡献分数(Shapley值估计,用来衡量每个输入特征对模型公平性的影响),来解释推荐系统中不公平性的来源。因为特征交互复杂且难以解析,对深度推荐模型的适用性较差。
基于方面的方法:通过对用户或物品的aspect进行扰动(对用户或物品的某些方面分数(例如兴趣标签、商品特征分数)进行扰动,通过将扰动后的分数输入推荐模型,观察对公平性差异的影响),从而优化解释模型,找到导致公平性变化的方面。然而随着aspect数量的增加,扰动的搜索空间会呈指数级增长,计算负担重。
下图是一个用于公平性反事实解释的示例。假设在用户 u1和推荐项 i1的场景中,我们希望知道 i1为什么会导致推荐结果的不公平性。反事实解释通过修改 u1和 i1的属性并观察推荐结果的公平性变化来实现“what-if”推理。
候选解释 E1 和 E都能改变推荐结果的公平性,从公平性差异 0.9降低到 0.19。但E2 是最小的属性修改集合,能够提供更具实质性的解释。因此图中的“Female”属性被认为是关键因素,而“U.S”和“Discount”等冗余属性被舍弃。
2 贡献
-
引入基于反事实推理的属性级公平性解释框架:首次提出从因果推理角度生成反事实公平性解释,通过对异构信息网络(HIN)中的离散属性进行最小修改,回答“如果某些属性变化,模型公平性将如何改变”的问题,从而识别影响推荐系统公平性的关键属性。
-
设计基于强化学习的反事实解释生成策略:开发基于离线策略的强化学习框架,通过优化解释策略,自动发现对模型公平性变化最敏感的属性组合;引入注意力机制进行动作修剪,减少候选属性的搜索空间,从而大幅提升生成效率和解释质量。
3 推荐系统的公平性解释
公平感知推荐的研究主要讨论两个主要主题,即用户侧公平性和项目侧公平性。
用户端公平性关注推荐系统是否公平地对待不同用户或用户群体,例如在推荐准确性或解释性方面的平等性。然而推荐系统可能对特定用户群体(如活跃用户、特定性别或种族的用户)表现出偏向性。现有方法为协同过滤等推荐模型定义公平性度量(如准确性平等性),并将这些度量作为约束条件加入模型目标函数。或者通过在排序结果上加入公平性约束来减轻用户群体之间的不平等。
物品端公平性关注推荐系统是否公平地对待不同的物品或物品群体,例如在物品曝光分配或排名预测错误率方面的公平性。物品端的不公平性通常表现为长尾物品的曝光不足,导致热门物品的曝光过度,并且动态变化的物品标签(如类别或流派)可能进一步加剧不公平性。现有方法在学习排序模型时,加入公平性相关的正则项,或使用马尔科夫决策过程(MDP)建模动态标签变化,计算物品曝光的不公平性成本。或利用强化学习方法,在交互式推荐系统中维护准确性和曝光公平性的长期平衡。
4 相关技术
4.1异构信息网络(Heterogeneous Information Network, HIN)
HIN是一种复杂的图结构,用于表示用户、物品及其属性的多种关系。其节点和边具有异质性,能够捕获不同类型的用户和物品属性。 HIN输入为异质图,V表示节点集,包括用户 、物品 、用户属性 、物品属性,E为边集,描述用户与物品、用户与属性、物品与属性之间的关系。输出是节点表示。HIN需要进行迭代聚合并处理异构图时会考虑节点和边的类型异质性,统一建模用户-物品交互及其属性关联,为公平性解释提供丰富的背景信息。
4.2公平性差异(Fairness Disparity)
公平性差异衡量推荐结果的不公平程度。本文采用两种指标来评估推荐结果的公平性:
(1)人口平价(Demographic Parity, DP): 要求推荐系统对所有物品组(如热门组G0和长尾组G1)具有相同的曝光概率。
(2)精确-K(Exact-K, EK): 要求物品的曝光分布在统计上不超过预设的最大偏差 α。
给定DP和EK,公平差距:
4.3公平性反事实解释(Counterfactual Explanation for Fairness)
反事实解释旨在回答“如果某些用户或物品属性发生最小变化,推荐结果的公平性会如何改变”。目标是找到最小的属性集 V^*,使得修改这些属性后,推荐结果的公平性差异减少。给定用户交互目标是找到。V^*是HIN中选择的最小属性子集,在应用 V^* 后,推荐结的公平性差异降低,说明这些属性是导致不公平性的主要因素。
5 CFairER
(1)图表示模块将HIN之间的用户、项目和属性作为嵌入向量嵌入,推荐模型进行推荐
(2)反事实公平解释(CFE)模型借助图表示模块和推荐模型进行反事实推理。
CFairER 通过强化学习框架(智能体与环境的交互学习一种策略,使得在给定状态下选择的动作能够最大化累积奖励)生成推荐系统的反事实公平性解释。
5.1 图表示模块
将HIN中的节点(用户、物品及其属性)表示为嵌入向量,用于推荐模型和反事实推理。
迭代聚合公式,最终的嵌入用cat操作
5.2 推荐模块
矩阵分解和BPR
5.3反事实公平性解释的强化学习
状态S:当前的用户及其推荐列表-5.3.1
动作 At:从候选属性集合 Vt选择一个属性作为动作-5.3.2
奖励:衡量当前动作at是否有助于改善公平性
5.3.1状态表示学习
状态表示学习旨在通过时间序列建模,为强化学习中的状态 (sts_tst) 提供动态的、高质量的嵌入表示。门控循环单元(GRU)被用来捕获用户推荐历史和当前交互的时间相关性。状态表示学习通过三种门机制(更新门、重置门和状态更新)动态调整状态信息。
更新门ut决定当前状态表示 st中,有多少部分应该保留上一时间步 st−1的信息;
重置门rt决定是否清除历史状态的部分信息,从而允许模型更关注当前输入;
综合更新门和重置门的输出,最终生成当前时间步的状态表示st
5.3.2 注意力动作修剪
CFairER 的动作空间由用户和物品的所有可能属性组成,当属性数量巨大时,直接搜索会导致计算成本过高。注意力动作修剪通过使用注意力机制评估动作的重要性,保留最相关的属性,从而减少动作空间。输入包括:由状态表示学习模块生成的当前状态 st-5.3.1,HIN的候选属性嵌入ei。
将V𝑡中所有属性的注意分数归一化,通过注意力分数对候选属性进行筛选,仅保留分数最高的前 n个属性:
5.3.3 反事实奖励
奖励函数用于衡量一个候选动作是否能够有效降低推荐系统的公平性差异:
其中表示用户嵌入的变化距离,越小越好。反事实奖励函数的设计需要平衡两个目标:
理性准则:选择的动作应显著改善推荐结果的公平性。
当动作 at 显著降低公平性差异时,奖励函数给出更高的奖励值
邻近性准则:选择的动作应尽量减少对用户和物品嵌入的改变。当动作 at未能显著改善公平性差异时奖励仅考虑嵌入变化的距离
6总结
模型流程:
-
HIN 嵌入生成:
使用异构信息网络提取用户嵌入 hu、物品嵌入 hv、属性嵌入 ei,统一表示用户、物品及其属性的多样化关系,为后续的强化学习和反事实解释生成提供输入。 -
强化学习框架:
利用强化学习找到最小的属性修改集合 V^*,优化推荐结果的公平性。- 状态表示:通过 GRU提取用户推荐历史的序列信息,结合当前推荐列表嵌入生成状态 st。
- 动作选择:使用注意力机制筛选与当前状态最相关的属性,剔除无用的属性信息,减少动作空间。
- 奖励函数:综合衡量动作对公平性差异改善(DP 和 EK)和嵌入稳定性的影响,确保生成的修改既显著改善公平性,又尽量保持嵌入变化最小。
-
反事实推荐生成:
在最优动作的指导下,通过修改用户或物品的某个属性生成新的反事实嵌入,得到反事实推荐结果 。 -
公平性比较:
计算反事实推荐结果的公平性差异 与原始推荐结果的公平性差异 的变化,验证反事实修改的有效性。如果反事实修改显著降低了公平性差异生成奖励信号,用于强化学习框架中策略的优化和下一阶段动作的指导。
使用 DP 和 EK 指标衡量推荐结果的公平性差异。在反事实修改过程中,依据 理性准则 优先选择能够显著降低公平性差异的动作,同时通过 邻近性准则 约束动作对嵌入的影响幅度。结合这些准则,最大化奖励函数以优化目标策略,最终生成改善公平性的反事实嵌入。