TwinCL: A Twin Graph Contrastive Learning Model for Collaborative Filtering

TwinCL: A Twin Graph Contrastive Learning Model for Collaborative Filtering

在这里插入图片描述

摘要

在推荐和协同过滤领域,图对比学习(Graph Contrasive Learning,GCL)已经成为一种有影响的方法。然而,对比学习有效性的原因还没有得到很好的理解。本文对传统的随机扩充图结构或嵌入空间的方法提出了质疑,因为这些方法可能会破坏图神经网络的结构和语义信息.此外,固定速率的数据增强被证明与具有自适应速率的增强相比效率较低。在初始训练阶段,较大的扰动更适合,而随着训练接近收敛,较温和的扰动产生较好的结果。我们引入了一个双编码器来代替随机增强,证明了传统增强技术的冗余性。双编码器更新机制确保在早期阶段生成更多样的对比视图,随着训练的进行过渡到具有更大相似性的视图。此外,我们还从超球面上的对齐和均匀性的角度研究了学习表示,以更有效地进行优化。我们提出的孪生图对比学习模型- TwinCL -在保持超球面上嵌入的一致性的同时,对齐用户和项目嵌入的正对以及来自孪生编码器的表示。

引言

为了克服这些挑战,我们在本文中提出了一个双图对比学习模型的建议,称为TwinCL。关于第一个挑战,在追求简化GCL的协同过滤,我们放弃了传统的随机扩增应用到图结构或嵌入空间。受CL中动量更新机制[9,17]的启发,我们采用了一种使用动量更新的孪生编码器与主图编码器进行对比学习的策略。双编码器从主编码器迭代地更新自身,实现历史参数值与主编码器的当前梯度之间的平衡。这种基于孪生的模型具有在稀疏的用户-项目交互图中保留关键信息并以减少的计算操作有效地细化表示的优点。此外,它提供了不同的对比视图在初始阶段,过渡到更相似的视图在后期阶段,由于其更新机制,这被证明是有效的,以加强对比学习。关于第二个挑战,我们从[32]中推导出对齐和均匀性损失,并直接优化推荐任务,而无需负采样[44]。通过优化用户和项目嵌入内的对齐和均匀性属性,训练过程获得更快的收敛,同时表现出对过拟合的敏感性降低,从而增强鲁棒性。此外,对准和均匀性的设计,与双编码器相结合,协同有助于实现增强的性能。在最初的几个时期,模型受益于对齐和均匀性的优化,允许图形编码器更新到更合适的参数。通过从图形编码器获取更高质量的参数,双编码器可以通过从主图形编码器提取知识来迭代地细化其自身的参数,从而生成上级节点表示。

贡献:

  1. 我们提出了一种新的图对比学习范式TwinCL,它使用动量更新的孪生编码器,而没有对图和节点嵌入进行任何随机扩增。
  2. 我们将对齐和一致性的优化与我们的双图对比学习模型相结合,提高了性能,效率和对流行偏见的鲁棒性

孪生图对比学习

在这里插入图片描述

TwinCL利用孪生编码器生成有效的对比视图,而无需对图结构或节点表示进行扩充。此外,TwinCL利用对齐和一致性的特性来测量表示的质量,从而提高了双编码器的有效性。

现有的基于图的推荐方法通常依赖于随机扩增,这可能引入噪声并干扰图的结构和语义信息,特别是当图稀疏且用户-项目交互很少时。此外,这些方法需要反复试验选择增强方法和参数。我们需要选择一种具有适当扰动幅度的增强方法,例如辍学率[38]或噪声率[42,48]。然而,我们注意到,增强的最佳丢弃率或噪声率根据训练时期和迭代而不同。在训练的初始阶段,采用较高的丢弃率或扰动导致增强的对比学习结果。然而,随着模型达到一定数量的时期,为了减轻过拟合并促进进一步的改进,降低丢失率变得合乎需要,从而促进增强视图之间的更大相似性并实现上级结果。为了减轻固定丢弃率的不利影响,另一种方法涉及使用可学习的神经生成器[16]来创建对比视图。然而,这种方法在协同过滤场景中可能不是有效的,因为训练额外的生成器可能是繁重的。我们的目标是确定一种计算效率高的方法,并允许在训练的早期阶段进行较大的扰动,在后期阶段过渡到较稳定的扰动。

此外,GCL模型中对齐和一致性优化的未充分利用代表了改进推荐性能的未开发机会。大多数现有的GCL方法[23,42,48]只是分析学习表示的对齐和一致性,而没有利用这些属性。因此,我们的研究致力于设计一种GCL模型,该模型放弃了随机增强,有利于直接优化对齐和均匀性,寻求克服数据稀疏性,并在训练的早期阶段受到显著扰动时增强鲁棒性。

预备知识

1. 对齐、均匀

在对比学习领域,对齐和均匀性被认为是衡量表征质量的两个关键属性。给定一个正对的分布,对齐被定义为对比学习中正对的归一化嵌入之间的期望距离。
在这里插入图片描述

换句话说,均匀性是嵌入分布均匀程度的度量。
在这里插入图片描述

对齐和一致性度量非常适合对比学习的中心目标:正实例的嵌入应该彼此靠近,而随机实例的嵌入应该分散在超球面上。此外,这两个指标同样与协同过滤密切相关[32],其中用户感兴趣的项目可以与用户形成正对。这里类似地,正用户-项目对的归一化嵌入应该保持接近,而所有用户和项目的归一化嵌入应该均匀分布在超球体上:
在这里插入图片描述

孪生图对比学习

动机

现有的基于图的推荐方法通常依赖于随机增强,这会引入噪声并干扰图的结构和语义信息,特别是当图稀疏且用户-项目交互很少时。此外,这些方法需要反复试验选择增强方法和参数。我们需要选择一种具有适当扰动幅度的增强方法,例如丢弃率[38]或噪声率[42,48]。然而,我们注意到,用于增强的最佳丢弃率或噪声率取决于训练时期和迭代而不同。在训练的初始阶段,采用较高的丢弃率或扰动导致增强的对比学习结果。然而,随着模型达到一定数量的时期,为了减轻过拟合并促进进一步的改进,降低丢失率变得合乎需要,从而促进增强视图之间的更大相似性并实现上级结果。为了减轻固定丢弃率的不利影响,另一种方法涉及使用可学习的神经生成器[16]来创建对比视图。然而,这种方法在协同过滤场景中可能效率不高,因为训练额外的生成器可能很繁重。
我们的目标是确定一种计算效率高的方法,并允许在训练的早期阶段进行较大的扰动,在后期阶段过渡到较温和的扰动。此外,GCL模型中对齐和一致性优化的未充分利用代表了改进推荐性能的未开发机会。大多数现有的GCL方法[23,42,48]只是分析学习表示的对齐和一致性,而没有利用这些属性。因此,我们的研究致力于设计一种GCL模型,该模型放弃了随机增强,有利于直接优化对齐和均匀性,寻求克服数据稀疏性,并在训练的早期阶段受到显著扰动时增强鲁棒性。

双编码器

在这里插入图片描述

双编码器更新机制

主编码器通过梯度来训练模型参数,孪生网络不需要训练,每次从主网络中来拷贝部分参数来优化孪生网络。

在这里插入图片描述
双编码器更新机制保证了双编码器之间的多样性,并在训练的早期阶段生成对比视图。随着模型接近收敛,双编码器之间的相似性显著增加。与固定速率扰动方法相比,该功能增强了对比学习的性能,同时还确保了对比视图的有效生成。

	主编码其和其孪生网络通过图编码器生成用户、物品嵌入,用于对比学习。

在这里插入图片描述

对比学习

主编码器和孪生编码器之间的对比学习是为了最大化由双编码器和双编码器生成的正对的表示之间的相似性,同时鼓励嵌入空间中的均匀性。
在这里插入图片描述

对齐和均匀性优化

本文深入研究了如何为我们的协同过滤模型调整对齐和一致性的优化的细节。在传统的推荐系统中,贝叶斯个性化排序(BPR)[28]损失是优化项目排序的流行选择。但是,它也有自己的一系列限制,主要是由于它对负采样的敏感性以及捕获复杂的用户-项目交互的困难。负采样的性能可能会受到采样负样本的低质量和缓慢收敛的影响。为了克服这些限制,我们的模型采用了两种主要的优化损失。对齐损失确保了图中相似用户和项目的嵌入在表示空间中更接近,从而导致更准确的推荐均匀性损失确保嵌入均匀地分布在表示空间上,从而减少模型过度拟合特定项目或用户类别的机会,并使模型更加稳健和可推广

	bpr损失

在这里插入图片描述
当用户和项目的正对表示具有完美对齐且所有表示在超球面上均匀分布时,BPR损失最小.因此,对齐和均匀性损失可以替代BPR损失来优化推荐模型。通过直接优化对齐损失Lalign和均匀性损失Luniform,该模型在保证正用户-项目对的均匀分布的同时,内在地对齐了正用户-项目对的嵌入,从而得到了比依赖于BPR损失的传统方法更丰富的表示。在这里插入图片描述

TwinCL 算法

在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/3299.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

虚拟现实辅助工程技术如何加速汽车设计与制造

汽车行业正面临着以超常速度进行创新的压力,以满足新出现的环境、技术和社会需求。这就要求产品开发具有极高的效率和准确性。传统的汽车产品开发周期通常依赖于大量的物理原型和实际测试。这些设计周期冗长、成本高昂、资源密集,当需要更改设计时&#…

基于卷积神经网络的农作物病虫害识别系统(pytorch框架,python源码)

更多图像分类、图像识别、目标检测等项目可从主页查看 功能演示: 基于卷积神经网络的农作物病虫害检测(pytorch框架)_哔哩哔哩_bilibili (一)简介 基于卷积神经网络的农作物病虫害识别系统是在pytorch框架下实现的…

现代配电系统中的预付费电能计量装置有哪些功能?

随着社会的快速发展和用电需求的不断增长,传统的后付费电能计量方式逐渐暴露出诸如欠费问题、计费不准确、管理复杂等缺点,无法适应日益复杂的电力供应和消费需求。预付费电能计量装置作为一种新型的电能管理方式,因其具备便捷、智能等特点&a…

优化文本嵌入,大幅提升RAG检索速度

大家好,文本嵌入技术能够将文字信息转换成高维向量表示的数字,提供了一种理解和处理文本数据的新方式,帮助我们更好地理解和处理文本数据。这些向量能够捕捉文本的深层特征,进而支持多种应用,比如理解语义、进行文本分…

【通信领域术语】MNO 和 MVNO 的简介

定义与关系 MNO 和 MVNO 是两种不同类型的移动运营商。 MNO(Mobile Network Operator,移动网络运营商)指利用物理网络基础设施提供移动服务的一种移动服务提供商。 MVNO(Mobile Virtual Network Operator,虚拟移动网络运营商)不拥有网络基础设施。 两者最大的区别在于,…

868历年真题算法设计题+程序设计题

11.52013年真题*4 一天四道太顶了,11.6-11.15先且两天四道题,先把数学二轮三轮结束! 如果程序设计题写不了 核心算法 ,但是把思路写上去,只将核心函数空出来也能拿些分!!DFS大概率不会和stack同…

仿制药一致性评价数据库之药品一致性评价查询

在《我不是药神》电影中,白血病特效药“格列宁”原研药与印度仿制药价格相差近10倍,在仿制药生物等效达到99%以上情况下,你会如何抉择?即便在如今的美国,仿制药也占据了90%以上的用药市场。 正如《仿制药的真相》书中…

【JS学习】08. web API-事件进阶

Web APIs - 第3天 进一步学习 事件进阶,实现更多交互的网页特效,结合事件流的特征优化事件执行的效率 掌握阻止事件冒泡的方法理解事件委托的实现原理 事件流 事件流是对事件执行过程的描述,了解事件的执行过程有助于加深对事件的理解&…

Spring Validation数据校检

文章目录 Spring Validation1 关于Spring Validation2 使用流程3 快速入门4 运行异常处理4.1 说明4.2 处理异常4.3 明确提示消息 5 常用注解5.1 NotNull注解5.2 NotEmpty 注解5.3 NotBlank 注解5.4 Size 注解5.5 Range 注解 6 非POJO参数校验6.1 使用流程6.2 使用示例 Spring V…

Node.js 全栈开发进阶篇

​🌈个人主页:前端青山 🔥系列专栏:node.js篇 🔖人终将被年少不可得之物困其一生 依旧青山,本期给大家带来node.js篇专栏内容:node.js- 全栈开发进阶篇 前言 大家好,我是青山。在上一篇文章中,…

实战| 使用深度学习分割和计算水体和农田面积【Pytorch附源码】

《博主简介》 小伙伴们好,我是阿旭。专注于人工智能、AIGC、python、计算机视觉相关分享研究。 👍感谢小伙伴们点赞、关注! 《------往期经典推荐------》 一、AI应用软件开发实战专栏【链接】 项目名称项目名称1.【人脸识别与管理系统开发…

虚拟机 Ubuntu 扩容

文章目录 一、Vmware 重新分配 Ubuntu 空间二、Ubuntu 扩容分区 一、Vmware 重新分配 Ubuntu 空间 先打开 Vmware ,选择要重新分配空间的虚拟机 点击 编辑虚拟机设置 ,再点击 硬盘 ,再点击 扩展 选择预计扩展的空间,然后点击 扩展…

Mybatis的高级用法

MybatisPlus 实体类注释字段 TableName(“数据库表名”) TableId(“主键名”) TableField(“字段名”) BaseMapper接口对象方法 普通查询 1、主键 T selectById(Serializable id) 使用场景为通过主…

excel表格加锁忘密码怎么解决?

百度好多方法都无效,下面方法可行: 点击sheet单元格名称,鼠标右边出现弹框选择“查看代码”: 出现的框中输入以下代码: Sub demo()// 锁定当前工作表,允许筛选操作ActiveSheet.Protect DrawingObjects:True, CONTENT…

Vue中ref、reactive、toRef、toRefs的区别

一、ref、reactive setup 函数中默认定义的变量并不是响应式的(即数据变了以后页面不会跟着变),如果想让变量变为响应式的变量,需要使用 ref 和 reactive 函数修饰变量。 ref 函数可以把基本类型变量变为响应式引用reactive 函数…

PDF全能免费转换 3.18 | 免费PDF工具集,多种转换和美化功能

PDF全能免费转换是一款主打免费好用的PDF工具集,功能丰富且实用。主要功能包括:PDF转Word/PPT/Excel/TXT/图片,PDF压缩和合并,多图合并成长图或PDF,身份证扫描、文件扫描、证件扫描,证件照换底色&#xff0…

DICOM标准:DICOM标准中的公用模块、核心模块详解(一)——病人、研究、序列、参考帧和设备模块属性详解

目录 概述 1 公用病人IE模块 1.1 病人模块 2 公用的研究IE模块 2.1 常规研究模块 2.2 病人研究模块 3 公用序列IE模块 3.1 常规序列模块 3.1.1 常规序列属性描述 4 公用参考帧信息实体模块 4.1 参考帧模块 4.1.1 参考帧属性描述 5 公用设备IE模块 5.1 常规设备模…

Webpack 配置module.css报错Uncaught TypeError: Cannot read properties of undefined

我的项目结构如下: 入口文件是index.jsx,组件Button.jsx使用了样式button.module.css .btn {background-color: #4CAF50;border: none;color: white; padding: 15px 32px;text-align: center;text-decoration: none;display: inline-block;font-size: 16px;margin:…

PyCharm中pylint安装与使用

目录 1. 安装插件2. pycharm中使用该功能3. 命令行使用 1. 安装插件 然后重启 2. pycharm中使用该功能 3. 命令行使用 前提是先 pip install pylint pylint demo01.py下面红框内容的意思是,得到10分/ 满分10分,上次运行获得8.33分,经调整…

无人机避障——大疆与Airsim中的角速度信息订阅获取

本文先将Airsim仿真中的角速度信息获取弄好,然后再将大疆SDK中的角速度话题订阅一下,并验证获取角速度信息,后续为DWA动态窗口法替代PID作为局部路径规划做足准备。 Airsim中的角速度信息获取 Airsim无人机状态获取:getMultirot…