EMT-LTR--学习任务间关系的多目标多任务优化

EMT-LTR–学习任务间关系的多目标多任务优化

title: Learning Task Relationships in Evolutionary Multitasking for Multiobjective Continuous Optimization

author: Zefeng Chen, Yuren Zhou, Xiaoyu He, and Jun Zhang.

journal: IEEE TRANSACTIONS ON CYBERNETICS (TCYB)

DOI:10.1109/TCYB.2020.3029176

code: GitHub - youle921/MultiTask

1.主要贡献:

​ 1)提出了一种学习任务间关系的多目标多任务优化算法(EMT-LTR);

​ 2)采用领域自适应技术将每个任务的决策空间视为一个流形,并将不同任务的所有决策空间联合建模为一个联合流形。

​ 3)将联合流形投影到隐层空间,同时保留所有任务的必要特征和每个流形的拓扑结构。

​ 4)任务关系表示为由多个映射函数组成的联合映射矩阵,学习到的任务关系用于进化过程中不同决策空间之间的信息传递。

2.问题提出:

​ 1)在MTO领域,利用任务间关系的研究很少。

​ 2)当任务数量特别多时,现有的研究通过学习任意两个任务间的映射关系的方式会很复杂。

​ 因此,如何联合建模所有任务之间的关系(而不仅仅是两个任务之间的关系)并有效地利用这些关系,是文章的研究目标。

3.EMT-LTR:

3.1 算法框架

​ 1)对于给定的 K K K个任务 T 1 , T 2 , . . . , T K T_1,T_2,...,T_K T1,T2,...,TK,设置采样集 S 1 , S 2 , . . . , S K S_1,S_2,...,S_K S1,S2,...,SK

​ 2)对这些采样集进行LTR,得到联合映射矩阵 M M M(不同任务间关系),它包含K个映射函数和一个隐层空间。

​ 3)接下来EMT-LTR的步骤跟MO-MFEA相同,不同的是MOMFEA是发生在统一搜索空间中,而EMT-LTR则是隐层空间。

​ 注意:在每一代中,从采样集中学习到的任务关系被用于子代产生和评估阶段,使用下一代种群的个体更新采样集。知识迁移是通过将来自其他任务的精英个体注入到当前任务或交配。

image-20240918091520810 image-20240918091631518

3.2 学习任务间关系(LTR)

​ LTR的总体想法:使用 K K K个采样集 S 1 , S 2 , . . . , S K S_1,S_2,...,S_K S1,S2,...,SK来学习 K K K个优化任务 T 1 , T 2 , . . . , T K T_1,T_2,...,T_K T1,T2,...,TK间的关系。先根据Pareto支配关系与不同目标函数之和两个准则将每个采样集 S k , k = 1 , 2 , . . . , K S_k,k=1,2,...,K Sk,k=1,2,...,K都分成如下四类(此处的分类方式并不唯一)。第一类:前50%非支配解;第二类:后50%非支配解;第三类:前50%支配解;第四类:后50%支配解。

​ 为了更真实地反映这些任务之间地关系,所构造地映射函数应该满足如下几个重要地属性:1)同一类样本点映射到隐层空间的相似位置;2)不同类样本点映射到隐层空间的不同位置且容易区分;3)每个样本集的拓扑结构也需要保留在隐层空间中。

​ 文章使用拉普拉斯矩阵来表示每一个流形(公式3和6),并以此来反映属性1和2;对于属性3,则使用了降维后的联合流形(公式11);并设计了一个包含三个子函数的损失函数。具体细节请查阅原文,LTR的算法伪代码如下所示。

image-20240918091822532

3.3 知识迁移

1)任务间的表示转换:

​ 如下图所示,假设 Ω a , Ω b \Omega_a,\Omega_b Ωa,Ωb是任务 T a , T b T_a,T_b Ta,Tb的决策空间,通过LTR构建映射函数 M a , M b M_a,M_b Ma,Mb。然后,从决策空间到隐层空间的映射可以通过如下规则执行:

X i ∈ Ω a X^i\in \Omega_a XiΩa在隐层空间的表示为 M a T X i M^T_aX^i MaTXi X j ∈ Ω b X^j\in \Omega_b XjΩb在隐层空间的表示为 M b T X j M^T_bX^j MbTXj.

​ 从隐层空间到决策空间的映射可以通过如下规则执行:

X i ∈ Ω a X^i\in \Omega_a XiΩa在隐层空间的表示为 ( M a M b + ) T X i {(M_aM_b^+)}^TX^i (MaMb+)TXi X j ∈ Ω b X^j\in \Omega_b XjΩb在隐层空间的表示为 ( M b M a + ) T X j {(M_bM_a^+)}^TX^j (MbMa+)TXj.

image-20240918153306758

2)任务间知识迁移:首先,从 T a T_a Ta的当前种群中选择一个非支配个体(位于 Ω a \Omega_a Ωa中);然后,通过上述的任务间转换将这个个体转换到 Ω b \Omega_b Ωb中。

​ 注意:从任务 T a T_a Ta中得到的这个转换个体可以注入到任务 T b T_b Tb中,也可以与 T b T_b Tb中的个体进行交配。

3.4 采样集更新

​ 1)预设定一个更新周期 u p up up来表示采样集更新的频率。

​ 2)当更新周期满足时,将任务 T k T_k Tk中通过环境选择保存到下一代种群的个体放入采样集 S k S_k Sk中。如果这些个体不足以填满 S k S_k Sk,则从之前的采样集 S k S_k Sk中随机选择个体补充到 S k S_k Sk中;如果这些个体数目超过了 S k S_k Sk,则随机删除某些个体直到 S k S_k Sk的大小为 S N k SN_k SNk.

4.思考

1)相比于其他直接使用领域自适应的MTO算法,EMT-LTR中提出了将所有任务的决策空间映射到隐层空间,并保留所有任务的必要特征和拓扑结构。假设我们可以通过某种方式找到相似任务,那么EMT-LTR则可以通过所建立的联合流形解决该迁移哪些个体的问题。

2)根据信息论的基础知识我们可以得到,领域自适应方式在映射的过程中会对原始任务造成一些信息损失,如何在保证映射的前提下,减少信息损失也是我们要考虑的一个问题,不仅是多任务优化领域,也包括迁移学习领域。而EMT-LTR则考虑了每个任务的必要特征和拓扑结构等信息,在一定程度上考虑到了映射后的信息损失。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/147506.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

银河麒麟V10系统崩溃后的处理

银河麒麟V10系统崩溃后的处理 💖The Begin💖点点关注,收藏不迷路💖 当银河麒麟桌面操作系统V10崩溃无法启动时,直接使用备份还原工具不可行。此时,应采取以下步骤: 进入救援模式或LiveCD&#x…

攻防世界---->Windows_Reverse1

学习笔记。 前言:不会,代码越简洁,越难受 T ^ T 下载 查壳。 UPX脱壳。 此题脱壳后的程序,是不能运行的。 网上wp,说是因为作者采用了ASLR(地址随机化) 解决方法:一:用XP运行调试。 方法二&a…

0基础跟德姆(dom)一起学AI 数据处理和统计分析05-Pandas数分入门

* DataFrame读写文件 * DataFrame加载部分数据 * DataFrame分组聚合计算 * DataFrame常用排序方式 * DataFrame案例-链家数据分析 --- 1.DataFrame-保存数据到文件 * 格式 python df对象.to_数据格式(路径) # 例如: df.to_csv(data/abc.csv) * 代码演示 > 如…

Deepin man 没有关于printf 的手册页条目

问题 man 3 printf:在第 3 节中没有关于 printf 的手册页条目。 解决方法:安装manpages发开库。 搜索包 apt search manpages安装 sudo apt install manpages-dev若没有manpages-dev,安装manpages-posix-dev,应该也可以&#x…

【成品论文】2024年华为杯研赛E题25页高质量成品论文(后续会更新

您的点赞收藏是我继续更新的最大动力! 一定要点击如下的卡片链接,那是获取资料的入口! 点击链接加入【2024华为杯研赛资料汇总】:https://qm.qq.com/q/Mxv2XNWxUc https://qm.qq.com/q/Mxv2XNWxUc 高速公路应急车道紧急启用模型…

深度学习02-pytorch-03-张量的数值计算

张量(Tensor)是多维数组的通用化概念,它可以表示标量(0维)、向量(1维)、矩阵(2维)以及更高维度的数据。在深度学习和数值计算中,张量是基础数据结构&#xff…

基于python的api扫描器系统的设计与实现

💗博主介绍💗:✌在职Java研发工程师、专注于程序设计、源码分享、技术交流、专注于Java技术领域和毕业设计✌ 温馨提示:文末有 CSDN 平台官方提供的老师 Wechat / QQ 名片 :) Java精品实战案例《700套》 2025最新毕业设计选题推荐…

MySQL练手题--周内每天销售情况(困难)

一、准备工作 Create table If Not Exists Orders (order_id int, customer_id int, order_date date, item_id varchar(30), quantity int); Create table If Not Exists Items (item_id varchar(30), item_name varchar(30), item_category varchar(30)); Truncate table Or…

【软件文档】软件项目试运行方案(word实际套用2024)

软件项目试运行方案(Word原件参考) 一、试运行目的 二、试运行的准备 三、试运行时间 四、试运行制度 五、试运行具体内容与要求 软件全套资料部分文档清单: 工作安排任务书,可行性分析报告,立项申请审批表&#xff0c…

python画图1

import matplotlib.pyplot as pltplt.rcParams["font.sans-serif"] ["SimHei"]# 模拟数据 years [2016, 2017, 2018, 2019, 2020, 2021, 2022] market_size [7950, 8931, 9940, 11205, 12305, 13199, 14980] my_color #3e9df5plt.plot(years, market_s…

《他们的奇妙时光》圆满收官,葛秋谷新型霸总获好评

9月21日,由王枫、张开法执导,周洁琼、葛秋谷领衔主演的奇幻爱情题材都市喜剧《他们的奇妙时光》圆满收官。该剧讲述了意外被游戏角色刑天附体的设计师宋灵灵,为修复游戏漏洞,被迫与能压制刑天的甲方总裁萧然同居,两人在…

局域网设备自动发现常用方法

文章目录 需求实现方法ARP (Address Resolution Protocol)Ping ip的流程抓包如下代码实现 mDNS 对比测试Avahi 介绍Avahi 安装Avahi 使用测试代码 需求 局域网设备自动发现是软件开发中的一个常见且重要的需求,它简化了设备间的协作机制,降低了软件各模…

MySQL内存(Buffer Pool)

Buffer Pool MySQL 的数据存在磁盘,但是不能每次读取数据都从磁盘里去,这样磁盘IO太频繁,存在性能问题。 InnoDB设计了一个缓存池(Buffer Pool),缓冲池在内存中。 默认配置Buffer Pool大小为128MB&#xf…

Trapezoidal Decomposition梯形分解算法(TCD)

系列文章目录 提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加 TODO:写完再整理 文章目录 系列文章目录前言Trapezoidal Decomposition梯形分解算法(TCD)原理(1)第一种原理(2…

DataX实战:从MongoDB到MySQL的数据迁移--修改源码并测试打包

在现代数据驱动的业务环境中,数据迁移和集成是常见的需求。DataX,作为阿里云开源的数据集成工具,提供了强大的数据同步能力,支持多种数据源和目标端。本文将介绍如何使用DataX将数据从MongoDB迁移到MySQL。 环境准备 安装MongoDB…

智慧医院人工智能应用场景 | 智能导诊系统源码

近年来,智能医疗在国内外的发展热度不断提升。图像识别、深度学习、神经网络、大模型、语音等关键技术的突破带来了人工智能技术新一轮的发展。 场景一:智能机器人 医疗机器人是指能够在医疗领域执行特定任务或功能的机器人,包括手术机器人、…

【LLaMa2入门】从零开始训练LLaMa2

目录 1 背景2 搭建环境2.1 硬件配置2.2 搭建虚拟环境2.2.1 创建虚拟环境2.2.2 安装所需的库 3 准备工作3.1 下载GitHub代码3.2 下载模型3.3 数据处理3.3.1 下载数据3.3.2 数据集tokenize预处理 4 训练4.1 修改配置4.2 开始训练4.3 多机多卡训练 5 模型推理5.1 编译5.1.1 安装gc…

Java算法专栏

专栏导读 在当今这个技术日新月异的时代,Java算法作为软件开发的核心,对于提升程序性能和解决复杂问题至关重要。本“Java算法”专栏旨在帮助读者深入理解Java编程语言中的算法原理和应用,通过实战案例和深入分析,使读者能够掌握…

软媒市场新探索:软文媒体自助发布,开启自助发稿新篇章

在繁华喧嚣的软媒市场中,每一个声音都在竭力呼喊,每一个品牌都在奋力展现。而软文,作为一种温柔而坚韧的营销力量,正逐渐崭露头角。特别是软文媒体自助发布平台的出现,更是为企业提供了一个全新的、高效的自助发稿渠道。 软媒市场自助发布平台,正如其名,是一个让企业能够自主发…

【LeetCode】每日一题 2024_9_21 边积分最高的节点(哈希)

前言 每天和你一起刷 LeetCode 每日一题~ LeetCode 启动! 题目:边积分最高的节点 代码与解题思路 func edgeScore(edges []int) (ans int) {// 直接维护哈希最大值即可mp : map[int]int{}for i, v : range edges {mp[v] i// 如果多个节点的 边积分 相…