发表于：ICLR 2023 notable top 25%（相当于spotlight)
推荐指数: #paper/⭐⭐⭐
论文链接: Task-customized Masked Autoencoder via Mixture of Cluster-conditional Experts | OpenReview
poster链接：ICLR 2023 Task-customized Masked Autoencoder via Mixture of Cluster-conditional Experts Oral

问题背景：

在不同的数据集上，比如生物数据集和无机事物数据集，用同一个网络结构可能会出现负迁移

具体的例子：对于鸟和飞机用同一个网络结构可能不太合适
解决办法：MOE

前人的工作：tokenMOE

但是这个工作会导致模型趋向于同一个专家的问题

MOCE的工作

MOCE的工作是用聚类中心作为门控机制
原始图片->预训练MAE->$F\in {\mathbb{R}}^{d\ast n}$
可学习聚类中心：$C\in {\mathbb{R}}^{d\ast m}$
分配：$A=F^{T}C$
聚类后分布：$Q\in {\mathbb{R}}^{d\ast m}$
最终：${\max }_{\mathbf{Q}}Tr\left({\mathbf{Q}}^T\mathbf{A}\right)+\epsilon H\left(\mathbf{Q}\right)s.t.\mathbf{Q}{1}_n=\frac{1}{m}{1}_m,{\mathbf{Q}}^T{1}_m=\frac{1}{n}{1}_n,$
给定C,Q可以Sinkhorn-Knopp算法来解决
给定Q,C可以通过SGD来优化

门控机制：
$$G(\mathbf{x})=TopK(\sigma (W_g\cdot C_{[\mathbf{x}]}+ϵ)),$$