LoFTR: Detector-Free Local Feature Matching with Transformers

Loftr特征点匹配算法与传统的特征点匹配算法的优势：

整体流程的核心就是Transform了下面是整个算法的一个核心的流程图

在这里插入图片描述

这里就完全和Transform定义与特征点匹配相互对应起来了对于经过特征提取的两个Feature map A和B来我们把A中的点定义为q B中的点定义为k它们之间做注意力机制，也就是我们常见的cross attention交叉注意力机制。
同时我们需要去匹配的A特征图，要在自己的像素之间做一个self-attention的机制使其具有一个全局的感受野避免匹配的重复性。

在这里插入图片描述

我们首先要先将这个特征图拉长也就是我们的Transform要求输入的应该是一个token序列。然后进行位置编码，传统的匹配中更多的考虑的是特征关系而去忽略了位置上的关系。所以这里要进行位置编码。

这里就对于的第一块，两张图像分别展开成序列，同时分别加上位置编码。也就是粗级局部特征变换

为什么要按照这种方式来设计呢？个人的理解是第一次先做自注意力是为了获取全局的信息，之后我们在做交叉注意力进行匹配，重复的做自注意力是为了告诉后面的特征点已匹配的部分信息，避免重复的匹配。所以按照这个顺序匹配了6次

在这里插入图片描述

在这里插入图片描述

我们按照这种方式进行计算之后原来的A和B特征和背景比较相似的点，之后就可加入了位置信息，之前无法进行确认配对的 A A’ B B’点就可以根据位置的信息完成配对了

在这里插入图片描述

位置关系和自身特征更明确(CNN后结果类似，但transformer后鲜明了)

这里我们经过Transform之后就得到了输出的特征向量或者说是嵌入的token向量，之后要考虑的就是匹配的问题了。

根据上一步，我们多次的Attention后我们已经得到了两个图重构后的特征向量信息了。

$\mathcal{P}_{c}(i, j)=\operatorname{softmax}(\mathcal{S}(i, \cdot))_{j} \cdot \operatorname{softmax}(\mathcal{S}(\cdot, j))_{i} .$

在这里插入图片描述

这里的粗粒度的匹配完成的并不是像素点到像素点的匹配而是位置到位置的一个匹配原因在4800个点并非是整个图像区域内的所有的点而是提取过特征信息之后的点。

得到计算的关系之后我们如何的进行匹配呢？

现在我们完成的是粗粒度的匹配，也就是说经过Transform之后完成的实际上是区域之间的匹配问题。但是区域之间的点的匹配会存在一定的偏差。

在上一步的基础上继续调整，咱们就叫它Coarse-to-Fine（一个通用的解决方案。）这一部分细粒度的匹配过程是比较绕的

在细粒度的匹配过程中又用到了Transform了在粗粒度匹配完成的基础上再去走细粒度的点。

先将我们的特征图来进行拆解。每个特征是128的特征向量来表示。假设我们粗粒度输出的区域是5 x 5的一个区域就会得到128 x 5 x 5 =3200个特征
之前我们提到了粗粒度的匹配生成的是4800x4800的一个关系矩阵。所以最后得到的一个结果就是4800 x 3200的一个结果。4800是长条的个数，3200是特征的个数
转换维度得到：480025128，也就是每个长条块是由25个点组成的

实际上：例如筛选后得到4800个点里面只有142个是相互匹配的142x25x128这样一个矩阵。对这142个已经匹配的区域，再做实际点的微调，也就是25个点再最匹配的

相当于一个区域由25个点组成，咱们要再这个区域里找到最准确的点位置

在这里插入图片描述
在细粒度中，我们针对25个位置还要走Self Attention和Cross Attention

transformer过后，只是把各个点的特征进行了重构那接下来如何进行微调呢？
现在我们要算这25个点与其中心点的关系，相当于我要以中心点为圆心，算周围点跟它的概率关系，这样会得到一个热度图例如最后输出了14255的一个概率图，相当于哪块跟中心点关系紧密
相当于这25个点都会对最终结果产生影响，我们算其期望：142*2(实际位置）

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.xdnf.cn/news/16972.html

如若内容造成侵权/违法违规/事实不符，请联系一条长河网进行投诉反馈，一经查实，立即删除！