当 Transformer 遇到机器人抓取时：利用上下文进行有效的抓取检测
摘要
在这篇论文中，我们提出了一个基于transformer结构的用于机器人抓取的网络，我们将其命名为TF-Grasp。TF-Grasp网络架构有两个重要的设计，这使其可以对于视觉抓取工作表现的很好。第一个就是我们使用了局部窗口注意力去捕获抓取物体中局部的上下文信息和细节特征。然后，我们应用跨窗口注意力来模拟远距离像素之间的长期依赖关系。物体信息，环境配置和不同视觉标签之间的关系被融合在了一起去进行随后的抓取检测。第二个关键点就是我们使用了一个伴随滑动连接的分等级的编码器-解码器的结构，将浅层特征从编码器传递到解码器，以实现多尺度特征融合。由于强大的注意力机制，TF-Grasp可以同时获得局部信息和模型长期连接，例如杂波中不同视觉概念之间的关系。实验证明精度很好。
关键词：抓取检测，机器人抓取，视觉transformer
一、引言
巴拉巴拉讲了个故事。
在这篇论文中，我们提出了一个基于tranformer架构的抓取检测网络，将其命名为TF-Grasp。这个网络利用了注意力可以更好地聚合整个输入序列的信息以获得改进的全局表示。更具体的来说，通过自我注意力机制独立图像中的补丁得以连接起来，并且我们框架中的编码器可以捕获这些多尺度低级特征。解码器使用通过远程空间依赖性得到的高水平的图像去构建最终的抓取姿势。我们提供的具体的根据去证明我们基于transformer架构的模型可以在主流数据集，例如Cornell，Jacquard上表现得很好。实验表明transformer在通过每个物体多个部分的局部和全局特征去形成合适的抓取姿势上很重要。此外，我们的 TF-Grasp 可以在网络的单次前向传递中生成并行夹具所需的抓取姿势。简而言之，这篇论文的贡献可以总结为以下三点：
1.这项工作为视觉机器人抓取任务提出了一种新颖的整洁的transformer架构。并且据我们所知，这是第一次将视觉转移运用到了机器人抓取工作中。
2.我们考虑局部和全局特征的同时融合，并为机器人视觉感知任务重新设计经典的ViT框架。
3.我们进行了详尽的实验，以展示基于transformer的机器人感知框架的优势。实验结果表明，与最先进的方法相比，我们的模型在流行的抓取数据集上取得了更好的性能。我们进一步表明，我们的抓取转换器可以在单个或杂乱的环境中为已知或未知的对象生成适当的抓取姿势。
二、相关工作
本节回顾了机器人抓取领域的最新进展，简要描述了transformer在不同领域的进展。
A、机器人抓取
B、Transformer
三、方法
抓取表示：自主视觉抓取任务通常从通过感官输入收集物体的视觉图像开始，然后对其进行处理以生成有效的抓取配置，以最大化抓取成功的概率。考虑一个平行板夹持器，抓取表示g被表述为一个5维元组。
最终继续转化，将其变为二维空间。
相应地，TF-Grasp架构的抓取检测任务最终归结为三个子任务。即分别预测抓取位置，抓取角度和抓取宽度。Grasp Transformer Overview:这项工作的一个深刻动机是处理复杂场景下的机器人感知，动态的机器人工作应该能够相互融合全局的和局部的信息。特别地，抓取模型应该能够以一种编码器解码器的U型结构表示出来，详情请看图1。 
编码器分支融合了整个视觉输入，相应地使用注意力模块去融合的。然后提取了对机器人视觉抓取有用的信息。在解码器过程中，模型通过跳跃连接融合了特征，并且通过上采样执行像素级抓取预测。更具体地说，解码器中的注意力模块能够更全面地处理局部和远程信息，从而实现更好的多尺度特征融合。预测热图中的每个像素都与末端执行器的最终位置和方向相关。
为了弥合transformer与视觉机器人抓取任务之间的领域差距，我们在接下来的方面精心设计了我们的抓取变压器，以改进抓取检测。
a：级联设计。不同于之前的ViT结构，我们采用了一种级联的解码器编码器结构。编码器使用子注意力机制去学习促进抓取的上下文信息，解码器充分运用提取出来的特征来形成像素级别的抓取预测。
b：局部和全局的特征平衡。为了实现更好的场景感知我们使用了一个滑动的特征层来实现局部和全局的信息平衡。窗口注意执行局部特征提取，移位窗口注意允许交叉窗口的交互去集中于多样的区域。
c：特征融合。不同阶段的特征表示通过跳跃连接进行多尺度特征融合，从而获取了丰富的语义和细节特征。
d：轻量级设计。对于机器人来说，效率是非常重要的。我们利用移位注意块和抓取transformer的瘦身设计，以达到性能和速度之间的理想权衡。
***解码器：***在被送入编码器之前，图像首先通过补丁分区层，然后切割成不重叠的补丁。每个补丁都被视为文本中的一个词标记。例如，一个2D的图像I ∈ R（W ×H×C）被划分成x ∈ R【N ×(P ×P ×C)】。(H,W)代表了起初图像的高度和宽度，C代表了图像的通道数。P代表了每个补丁的尺寸大小，最终N = H*W/P/P。然后可以通过将图像块传递到投影层来获得基于令牌的表示。
编码器由相同的transformer块叠加而成。transformer块中的注意力在远距离像素之间建立长距离交互，并关注嵌入空间中的这些位置。在编码器的顶部是一个附加到解码器的瓶颈块。我们的抓取transformer框架的基本元素是多头自我注意。对输入特征X进行线性变换，得到query Q、key K和value V，定义如下：
其中 WQ、WK、WV 是线性投影矩阵。接下来，我们通过使用点积来计算查询和键之间的相似度，
其中 √d 是比例因子，B 是可学习的相对位置编码。自注意力的计算复杂度相对于图像大小呈二次增长。为了实现计算效率，我们利用 CNN 和 Transformer 的优点，在我们的框架中采用 swin-transformer 块 [8]。swin-transformer 层由两部分组成：局部注意力和全局注意力。在局部注意中，自我注意的计算仅限于图像补丁被划分为非重叠局部窗口的局部区域。跨窗口注意力通过滑动非重叠窗口引入邻居之间的连接。swin-transformer 块的结构如图 2 所示，它由 MLP、Layer Norm、基于窗口的 MSA 和移位窗口 MSA 组成。
swin-transformer块的计算过程表示如下：
其中 W-MSA 和 SW-MSA 分别指局部窗口和全局移位窗口多头自注意力。xl−1 表示前一层的输出特征。然后，特征将被发送到窗口注意力 W-MSA。MLP 和注意力层之前都有一个layer norm，残差连接应用于这些模块。在每两个swin transformer 块之间，存在一个补丁合并操作，降低了特征映射的分辨率。补丁合并层通过逐步合并连续transformer层之间的连续相邻补丁来构建分层表示。
解码器：解码器生成一个可执行抓取配置，允许末端执行器移动到相应的位置。我们将平面抓取检测问题转换为像素级预测。三个抓取头并联安装在解码器的顶部，包括Q，θ和W。每个头部的输出是与输入视觉图像相同大小的热图。我们将抓取姿态估计视为一个回归问题，并使用我们的 Transformer 模型，通过最小化预测的抓取热图 ̃G (Q, W, Θ) 与真实值之间的距离来学习一个映射 F：I → ̃G，其中 I 是输入数据。损失函数的定义如下：
N 是样本大小的数量，Li 是对应的标签。
最终抓取位置是通过检索抓取质量热图具有最高抓取置信度的位置，定义为
其中 Q 是抓取置信度图。然后，我们从角度和宽度热图中提取相应位置的预测角度θ和角度w。
在我们的抓取检测解码器中，我们还采用了 swin transformer块来降低计算复杂度。Swin注意力聚合多尺度特征并构建分层表示。跳过连接层合并在这些不同阶段的学习特征，以便进一步融合以产生更好的抓取姿势。与 U-net [19] 类似，跳过连接是通过将编码器第 i 层的特征直接连接到解码器中的第 i 层来实现的。在解码阶段，按照补丁扩展层，将连接的特征作为下一个注意块阶段的输入。同时，我们可以学习融合特征之间的关系，其中编码器中的特征可以用作查询和键，以与解码器中的对应特征进行交互以进行自注意力计算。
我们的像素级抓取表示的一个优点是只需要一次前向传播来获得全局视觉场景中的最佳抓取姿势，避免了生成多个抓取候选者并节省计算开销。
四、实验
在本节中，我们进行了广泛的实验来验证所提出的 TF-Grasp 方法的性能。我们在两个主流的数据集上验证了它的性能并且在真实机器人臂上对其做了评估。
本节的目标是回答以下问题：
1.基于transformer的抓取检测模型是否优于基于cnn的模型?
2.如果为真，是什么使得基于transformer的抓取检测模型优于其他模型。
A.数据集和实验设置
Cornell 抓取数据 [14] 是一个包含 885 张图像的多对象数据集。每个图像的分辨率为640 × 480。整个数据集相对较小，我们使用各种数据增强技术，如旋转、缩放和随机裁剪，以避免过拟合。然后，我们验证了 TF-Grasp 在 Jacquard 数据集 [21] 上的性能，该数据集是通过 CAD 模型在模拟器中生成。Jacquard 数据集相当大，包含超过 50 k 个对象类别的图像，有超过 100 万个带注释的抓取标签。
评估标准：角度小于三十度，iou（Jaccard index）大于0.25。
TF-Grasp以224 × 224图像作为输入，输出三个分辨率与输入相同的像素级映射。输入通过减去其平均值并除以标准偏差进行归一化。我们遵循常见的策略来训练抓取transformer抓取。编码器和解码器都包含四个 swinattention 块，每个块由 1, 2, 4, 8 个注意力头组成。窗口大小为7。在每个训练步骤中，从训练集中随机抽取一批样本，我们使用ground truth作为目标值来训练我们的神经网络。。。。
B.实验结果和分析
C.可视化分析
D.消融实验
E.真实世界物体的抓取
五、讨论和结果
在这项工作中，我们开发了一种新的视觉抓取架构。尽管CNN及其变体仍然是视觉机器人抓取的主要模型，但我们展示了transformer在抓取检测方面的强大潜力。与基于 CNN 的对应模型相比，基于transformer的抓取检测模型更好地捕获全局依赖关系并学习强大的特征表示。结果表明，我们提出的方法优于原始的基于 CNN 的模型。上下文可以通过注意力传播更好地表示。然而，目前的方法仅限于平行夹持器。未来的研究将集中于开发一种通用的基于变压器的抓取检测方法，用于其他类型的夹持器，如五指灵巧手。
六、总结
先把transformer弄懂，研究它编码器解码器
