有趣的地方

有趣的地方

即插即用篇 | RFAConv:创新空间注意力和标准卷积操作 | YOLO全系列涨点!值得一看

在这里插入图片描述

空间注意力已被广泛用于提升卷积神经网络的性能。然而,它存在一定的局限性。在本文中,我们提出了一个关于空间注意力有效性的新视角,即空间注意力机制本质上解决了卷积核参数共享的问题。然而,由空间注意力生成的注意力图对于大尺寸卷积核来说所包含的信息并不充分。因此,我们提出了一种名为感受野注意力(Receptive-Field Attention, RFA)的新型注意力机制。现有的空间注意力,如卷积块注意力模块(Convolutional Block Attention Module, CBAM)和协调注意力(Coordinated Attention, CA)仅关注空间特征,这并没有完全解决卷积核参数共享的问题。相比之下,RFA不仅关注感受野空间特征,还为大尺寸卷积核提供有效的注意力权重。由RFA开发的感受野注意力卷积操作(RFAConv)代表了一种替代标准卷积操作的新方法。它在计算成本和参数上的增加几乎可以忽略不计,同时显著提高了网络性能。我们在ImageNet-1k、COCO和VOC数据集上进行了一系列实验,以证明我们方法的优越性。特别重要的是,我们认为现在是时候从空间特征转移到感受野空间特征,以用于当前的空间注意力机制。通过这种方式,我们可以进一步提升网络性能,取得更好的结果。

论文地址:https://arxiv.org/pdf/2304.03198.pdf
代码地址࿱

发表评论:

Powered By Z-BlogPHP 1.7.3

© 2018-2020 有趣的地方 粤ICP备18140861号-1 网站地图