申请/专利权人：河南大学

申请日：2020-12-03

公开（公告）日：2022-09-23

公开（公告）号：CN112329800B

主分类号：G06V10/46

分类号：G06V10/46;G06V10/82;G06N3/04;G06T3/40

优先权：

专利状态码：有效-授权

法律状态：2022.09.23#授权;2021.02.26#实质审查的生效;2021.02.05#公开

摘要：本发明提供了一种基于全局信息引导残差注意力的显著性目标检测方法，通过将图像输入到主干网络提取特征；设计全局信息互补模块获取丰富的全局信息并引导整体网络；通过多尺度并行卷积提取多尺度信息；通过特征融合模块融合全局信息和多尺度信息；通过残差注意力模块增强显著性目标特征，经过多级监督最终输出显著性结果。本发明不仅能够从ResNet‑50主干网络提取图像特征，并且提出的全局信息互补模块能够将主干网络中低层次细节信息与高层次丰富语义信息融合到一起，且设计的残差注意力模块能够将图像特征中更大的权重集中在前景显著性区域中，过滤掉无用的背景信息，与现有的显著性检测方法相比具有良好的性能。

主权项：1.一种基于全局信息引导残差注意力的显著性目标检测方法，其特征在于，包括：步骤1、基于跨层连接方式的U-Net网络，首先将图像输入到ResNet-50主干网络中并提取出五个阶段的图像特征，分别为Res1、Res2、Res3、Res4和Res5；步骤2、将Res2与Res5的特征输入到全局信息互补模块中并获取丰富的全局信息；将ResNet-50中三个卷积块生成的特征图Res2、Res3和Res4通过多尺度并行卷积模块提取多尺度特征信息；再将全局信息互补模块生成的全局信息和多尺度并行卷积模块生成的多尺度特征信息通过特征融合模块进行融合；步骤3、将全局信息互补模块生成的一个特征图和融合模块生成的三个特征图分别输入到残差注意力模块中，并生成三个层级的显著性特征图，经过多级监督最终输出显著性结果，具体包括：构建三个融合模块，融合模块的输入分别为来自上一层输出的高级特征由多尺度并行卷积模块生成的多尺度信息的特征和由全局信息互补模块生成的高低层融合互补特征fg；残差注意力模块对全局信息互补模块生成的一个特征图和融合模块生成的三个特征图和进行处理；全局信息互补模块分为多尺度融合和通道注意力融合两部分，多尺度融合是将Res2和Res5这两个不同尺度的输出特征在空间维度上进行融合，多尺度融合后再进行通道注意力融合；多尺度融合过程使用步长为2、卷积核大小为3×3的卷积层将第二层Res2输出特征进行下采样，同时采用双线性插值方法将Res5的输出特征进行上采样，使得两个特征在进行处理后尺度大小相同，再在通道维度上进行合并，公式如下Uc＝downδTransC2；θ；C0+upδTransC5；θ；C0其中，Trans*；θ是参数θ的卷积层，其目的是改变特征的通道数，δ表示Relu激活函数，down表示下采样操作，其目的是将样本*下采样到与C0相同的大小，up是双线性插值运算，其目的是将样本*上采样到与C0相同的大小，其中C0大小为64×64；通道注意力融合过程是先通过全局平均池化操作将融合后的特征提取出包含各通道全局信息的全局特征向量，全局特征向量包含了所有通道的全局信息，然后利用两个全连接操作对全局池化层得到的特征向量进行缩放，在每个全连接层后面分别加入了Relu运算和sigmoid运算，再将两个全连接操作得到的权重与输入的特征进行相乘连接，然后将得到的结果下采样到与编码过程最高层特征图尺度大小一样的特征，得到整个融合互补模块的输出特征fg，公式如下 Us＝δω1σω2gfg＝downFscaleUc,Us；C5其中，W、H和C分别为特征图的长、宽和通道数，fc为特征图中每个格点的值，ω1和ω2为全连接层的权重，δ为Relu激活函数，σ为sigmoid操作，down*；C5下采样操作，其目的是将样本*下采样到与Res5特征相同的大小，Fscale表示相乘运算。

全文数据：

权利要求：

百度查询： 河南大学 一种基于全局信息引导残差注意力的显著性目标检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD