申请/专利权人：中南大学

申请日：2022-06-02

公开（公告）日：2024-04-26

公开（公告）号：CN114937154B

主分类号：G06V10/46

分类号：G06V10/46;G06V10/44;G06V10/20;G06V10/80;G06V10/82;G06N3/045;G06N3/044;G06N3/0464;G06N3/084;G06N3/0985

优先权：

专利状态码：有效-授权

法律状态：2024.04.26#授权;2022.09.09#实质审查的生效;2022.08.23#公开

摘要：本发明公开了一种基于递归解码器的显著性检测方法，主要解决现有技术显著性检测结果准确率低，显著性主体判断错误与边缘模糊的问题。其实施方案为：1获取数据集与检测标签；2构建检测模型；3构建损失函数；4训练检测模型；5推理并获得检测结果。本发明构建的显著性检测模型，通过多次全尺度特征融合与边缘强化，实现了多尺度特征的充分利用与解码结果的细节补充，有效提升了显著性检测结果的准确率，避免了检测结果中显著性主体判断错误的发生，解决了解码结果存在边缘模糊的问题。

主权项：1.一种基于递归解码器的显著性检测方法，其特征在于包括以下步骤：1获取数据集与检测标签：获取显著性检测公开数据集及对应的检测标签；2构建检测模型，该模型由特征提取器、递归解码器RD-1和RD-2、边缘强化模块ER-1和ER-2、整体注意力模块HA构成，具体构建过程包括以下步骤：2-a构建特征提取器，以ResNet-50作为特征提取器的基础网络；所构建的特征提取器共分五层：第一层，即Res1，由单层卷积模块构成；第二层，即Res2，由一个池化层和三层残差模块构成；第三层，即Res3，由四层残差模块构成；第四层包括Res4-1和Res4-2，二者拥有相同的结构，都由六层残差模块构成，第五层包括Res5-1和Res5-2，二者也拥有相同的结构，都由三层残差模块构成；第四层和第五层为双分支结构，其中第四层的Res4-1和第五层的Res5-1串联构成第一个分支，第四层的Res4-2和第五层的Res5-2串联构成第二个分支；输入图像经过Res1处理，获得三维特征图f1_1、f1_2和f1_3，且f1_1＝f1_2＝f1_3；f1_3输入Res2获得三维特征图f2_1、f2_2和f2_3，且f2_1＝f2_2＝f2_3；f2_3输入Res3获得三维特征图f3_1、f3_2和f3_3，且f3_1＝f3_2＝f3_3；f3_3依次经过第一个分支的Res4-1和Res5-1处理后分别获得三维特征图f4_1和f5_1；f3_3与整体注意力模块HA的输出结果通过逐像素相乘实现加权，加权结果依次经过第二个分支的Res4-2和Res5-2处理后分别获得三维特征图f4_2和f5_2；HA由单层卷积构成，它以递归解码器RD-1的输出结果作为输入；2-b构建递归解码器RD-n，该解码器由长依赖模块LRDM、感受野模块RFB、子解码器1、子解码器2、子解码器3和卷积模块Conv2构成；将步骤2-a获取的特征图f2_n、f3_n、f4_n和f5_n分别作为递归解码器RD-n的输入1、输入2、输入3和输入4，n＝1,2；fi_n依次经过LRDM与RFB处理后得到其中i＝2,3,4,5；将和作为子解码器1的输入，得到输出结果mask1_n，将mask1_n和作为子解码器2的输入，得到输出结果mask2_n，将mask2_n和作为子解码器3的输入，得到输出结果mask3_n，将mask3_n作为卷积模块Conv2的输入，得到粗特征图mapn，即为递归解码器RD-n的输出结果；该步骤中的长依赖模块LRDM和子解码器分别构建如下：2-b-1构建长依赖模块LRDM；以步骤2-a获得的特征图fi_n作为输入，经该模块的通道维度自适应均值池化层处理并进行特征展开后，获得一维特征，将一维特征输入全连接层后，经过激活函数与特征逆展开处理，再与特征图fi_n进行逐像素相乘操作，得到LRDM的输出；其中i＝2,3,4,5，n＝1,2；2-b-2构建子解码器，三个子解码器都具有相同的结构，由递归池化模块RP、递归上采样模块RU、上采样模块Up、通道注意力模块CA、卷积模块Conv1和拼接层构成；其中递归池化模块RP由池化层、卷积层和激活层构成，递归上采样模块RU由上采样层、卷积层和激活层构成；在子解码器1、2、3中，分别以直接输入到拼接层的特征为基准特征，RP和RU分别对来自RFB的输入特征进行以基准特征尺寸为参考的尺度归一化；归一化后的特征与基准特征拼接后，再与上采样模块Up的输出结果通过逐像素相乘运算实现加权，加权结果依次输入CA和Conv1后，得到子解码器的输出；子解码器1中RP的输入为与RU和Up的输入都为子解码器2中RP的输入为RU的输入为与Up的输入为子解码器1的输出；子解码器3中RP的输入为零，RU的输入为与Up的输入为子解码器2的输出；2-c构建边缘强化模块ER-n，该模块由卷积块1和卷积块2构成，其中卷积块1由三层残差模块构成，卷积块2由五层卷积构成；将步骤2-a得到的特征图f1_n经卷积块1处理后，与步骤2-b得到的粗特征图mapn进行逐像素相加，再经卷积块2处理后，得到显著性检测图，其中n＝1,2；3构建损失函数：构建如下混合损失函数Lmix：Lmix＝LBCE+LMSSIM+LDice其中LBCE为二元交叉熵损失，LMSSIM为平均结构相似性损失，LDice为Dice损失，分别定义如下： 其中P表示预测图，Gt表示标签图，二者尺寸相同，H表示图的高，W表示图的宽，Pi，j和Gti,j分别表示P和Gt中i，j点的像素值，且Pi，j∈0，1，Gti,j为整数且Gti,j∈[0，1]，log表示求自然对数，表示逐像素相加操作，表示逐像素相乘操作，C1与C2为实数常量，且C1、C2∈0，0.1；M表示将标签图Gt以及对应的预测图P划分成子图对的个数，为预测图P第k个子图的均值，为标签图Gt第k个子图的均值，为预测图P第k个子图的方差，为标签图Gt第k个子图的方差，为预测图P的第k个子图和标签图Gt的第k个子图之间的协方差；|·|表示求取图像中所有像素的和；对模型的两个分支的显著性检测图分别计算混合损失函数，以这两个混合损失函数之和作为模型的总损失函数，定义如下：Ltotal＝Lmix-1+Lmix-2其中，Lmix-1和Lmix-2分别表示第一和第二分支的显著性检测图与标签之间的混合损失，Ltotal表示模型的总损失函数；4训练检测模型：利用步骤1得到的数据集训练步骤2构建的检测模型，模型中的特征提取器使用预训练模型进行参数初始化；使用混合损失函数Lmix-1和Lmix-2分别衡量第一和第二分支的显著性检测图与标签之间的相似性；训练过程中使用Adam算法更新模型参数，并通过L-2正则化作为约束，直到损失值不再下降，得到训练好的显著性检测模型；5推理并获得检测结果：将测试图像经过归一化处理之后，输入至训练好的显著性检测模型，该模型第二分支得到的显著性检测图即为最终的显著性检测结果。

全文数据：

权利要求：

百度查询： 中南大学 一种基于递归解码器的显著性检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD