申请/专利权人：湖南信控摩尔科技有限公司

申请日：2022-06-02

公开（公告）日：2024-05-10

公开（公告）号：CN114898194B

主分类号：G06V10/82

分类号：G06V10/82;G06V10/26;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.05.10#授权;2022.08.30#实质审查的生效;2022.08.12#公开

摘要：本发明公开了一种基于边缘强化的显著性检测方法，主要解决现有技术显著性检测结果准确率低、显著性主体判断错误与边缘模糊的问题。其实施方案为：1获取数据集与检测标签；2构建检测模型；3构建损失函数；4训练检测模型；5推理并获得检测结果。本发明构建的显著性检测模型，通过引入浅层特征信息的方式对解码结果进行细节补充，解决了解码结果存在边缘模糊的问题。通过为多尺度特征建立长依赖关系，消除了特征内部存在的语义割裂，有效地提升了显著性检测结果的准确率，避免了检测结果中显著性主体判断错误的发生。

主权项：1.一种基于边缘强化的显著性检测方法，其特征在于包括以下步骤：1获取数据集与检测标签：获取显著性检测公开数据集及对应的检测标签；2构建检测模型，该模型由特征提取器、解码器DE-1和DE-2、边缘强化模块ER-1和ER-2、整体注意力模块HA构成，具体构建过程包括以下步骤：2-a构建特征提取器，以ResNet-50作为特征提取器的基础网络；所构建的特征提取器共分五层：第一层，即Res1，由单层卷积模块构成；第二层，即Res2，由一个池化层和三层残差模块构成；第三层，即Res3，由四层残差模块构成；第四层包括Res4-1和Res4-2，二者拥有相同的结构，都由六层残差模块构成，第五层包括Res5-1和Res5-2，二者也拥有相同的结构，都由三层残差模块构成；第四层和第五层为双分支结构，其中第四层的Res4-1和第五层的Res5-1串联构成第一个分支，第四层的Res4-2和第五层的Res5-2串联构成第二个分支；输入图像经过Res1处理，获得三维特征图f1_1、f1_2和f1_3，且f1_1＝f1_2＝f1_3；f1_3输入Res2获得三维特征图f2_1、f2_2和f2_3，且f2_1＝f2_2＝f2_3；f2_3输入Res3获得三维特征图f3_1、f3_2和f3_3，且f3_1＝f3_2＝f3_3；f3_3依次经过第一个分支的Res4-1和Res5-1处理后分别获得三维特征图f4_1和f5_1；f3_3与整体注意力模块HA的输出结果通过逐像素相乘实现加权，加权结果依次经过第二个分支的Res4-2和Res5-2处理后分别获得三维特征图f4_2和f5_2；HA由单层卷积构成，它以解码器DE-1的输出结果作为输入；2-b构建解码器DE-n，该解码器由长依赖模块LRDM、感受野模块RFB、卷积上采样模块CU1、CU2、CU3，上采样模块Up和拼接层构成；将步骤2-a获取的三维特征图f2_n、f3_n、f4_n和f5_n分别作为解码器DE-n的输入1、输入2、输入3和输入4，n＝1,2；fi_n依次经过LRDM与RFB处理后得到其中i＝2,3,4,5；经过Up处理后，与一起输入到拼接层1，得到中间特征图经过CU1处理后，与一起输入到拼接层2，得到中间特征图经过CU2处理后，与一起输入到拼接层3，得到中间特征图经过CU3处理得到特征图map_n，即为解码器DE-n的输出结果；该步骤中的长依赖模块LRDM构建如下：以步骤2-a获得的特征图fi_n作为输入，经该模块的通道维度自适应均值池化层处理并进行特征展开后，获得一维特征，将一维特征输入全连接层后，经过激活函数与特征逆展开处理，再与特征图fi_n进行逐像素相乘操作，得到LRDM的输出；其中i＝2,3,4,5，n＝1,2；2-c构建边缘强化模块ER-n，该模块由卷积块1和卷积块2构成，其中卷积块1由三层残差模块构成，卷积块2由五层卷积构成；将步骤2-a得到的特征图f1_n经卷积块1处理后，与步骤2-b得到的粗特征图mapn进行逐像素相加，再经卷积块2处理后，得到显著性检测图，其中n＝1,2；3构建损失函数：构建如下混合损失函数Lmix：Lmix＝LBCE+LMSSIM+LDice其中LBCE为二元交叉熵损失，LMSSIM为平均结构相似性损失，LDice为Dice损失，分别定义如下： 其中P表示预测图，Gt表示标签图，二者尺寸相同，H表示图的高，W表示图的宽，Pi，j和Gti,j分别表示P和Gt中i，j点的像素值，且Pi，j∈0，1，Gti,j为整数且Gti,j∈[0，1]，log表示求自然对数，表示逐像素相加操作，表示逐像素相乘操作，C1与C2为实数常量，且C1、C2∈0，0.1；M表示将标签图Gt以及对应的预测图P划分成子图对的个数，为预测图P第k个子图的均值，为标签图Gt第k个子图的均值，为预测图P第k个子图的方差，为标签图Gt第k个子图的方差，为预测图P的第k个子图和标签图Gt的第k个子图之间的协方差；|·|表示求取图像中所有像素的和；对模型的两个分支的显著性检测图分别计算混合损失函数，以这两个混合损失函数之和作为模型的总损失函数，定义如下：Ltotal＝Lmix-1+Lmix-2其中，Lmix-1和Lmix-2分别表示第一和第二分支的显著性检测图与标签之间的混合损失，Ltotal表示模型的总损失函数；4训练检测模型：利用步骤1得到的数据集训练步骤2构建的检测模型，模型中的特征提取器使用预训练模型进行参数初始化；使用混合损失函数Lmix-1和Lmix-2分别衡量第一和第二分支的显著性检测图与标签之间的相似性；训练过程中使用Adam算法更新模型参数，并通过L-2正则化作为约束，直到损失值不再下降，得到训练好的显著性检测模型；5推理并获得检测结果：将测试图像经过归一化处理之后，输入至训练好的显著性检测模型，该模型第二分支得到的显著性检测图即为最终的显著性检测结果。

全文数据：

权利要求：

百度查询： 湖南信控摩尔科技有限公司 一种基于边缘强化的显著性检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD