申请/专利权人：河北工业大学

申请日：2021-10-21

公开（公告）日：2024-04-30

公开（公告）号：CN113947530B

主分类号：G06T3/4046

分类号：G06T3/4046;G06T3/4007;G06T7/00;G06T7/13;G06V10/40;G06V10/774;G06V10/764;G06V10/82;G06N3/0464;G06N3/08;G06N5/04

优先权：

专利状态码：有效-授权

法律状态：2024.04.30#授权;2022.02.08#实质审查的生效;2022.01.18#公开

摘要：本发明为一种基于相对显著性检测的图像重定向方法，包括相对显著图提取、图像边缘检测以及基于重要度图的重定向操作；通过多特征聚合的相对显著性分层监督模块以及显著等级引导的优化模块提取相对显著图，相对显著性分层监督模块以监督的方式对每阶段的特征进行加权，而显著等级引导的优化模块通过逐层优化，利用卷积模块生成每类显著等级的类别概率，再经过卷积层和激活函数生成每一个像素的注意力掩码，得到优化特征；将边缘图与相对显著图进行线性融合得到重要度图；最后学习输入图像到目标图像的位移映射，在输入图像上通过移位图实现图像重定向。本发明能够有效克服现有技术重定向后图像存在变形、扭曲的问题，获得更好的视觉效果。

主权项：1.一种基于相对显著性检测的图像重定向方法，其特征在于，具体步骤如下：第一步，对显著目标排名数据集进行预处理，得到原始图像；第二步，利用预训练的ResNet50网络对原始图像进行特征提取，得到每阶段的增强特征；第2.1步，将原始图像输入到预训练的ResNet50网络中，提取主干特征Ci，i∈[1,5]，预训练的ResNet50网络的每个阶段都会提取一个主干特征，i表示预训练的ResNet50网络的第i阶段；第2.2步，使用卷积核大小为1×1的卷积层改变主干特征Ci的通道数量，得到特征Ci′；第2.3步，将特征Ci′经过两个卷积核大小为3×3的卷积层、批量归一化和Relu激活函数后，再与特征Ci′进行元素级相加，得到第i阶段的增强特征Fi，每阶段都会生成一个增强特征；第三步，获取原始图像的相对显著图；第3.1步，将第5阶段的增强特征F5利用全局上下文模块进行特征提取，得到全局特征Fglobal；全局上下文模块的具体操作如式3-5所示；branchk＝BConv1×1F5,k＝13 其中，branchk,k∈[1,4]表示四个平行的卷积操作分支，表示卷积核大小为3×3、空洞率为2k-1的卷积层，Convu×v·表示卷积核大小为u×v的卷积层；Concat·表示通道拼接操作，Relu·表示激活函数；B表示批量归一化；第3.2步，利用相对显著性分层监督模块对第5阶段的增强特征F5进行特征提取，得到第5阶段的相对显著性加权特征相对显著性分层监督模块的具体操作如式7-9所示：即第5阶段的增强特征F5先通过卷积核大小为3×3的卷积层，得到第5阶段的相对显著性分层表示RSSR5；第5阶段的相对显著性分层表示RSSR5经过卷积核大小为3×3的卷积层、批量归一化、Relu激活函数、卷积核大小为1×1的卷积层和Relu激活函数生成一维相对显著图RS5，在一维相对显著图RS5中不同的显著目标具有不同的权重值；最后将一维相对显著图RS5与第5阶段的增强特征F5通过元素级相乘相加的方式进行加权，得到第5阶段的相对显著性加权特征RSSR5＝Conv3×3F57RS5＝RConv1×1RBConv3×3RSSR58 式9中，表示元素级相乘操作；第3.3步，除第5阶段外，其余各个阶段的增强特征Fi,i∈[1,4]分别利用多特征聚合模块提取每个阶段的聚合特征Fiagg,i∈[1,4]；多特征聚合模块的具体操作如式10-12所示，多特征聚合模块的输入包括增强特征Fi、前一阶段的相对显著性加权特征以及全局特征Fglobal，将增强特征Fi作为低层特征，前一阶段的相对显著性加权特征作为高层特征；首先将高层特征和全局特征Fglobal分别经过两个卷积核大小为3×3的卷积层、批量归一化、Relu激活函数和上采样操作后，再分别与经过两个卷积核大小为3×3的卷积层、批量归一化和Relu激活函数后的低层特征进行元素级相乘，得到高层与低层结合的融合特征Milh,i∈[1,4]以及全局与低层结合的融合特征Milg,i∈[1,4]；然后将两个融合特征进行级联，再经过卷积核大小为3×3的卷积层、批量归一化和Relu激活函数生成聚合特征Fiagg,i∈[1,4]； 其中，Up·表示上采样操作；第3.4步，将各阶段的聚合特征利用相对显著性分层监督模块，提取各阶段的相对显著性分层表示RSSRi,i∈[1,4]和一维相对显著图RSi,i∈[1,4]；将一维相对显著图与对应的聚合特征进行元素级相乘相加，得到各阶段的相对显著性加权特征Fis,i∈[1,4]；第3.5步，使用显著等级引导的优化模块对各阶段的相对显著性加权特征进行逐层优化，得到每阶段的优化特征Fir,i∈[1,5]；显著等级引导的优化模块的具体操作如式14、15所示，该模块的输入特征为每个阶段的相对显著性加权特征Fis,i∈[1,4]以及前一阶段的优化特征首先将两个输入特征进行级联操作，然后利用卷积核大小为1×1的卷积层改变通道数量，将改变通道数量后的特征与相对显著性加权特征和前一阶段的优化特征再次进行级联操作，利用卷积核大小为1×1的卷积层改变通道数量，得到各阶段互补的融合特征Fifuse,i∈[1,4]；然后根据式15对各阶段互补的融合特征Fifuse进行显著等级重加权操作，生成每类显著等级的类别概率，得到预测的显著等级Ri；再接入卷积核大小为1×1的卷积层和Sigmoid激活函数生成每个像素的注意力掩码，再与各自阶段互补的融合特征Fifuse进行元素级相乘相加，得到每阶段的优化特征Fir,i∈[1,5]； 式15中，Sigmoid·表示激活函数；第3.6步，对第1阶段的优化特征F1r进行上采样，得到相对显著图SM；第四步，使用边缘检测模块获取边缘图EM；第五步，图像重定向；第5.1步，将相对显著图SM和边缘图EM按照式19进行融合，得到重要度图IM；IM＝1-αSM+αEM19其中，α∈[0,1]是网络参数，由网络自己学习得到，用于平衡相对显著图SM和边缘图EM对重要度图IM的贡献；第5.2步，将重要度图IM的尺寸调整到目标大小，得到图像IMη，使用自适应1D一维重复卷积模块对图像IMη进行处理，得到图像IM1D；第5.3步，将图像IMη和图像IM1D按照公式24进行融合，得到图像IMfinal；然后按照公式25对图像IMfinal进行累计归一化，得到输入图像到目标图像的移位映射S；IMfinal＝λIMη+IM1D24 其中，λ是图像IMη和IM1D之间的平衡参数，本实施例中λ设置为1；Sum·表示在图像宽度维度上进行求和，Cumsum·表示在图像宽度维度上进行累计求和；W、W′分别为尺寸调整前、后的图像宽度，H为图像高度；第5.4步，根据移位映射S，利用式26对输入图像I执行重定向操作，得到重定向图像O，输出重定向图像O；O＝WarpI,S26其中，Warp·,S表示利用移位映射S对图像进行重定向操作；至此，完成了基于相对显著性检测的图像重定向。

全文数据：

权利要求：

百度查询： 河北工业大学 一种基于相对显著性检测的图像重定向方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD