申请/专利权人：电子科技大学

申请日：2024-01-25

公开（公告）日：2024-04-19

公开（公告）号：CN117911384A

主分类号：G06T7/00

分类号：G06T7/00;G06N3/0464;G06N3/045;G06V10/80;G06V10/74;G06N3/0895;G06T3/4038

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.07#实质审查的生效;2024.04.19#公开

摘要：本发明公开了一种基于涂鸦标注的镜面检测方法，针对目前相关的基于涂鸦的镜面检测方法难以建立镜面映射和实体之间的联系，提出了一种利用涂鸦为基础的监督方法来构建弱监督的镜面检测框架并取得了令人满意的结果，包括构建了一个局部‑全局特征增强LGFE模块，具有全局上下文理解例如，在成像和实体之间建立逻辑和物理关联，感知镜子的尺度变化和局部细节增强例如，边缘、纹理、颜色，以改善长距离和短距离依赖性敏感性。此外，涂鸦很难表示潜在的结构信息，前景特征表示与反射干扰相比不够显著和独特。因此，构建了前景感知的掩膜注意力FAMA，将生成语义特征和边缘特征并进行融合，以提高语义和边界感知，从而精炼镜子掩膜即预测图。

主权项：1.一种基于涂鸦标注的镜面检测方法，其特征在于，包括以下步骤：1、生成多尺度特征图Xi使用金字塔视觉转换器PyramidVisionTransformer，简称PVT网络作为骨干网络，对输入图像I提取多尺度的长程依赖特征图即生成多尺度特征图其中i∈{1，2，3，4}，C1＝64，C2＝128，C3＝320，C4＝512，H和W分别表示高度和宽度；2、生成边缘图E将低层特征图X1和X2以及高层特征图X4输入到边缘生成模块中，首先分别通过一个卷积层进行卷积，得到的特征图分别为F1、F2以及F4，然后，按通道对特征图F1、F2以及F4进行拼接，得到拼接特征图Fc，最后，将拼接特征图Fc送入一卷积层，生成边缘图E；3、生成增强特征图X1_en将低层特征图X1送入局部全局增强模块中，首先分别通过挤压-激励Squeeze-and-Excitation，简称SE注意力模块以及卷积块注意力模块ConvolutionalBlockAttentionModule，简称CBAM，得到通道注意力图ca1和空间注意力图sa1：ca1＝SEX1，sa1＝CBAMX11其中，SE表示挤压-激励注意力模块，CBAM表示卷积块注意力模块；创建低层特征图X1的副本，记为X1_loc，用于处理局部特征：应用密集空洞空间金字塔池化DenseAtrousSpatialPyramidPooling，简称DenseASPP，使用不同的扩张率提取局部特征，生成包含局部感知的特征图X′1_loc；然后，沿着通道轴拼接低层特征图X1和特征图X′1_loc，并使用1×1卷积将通道数减半，随后，使用挤压-激励注意力模块和卷积块注意力模块来获取通道注意力图ca2和空间注意力图sa2，该过程表示为：ca2＝SEConv1×1concatX1，X′1_locsa2＝CBAMConv1×1concatX1，X′1_loc2其中，Conv1×1表示1×1卷积，concat表示沿通道轴拼接；然后，将低层特征图X1与四个注意力图融合，生成增强特征图X1_en：X1_en＝ca1⊙ca2⊙X1⊙sa1⊙sa23其中，⊙表示逐元素相乘；最后，对生成增强特征图X1_en进行尺寸调整，使其与边缘图E具有相同的尺寸，尺寸调整后的增强特征图记为X′1_en；4、生成融合特征图Fla以及初始预测图Sinit将高层特征X3、X4以及底层特征图X2送入级联融合模块CascadedFusionModule，简称CFM中进行融合，得到融合特征图Fla；融合特征图Ffla经过卷积得到初始预测图Sinit；5、生成预测特征Fref以及预测图Sref将边缘图E、增强特征图X′1_en、融合特征图Fla以及初始预测图Sinit送入前景感知掩码注意力模块中采用基于多维度转置注意力生成预测特征Fref：在前景感知掩码注意力模块的语义感知分支，融合特征图Fla通过卷积进行处理，生成查询矩阵、键矩阵和值矩阵，将初始预测图Sinit与查询矩阵逐元素相乘得到矩阵Q′f，初始预测图Sinit与键矩阵进行逐元素相乘，得到矩阵K′f，采用基于多维度转置注意力生成语义特征Fseg： 其中，α是一个可学习的缩放参数，Vf为值矩阵；在前景感知掩码注意力模块的边缘感知分支，将增强特征图X′1_en通过卷积进行处理，生成查询矩阵、键矩阵和值矩阵，将边缘图E与查询矩阵逐元素相乘得到矩阵Q′e，边缘图E与键矩阵进行逐元素相乘，得到矩阵K′e，采用基于多维度转置注意力生成边缘特征Fedae： 其中，β是一个可学习的缩放参数，Ve为值矩阵；在前景感知掩码注意力模块的全局推理模块，将语义特征Fseg经过卷积处理生成矩阵Qs，边缘特征Fedge分别经过一卷积处理生成矩阵Kedge、Vedae，采用采用基于多维度转置注意力生成预测特征Fref： 其中，γ是一个可学习的缩放参数；预测特征Fref经过卷积得到精细化的预测图Sref；6、根据总损失Lfina对镜面检测系统进行训练金字塔视觉转换器网络、边缘生成模块、局部全局增强模块、级联融合模块以及前景感知掩码注意力模块构成镜面检测系统，将训练数据集中进行了涂鸦标记的图像I按照步骤1到5进行处理，并计算总损失Lfin：Lfinal＝Lsal_init+Lsal_ref+Lsmooth_init+Lsmooth_ref+α1LE_gt+β1L-+L+7其中，Lsal_init为初始预测图Sinit与前景涂鸦掩码图像Fsal的损失，Lsal_ref为预测图Sref与前景涂鸦掩码图像Fsal的损失，Lsmoo_init是初始预测图Binit与未进行涂鸦标记的灰度图之间的损失，Lsmoo_ref是预测图Sref与未进行涂鸦标记的灰度图之间的损失，LE_gt为边缘图E与采用canny算法对未进行涂鸦标记的灰图像进行边缘检测得到的检测边缘图gt之间的损失，L-+L+为原型对比学习损失，包括负样本损失L-以及正样本损失L+；其中，前景涂鸦掩码图像Fsal基于预测图Sref进一步融合边缘特征和合并维度得到；其中，负样本损失L-以及正样本损失L+通过以下步骤获得：首先，将前景涂鸦掩码图像Fsal和预测图Sref产生前景原型特征图Pf，使用背景掩码1-Sref来生成背景原型特征图Pb： 接下来，使用余弦相似度计算两个原型之间的距离sim： 其中，·表示点积，||||表示L2范数；对于一批n张训练图像，第i张训练图像的相似度记为simi，这样形成一个列表，第i张训练图像的权重为： 计算负样本损失L-： 计算正样本损失L+： 其中，函数I[i≠j]表示当i和j不相等时为1，否则为0；根据总损失Lfina对镜面检测系统进行训练；7、镜面检测将待检测的图像送入镜面检测系统中，按照步骤1到5进行处理，得到精细化的预测图Sref，完成镜面检测。

全文数据：

权利要求：

百度查询： 电子科技大学 一种基于涂鸦标注的镜面检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD