申请/专利权人：河北工业大学

申请日：2023-12-21

公开（公告）日：2024-03-22

公开（公告）号：CN117745679A

主分类号：G06T7/00

分类号：G06T7/00;G06V10/42;G06V10/44;G06V10/766;G06V10/80;G06V10/764;G06V10/82;G06N3/0464;G06N3/0499;G06N3/084

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.09#实质审查的生效;2024.03.22#公开

摘要：本发明公开一种基于长条形状感知和特征调节的小径管焊接缺陷检测方法，该方法采用的缺陷检测模型主要包括三部分:基于混合视觉调节的CSPDarknet‑HVR主干网络、基于长条形状感知的特征金字塔网络和三个检测头；主干网络通过提取全局特征信息和局部关键特征信息，分支融合调节小目标特征，并且获取特征的位置信息，进而提高面积较小缺陷的检测能力。基于长条形状感知的特征图像金字塔模块主要包括动态条形卷积模块，通过动态学习X轴和Y轴形状感知卷积模块，提高特征金字塔对病态长宽比缺陷得感知能力，进而提高长条形缺陷得检测精度；检测头的回归损失使用Focal‑EIoU损失，进一步提高检测准确率。经测试，本发明方法对小径管焊接的五类缺陷的检测效果均有提升。

主权项：1.基于长条形状感知和特征调节的小径管焊接缺陷检测方法，其特征在于，该方法包括如下步骤：第一步、获取一定数量带有缺陷定向边界框和缺陷类别标签标注的X射线小径管焊接图像，对其进行尺寸归一化处理，图像尺寸为300*300，得到用于训练模型的数据集；第二步、以深度学习网络为基础，构建缺陷检测模型；缺陷检测模型主要包括三部分:基于混合视觉调节的CSPDarknet-HVR主干网络、基于长条形状感知的特征金字塔网络和三个检测头；所述CSPDarknet-HVR主干网络包括五层卷积结构和一个HVR模块，五层的卷积结构包括第一卷积结构Layer1、第二卷积结构Layer2、第三卷积结构Layer3、第四卷积结构Layer4和第五卷积结构Layer5，第一卷积结构Layer1、第二卷积结构Layer2、第三卷积结构Layer3、第四卷积结构Layer4、第五卷积结构Layer5、HVR模块依次顺接；X射线小径管焊接图像为第一卷积结构Layer1的输入，第一卷积结构Layer1的输出C1为第二卷积结构Layer2的输入，第二卷积结构Layer2的输出C2为第三卷积结构Layer3的输入，第三卷积结构Layer3的输出C3为第四卷积结构Layer4的输入，第四卷积结构Layer4的输出C4为第五卷积结构Layer5的输入，第五卷积结构Layer5的输出C5为HVR模块的输入；第三卷积结构Layer3的输出C3、第四卷积结构Layer4的输出C4以及HVR模块的输出作为所述特征金字塔网络的输入；所述CSPDarknet-HVR主干网络的五层卷积结构的参数设置如表1所示：表1CSPDarknet-HVR主干网络的五层卷积结构的参数设置 所述HVR模块包括由轻量化MLP分支、局部注意力分支和分支融合模块构成，主干网络中的特征图C5作为HVR模块的输入，首先输入到Stem模块，得到特征图Xin；特征图Xin分别通过并行的轻量化MLP分支和局部注意力分支，特征图Mout为轻量化MLP的输出，特征图Lout作为局部注意力分支的输出，特征图Mout和Lout作为分支融合模块的输入，分支融合模块输出的特征图Bout为HVR模块的输出；其中，Stem模块的操作如下式所示：Xin＝σBNTconv7C51其中Tconv7表示7×7的卷积操作；BN表示批归一化操作，σ表示ReLU激活函数；所述轻量化MLP分支包括基于深度卷积的残差模块和基于信道MLP的残差模块，深度卷积的残差模块的输出为基于信道MLP的残差模块的输入，基于信道MLP的残差模块的输出为轻量化MLP分支的输出特征图Mout；在所述基于深度卷积模块中，特征图Xin依次通过组归一化操作、深度卷积操作，之后再依次经过特征图通道缩放处理和正则化技术处理，减少神经网络中的过拟合，得到的结果再与输入的特征图Xin进行残差连接，得到输出特征图X1；在所述基于信道MLP的残差模块中，特征图X1作为输入，首先依次通过组归一化、通道MLP操作，通道MLP操作可以捕获长期依赖，提高全局特征表示能力，之后再依次经过特征图通道缩放处理和正则化技术处理，得到的结果再与输入的特征图X1进行残差连接，生成特征图Mout；所述轻量化MLP分支的具体操作过程如下所示： 其中TDC·表示深度分组1×1卷积；GN表示GroupNormalization，即组归一化；表示残差连接操作，DP表示正则化，CS表示通道缩放； 其中LMLP表示轻量化MLP操作，CMLP表示信道MLP，信道MLP为由两个1×1卷积和GeLU激活函数实现的两个全连接层，通过卷积核共享实现通道信息交互功能，表示残差连接；局部注意力分支包括一个卷积组合块、ReLU激活函数和局部注意力模块，其中卷积组合块包括两个卷积分支；对于输入的特征图Xin，卷积组合块的一个分支依次进行1×1卷积、3×3卷积、1×1卷积，另一个分支先进行1×1卷积然后再进行批归一化操作，两个分支分别对特征图Xin进行处理，两个分支的结果进行相加操作后，再经ReLU激活函数，得到局部注意力模块的输入特征图Lin，操作过程公式如下所示：Lin＝RELUTconv1Tconv3Tconv1Xin+BNTconv1Xin4局部注意力模块对于输入的特征图Lin，首先分别经过通道维度的最大池化和平均池化的操作，之后再将各自产生的通道为1的特征图拼接，此时特征通道维度为2；接着使用卷积操作再将通道维度降为1，经过sigmod激活函数处理后再与特征图Lin相乘，得到局部注意力分支的输出特征图Lout，操作过程如下式所示： 分支融合模块对局部注意力分支输出的特征图Lout和轻量化MLP分支输出的特征图Mout，首先将两者进行相加，对相加得到特征图进行平均池化操作，得到维度为[4，1024，1]的特征图Bavg；然后对特征图Bavg进行一维卷积操作，得到一个注意力向量，再通过Softmax操作将注意力向量的每个通道的注意力限制在[0，1]之间，之后再分别与特征图Lout、特征图Mout逐点相乘，得到两个注意调节后的特征图Lba、特征图Mba，最后将特征图Lba、特征图Mba相加，得到的特征图Bout为HVR模块的输出；分支融合模块的工作原理如公式6、7所示：Bavg＝AvgMout+Lout6 δ表示softmax操作；基于基于长条形状感知的特征金字塔网络包含三个模块，为两个DLS模块和一个原始CSP模块；CSPDarknet-HVR主干网络输出的特征图C3、特征图C4、特征图Bout为所述特征金字塔网络的三个输入；特征图Bout输入到L-FPN中即为特征图H5，将特征图H5与特征图C4进行融合，得到特征图H4，将特征图H4与特征图C3融合，得到特征图H3；H3经过原始CSP卷积块处理，其具体结构包含串行的一个ConvModule预处理模块、两个3×3卷积块、一个ConvModule后处理模块，H3依次经过上述四个部分的处理，得到特征图P3；之后，特征图P3经过卷积核为3×3的卷积块降采样，再与特征图H4进行通道维度拼接，得到第一DLS模块的输入特征图Sin1；特征图Sin1经过第一DLS模块处理后，得到特征图P4；将特征图P4经过经过卷积核为3×3的卷积块降采样，与H5进行通道维度拼接，得到第二DLS模块的输入特征图Sin2；特征图Sin2经过第二DLS模块处理后，得到特征图P5；特征图P3～P5即为所述特征金字塔网络的输出；得到DLS模块的输入特征图Sini-2的操作公式如式8所示：Sini-2＝CatσBNTconv3Pi,Hi+1，i＝3,48其中Cat·表示通道维度拼接操作；所述特征金字塔网络的第一DLS模块与第二DLS模块的基本构架相同，均包含一个ConvModule预处理模块、三个并行的卷积分支、拼接操作、ConvModule后处理模块，对于输入的特征图Sin，ConvModule预处理模块首先使用1×1卷积降低通道维度，将通道数降为一半；接着使用3×3卷积精炼语义信息，然后将该输出分别输入到三个并行的卷积分支中；由Sin到P的操作过程被定义如下9所示：P＝preSin9其中，pre·集成了1×1卷积、3×3卷积操作；在三个并行卷积分支中，第一个分支使用卷积核为15的X方向的动态条形卷积提取横向缺陷信息，第二个分支使用卷积核为15的Y方向的动态条形卷积提取纵向缺陷信息，第三个分支则使用卷积核为3的普通卷积提取正常的缺陷信息；其中X方向的动态条形卷积公式定义如下10所示： 其中Y方向的动态条形卷积公式定义如下11所示： 公式10、11中的i为X轴方向动态条形卷积中心点位置，j为Y轴方向动态条形卷积中心点位置，c为卷积核在X、Y方向上扩散的次数，Δx、Δy则为每次扩散的偏移量，通过求和操作限制偏移量为上次的±1；xi、yi为X轴方向动态条形卷积中心点在图像上的坐标，Ki±c表示根据这个坐标产生的动态一维卷积核的每一个卷积位置的坐标；xj、yj为Y轴方向动态条形卷积中心点在图像上的坐标，Kj±c表示根据这个坐标产生的动态一维卷积核的每一个卷积位置的坐标；然后再使用拼接操作使三个分支进行通道拼接，将三种特定特征拼接成一个特征图Sm，其公式如下式12所示；Sm＝CatDSCxP,DSCyP,Tconv3P12其中DSCx表示X方向的动态条形卷积，DSCy表示Y方向的动态条形卷积；特征图Sm再经过卷积、组归一化处理后，输入到ConvModule后处理模块；ConvModule后处理模块对输出的特征图，首先进行一个3×3卷积操作，输出在经过一个1×1卷积操作完成通道降维，得到DLS模块的输出Sout；特征图Sin1、特征图Sin2分别为第一DLS模块、第二DLS模块的输入，特征图P4、特征图P5分别为第一DLS模块、第二DLS模块的输出；原始CSP卷积块中的ConvModule预处理模块与第一DLS模块中ConvModule预处理模块相同，均为对对应输入特征图首先进行一个1×1卷积操作，输出再经过一个3×3卷积操作得到对应模块的输出；原始CSP卷积模块中的ConvModule后处理模块与第一DLS模块中ConvModule后处理模块相同，均为对对应输入特征图首先进行一个3×3卷积操作，输出再经过一个1×1的卷积进行通道降维，得到最终输出；特征图P5、特征图P4、特征图P3分别依次为三个检测头的输入；每个检测头均包括一个分类头和一个回归头，分类头和回归头都顺序经过两个3×3卷积和一个1×1卷积；对于输入特征图，分类头对其进行两次3×3卷积进行特征图下采样，再通过1×1卷积使通道变为缺陷分类数，每一个通道的值即为特征图的类别信息；回归头对输入特征图进行两次3×3卷积进行特征图下采样，再通过1×1卷积使通道变为检测框位置，得到特征图的检测框信息；三个检测头分别获得X射线小径管焊接图像的不同尺度下的所有缺陷分类得分信息和检测框，生成特定缺陷分类和得分以及检测框坐标，再通过缩放投影到原图大小上，最后使用NMS非极大值抑制方法去除冗余检测框，得到X射线小径管焊接图像最终的分类信息和检测框；第三步，构建缺陷检测模型损失函数检测头包含分类头和回归头两个网络分支，因此检测头的训练损失包括分类损失、回归损失，公式如下：L＝Lcls+Lbbox13式中Lcls为分类损失，使用的是BCE交叉熵损失，Lbbox为回归损失，使用的是Focal-EIoU损失，BCE交叉熵损失的表达如式14：LBCE＝-y×logp+1-y×log1-p14其中y表示真实标签，p则表示模型输出预测值；Focal-EIoU损失结合FocalL1loss和eiouloss，其中eiouloss的公式如下15所示： 其中IOU表示真实框和预测框的交并比，ρ代表的是计算两个中心点间的欧式距离，b和bgt表示预测框和真实框的中心点，wgt、hgt表示真实框的宽度和高度的中点，w和h表示预测框的宽度和高度的中点，Cw和Ch分别是两个矩形框的相交矩形的宽度和高度；c表示能用一个最小矩形包住两个矩形框的对角线距离；FocalL1loss公式如下16所示： 其中，x为真实框与预测框的中心点距离、宽度、高度的差值之和；β用于控制损失曲线的弧度，α用于无论β值为何，都可以将梯度的值控制到0,1]；β用于控制梯度调整，α用于抑制低质量样本对损失值的影响；上述FocalL1loss和EIoUloss结合为边界框回归损失LFocal-EIoU公式如下式17所示：LFocal-EIoU＝IOUγLfxLEIOU17其中γ表示抑制曲线弧度的参数，Lfx表示FocalL1loss，IOU表示交并比；缺陷检测模型最终的loss公式为：L＝LBCE+LFocal-EIoU18第四步，对缺陷检测模型进行训练设置最大训练轮次、学习率和批次大小，采用随机赋值法初始化缺陷检测模型的训练参数；将第一步中数据集，通过灰度填充操作改变为640*640大小尺寸，以适合模型训练，然后将其按数量比例进行划分为若干等份，将其中不少于60％的份额划分为训练集，不少于10％的份额划分为验证集，余下的份额作为测试集，得到一个系列数据集；保持训练集、验证集、测试集中图片数量比例不变，分别将所包含的图片按份额进行等数量交换，多次交叉变换，得到多个系列数据集；将一个系列数据集中的训练集中一个批次的X射线小径管焊接图像，缺陷检测模型输出检测到的小径管焊接缺陷的位置框和分类信息；将检测结果与其标注信息输入到第三步中的缺陷检测模型最终的loss公式中，得到该批次X射线小径管焊接图像的检测损失；根据检测损失，反向传播更新一次缺陷检测模型的训练参数，完成一个批次图像的迭代训练；然后再将训练集中的下一批次X射线小径管焊接图像，输入到更新一次训练参数的缺陷检测模型中，再根据检测损失，再次更新一次缺陷检测模型的训练参数，不断循环，直至完成训练集中一个轮次的最后一个批次图像的迭代训练，一个轮次的训练完成，将同一个系列数据集中的验证集图片输入到完成一个轮次训练的模型中，计算验证集图片的检测损失和平均召回率；然后进行下一个轮次的训练，将上一个轮次训练完成的训练参数作为下个轮次训练时的初始参数，不断循环，直至训练集中最后一个轮次图片的训练完成，当训练到最大训练轮次后，停止训练，将最后一轮训练完成时的训练参数进行保存，得到由该系列数据集训练好的缺陷检测模型，并将验证集图片输入到训练好的缺陷检测模型中，计算验证集图片的检测损失和平均召回率；分析每一个轮次的验证集图片的检测损失和平均召回率数据，当前10个轮次的两个相邻轮次之间的检测损失下降不小于2，并且平均召回率收敛且其收敛值不小于70％，则该训练好的缺陷检测模型为本次训练的缺陷检测模型的有效模型；否则，则调整学习率和最大训练轮次，从第一个轮次重新开始训练；采用相同的方法，利用多个系列数据集分别对缺陷检测模型进行训练，并将对应系列数据集中的测试集输入到由对应系列数据集训练好的有效缺陷检测模型中，图片缺陷类别的模型预测值和真实值使用全类平均精度mAP、平均召回率AR进行评价，优先选择平均召回率最高的缺陷检测模型，当出现平均召回率相同情况时，再选择全类平均精度最高的缺陷检测模型；选择出的缺陷检测模型即为最优缺陷检测模型；第五步，缺陷检测将待检测的X射线小径管焊接图像经过线性变换操作，增强缺陷与背景的明暗对比，再对输入图像进行灰度填充到640×640大小，输入到第四步中最优缺陷检测模型中，得到缺陷的类别信息和位置信息。

全文数据：

权利要求：

百度查询： 河北工业大学 基于长条形状感知和特征调节的小径管焊接缺陷检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD