申请/专利权人：山东锋士信息技术有限公司

申请日：2023-12-13

公开（公告）日：2024-04-19

公开（公告）号：CN117408996B

主分类号：G06T7/00

分类号：G06T7/00;G06V10/25;G06V10/44;G06V10/762;G06V10/764;G06V10/80;G06V10/82;G06N3/045;G06N3/0475;G06N3/09

优先权：

专利状态码：有效-授权

法律状态：2024.04.19#授权;2024.02.02#实质审查的生效;2024.01.16#公开

摘要：本发明涉及一种基于缺陷专注和边缘权重损失的表面缺陷检测方法，属于图像处理和表面缺陷检测技术领域。通过构建记忆库核心子集，将训练样本输入到特征提取网络提取多层特征，将提取的中间层特征采用最近邻算法与对应记忆库核心子集对比得到缺陷先验图，特征增强；将增强后的特征输入到可变形注意力中生成校正后的增强特征，对校正后的增强特征与提取的非中间层特征采用邻近特征融合，获得融合后特征图；通过计算校正后的增强特征图与融合后特征图的边缘权重损失，加和计算总损失，根据总损失训练网络。本发明利用边缘权重损失来增强对缺陷区域的影响，同时使用可变形注意力进行缺陷专注，从而实现高精度定位的表面缺陷检测方法。

主权项：1.基于缺陷专注和边缘权重损失的表面缺陷检测方法，其特征是，包括步骤如下：S1.划分数据集：将缺陷检测数据划分为对照集、训练集和测试集；S2.构建记忆库核心子集：将对照集的所有样本输入特征提取网络获取多层特征，使用中间层的特征构建特征记忆库，使用聚类算法将记忆库分成多个簇，并保存所有簇中心作为核心子集用来代替整个记忆库，得到记忆库核心子集；S3.将训练样本输入到特征提取网络提取多层特征，将提取的中间层特征采用最近邻算法与对应记忆库核心子集对比得到缺陷先验图，将缺陷先验图与和其对应的提取特征像素级相乘得到增强后的特征；将增强后的特征输入到可变形注意力中生成校正后的增强特征，对校正后的增强特征与提取的非中间层特征采用邻近特征融合，获得融合后特征图；所述的缺陷先验图的获得过程为：将训练样本输入到特征提取网络提取四层特征F1-F4，用中间两层的特征F2、F3采用最近邻算法分别在两个记忆库核心子集中搜索与其每个空间位置上的特征距离最近的特征，计算并保存对应的距离，将两个距离向量值Sigmoid函数归一化和reshape操作得到两个缺陷先验图DPI2、DPI3；所述的邻近特征融合是先按特征层次由低到高排列，再相邻特征两两融合，相邻特征间的融合按照高层特征上采样二倍与底层特征融合，同时将融合后的特征输入到一个3×3卷积块中，一轮融合得到的特征再进行排列、两两融合、输入卷积块直到得到一个融合特征图Ffinal；所述的可变形注意力首先将增强后的特征F’输入到一个1×1卷积中得到查询Q，然后将查询输入到偏移量生成网络中得到参考点偏移量根据增强后的特征的高度H与宽度W来生成网格参考点ref，ref与分别表示参考点坐标以及对应的偏移量坐标，二者相加得到要采样的位置向量pos，利用grid_sample函数根据位置向量pos对输入增强后的特征图进行双线性插值映射，映射得到一个新的特征图F’_sampled，将其输入到两个1×1卷积中，分别得到键K，值V两个向量，将Q、K、V维度reshape，经过可变形注意力得到的结果为F’_output，计算F’_output涉及的公式定义如下： ， ， ， ，其中Conv1×1表示1×1卷积，σ表示Softmax函数，c表示特征通道数，将F’_output维度reshape并输入到一个1×1卷积中最终生成校正后的增强特征；S4.分别计算校正后的增强特征图与融合后特征图的边缘权重损失，加和计算总损失，根据总损失训练除特征提取网络外的网络；计算过程为：根据训练集中每个样本对应的标签图片GT生成该样本各像素对应的边缘权重，计算特征图的交叉熵损失，使用一个函数ψ将归一化的距离转化为对应的边缘权重，转化后的结果是边缘部分像素的权重较大，中心部分权重较小，最终缺陷像素的边缘权重的数学公式定义如下： ， ，其中EWi表示第i个缺陷像素的边缘权重，di表示当前缺陷像素到其最近正常像素之间的距离，dmax表示缺陷像素到正常像素距离的最大值，表示将距离值x转换为边缘权重的函数，是控制权重范围的超参数，在这里设置为2，exp·是以底数为e的幂函数；边缘权重损失EWL是根据交叉熵损失与计算的边缘权重定义的，每个像素的交叉熵公式定义如下： ，其中，y表示像素的标签，取值为0或1，1表示缺陷像素，0表示正常像素；p表示像素的预测值，表示该位置的像素预测为缺陷的概率，训练使用的边缘权重损失定义如下： ，其中W表示样本的宽，H表示样本的高，Lipixel表示样本第i个像素的交叉熵损失，EWi表示样本第i个像素的边缘权重，最终，一个样本计算的总损失定义如下： ，其中M表示在深度监督中计算损失时所用的特征图的数量；EWLm表示第m个特征图与GT、样本边缘权重计算出来的边缘权重损失；S5.将测试集样本输入到训练好的模型中，通过特征提取网络提取多层特征，利用步骤S2生成的记忆库核心子集按照步骤S3所述的方法计算中间层的特征对应的缺陷先验图，再获得增强后的特征，将增强后的特征输入到可变形注意力中生成校正后的增强特征，对校正后的增强特征与测试集样本提取的非中间层特征采用邻近特征融合，将获得的融合后特征图上采样、降低通道、归一化得到最终的预测图。

全文数据：

权利要求：

百度查询： 山东锋士信息技术有限公司 基于缺陷专注和边缘权重损失的表面缺陷检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD