申请/专利权人：浙江理工大学

申请日：2022-06-16

公开（公告）日：2024-04-09

公开（公告）号：CN115049619B

主分类号：G06T7/00

分类号：G06T7/00;G06V10/80;G06V10/82;G06V10/762;G06V10/774;G06V10/776;G06N3/045;G06N3/0464;G06N3/084;G06N3/09

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2022.09.30#实质审查的生效;2022.09.13#公开

摘要：本发明公开了一种针对复杂场景的高效瑕疵检测方法。方法包括：建立扩展瑕疵图像数据集；划分为训练集和验证集和测试集；获得增强训练集；聚类得到先验框；搭建改进YOLOv5模型；基于增强训练集训练，其中每轮使用验证集验证精度；重复训练直到验证集上精度值收敛，保存当前权重；基于所得权重在测试集上计算各个织物瑕疵类别的平均精度均值；将待检测图像输入以进行瑕疵的检测定位。本发明方法解决了模型在复杂场景下检测中存在的特征不对齐、复杂背景干扰和跨层特征缺乏交互的问题，检测精度和效率具有较大优势，很好地满足了实际复杂场景中的实时性要求。

主权项：1.一种针对复杂场景的高效瑕疵检测方法，其特征在于：方法包括如下步骤：S1、采集若干织物图像，建立织物图像数据集，将织物图像数据集根据织物的瑕疵类别进行织物瑕疵数据标注处理，每张织物图像上均通过织物瑕疵数据标注处理获得织物图像上的织物的若干织物瑕疵的目标GT框，进而获得标注织物图像，若干标注织物图像建立标注织物图像数据集；将标注织物图像数据集加入织物图像数据集中建立扩展织物图像数据集，扩展织物图像数据集包括若干张扩展织物图像；S2、按照预设比例将扩展织物图像数据集划分为训练集和测试集；S3、将训练集进行数据增强处理，获得增强训练集，增强训练集中包括若干张增强扩展织物图像；S4、使用Kmeans聚类算法对步骤S3中的各张增强扩展织物图像的所有目标GT框进行聚类，得到K个先验框；S5、搭建改进YOLOv5模型；改进YOLOv5模型包括依次连接的主干网络CSPDarknet_s、对齐密集特征金字塔网络AD-FPN、自适应特征净化模块AFPM和阶段性特征重分布模块PFRM；S6、选取增强训练集中的X张增强扩展织物图像输入改进YOLOv5模型中进行训练，针对每张增强扩展织物图像，均输出N张训练预测特征图；S7、针对每张增强扩展织物图像的N张训练预测特征图，将步骤S4中的K个先验框均匀分布到N张训练预测特征图上，并根据训练预测特征图的图像信息将K个先验框调整为K个训练预测框，根据增强扩展织物图像上的各个目标GT框选取若干训练预测框作为训练候选框；S8、根据步骤S7中的各个训练候选框和各个目标GT框计算改进YOLOv5模型的整体损失值，并使用梯度下降法更新改进YOLOv5模型的参数，获得参数更新的改进YOLOv5模型；S9、针对增强训练集中的每张增强扩展织物图像重复步骤S6-S8进行处理，当次重复选取的增强训练集中的X张增强扩展织物图像输入上一次重复步骤S8后参数更新的改进YOLOv5模型中处理，已选取处理过的增强扩展织物图像不进行重复选取，直至增强训练集中的所有的增强扩展织物图像均输入参数更新的改进YOLOv5模型处理过，获得此时的改进YOLOv5模型作为预训练改进YOLOv5模型；S10、将验证集输入预训练改进YOLOv5模型中进行处理，验证集中包括若干张扩展织物图像，针对验证集中的每张扩展织物图像，均输出N张验证预测特征图；对N张验证预测特征图进行步骤S7中处理N张训练预测特征图的相同的处理，获得若干验证预测框，根据扩展织物图像的各个目标GT框选取若干验证预测框作为验证候选框；根据各个验证候选框和扩展织物图像的各个目标GT框计算验证集中各个织物瑕疵类别的平均精确度AP，并计算所有平均精确度AP的平均精确度均值mAP；S11、重复步骤S9-S10，直至多次获得的平均精确度均值mAP等于一个固定值，获得此时的预训练改进YOLOv5模型作为训练完成的改进YOLOv5模型；S12、获取若干待检测织物图像，建立待检测织物图像数据集，将待检测织物图像数据集输入步骤S11中训练完成的改进YOLOv5模型中进行处理，针对每张待检测织物图像，均输出N张检测预测特征图，对N张检测预测特征图进行步骤S7中处理N张训练预测特征图的相同的处理，获得若干检测预测框；使用非极大值抑制NMS去除若干检测预测框中的冗余框，最终保留的检测预测框作为最终预测框；根据N张检测预测特征图和待检测织物图像之间的比例关系，将最终预测框映射至待检测织物图像中进行织物瑕疵的检测定位；所述的步骤S5中，搭建改进YOLOv5模型；改进YOLOv5模型包括依次连接的主干网络CSPDarknet_s、对齐密集特征金字塔网络AD-FPN、自适应特征净化模块AFPM和阶段性特征重分布模块PFRM，具体如下：a主干网络CSPDarknet_s：主干网络CSPDarknet_s包括依次连接的五层瓶颈层，第一层瓶颈层中包括一个卷积层，第二至四层瓶颈层中均包括依次连接的一个卷积层和一个瓶颈模块C3，第五层瓶颈层中包括依次连接的一个卷积层、一个瓶颈模块C3和一个快速空间金字塔池化模块SPPF；主干网络CSPDarknet_s的输入依次经五层瓶颈层中处理后尺度逐层减小，第三至五层瓶颈层的输出均作为主干网络CSPDarknet_s的输出；瓶颈模块C3包括第一1×1卷积层、n个依次连接的瓶颈结构模块Bottleneck、第二1×1卷积层、第三1×1卷积层和第一融合函数Concat，瓶颈模块C3的输入分别输入至第一1×1卷积层和第三1×1卷积层进行处理，第一1×1卷积层的输出依次输入至n个依次连接的瓶颈结构模块Bottleneck和第二1×1卷积层处理，第二1×1卷积层处理的输出和第三1×1卷积层处理的输出共同经过第一融合函数Concat处理后输出，输出结果作为瓶颈模块C3的输出；其中，第二至五层尺度层中的瓶颈模块C3中包含的瓶颈结构模块Bottleneck的数目n分别为1、2、3和1；b对齐密集特征金字塔网络AD-FPN：对齐密集特征金字塔网络AD-FPN包括三层尺度层和两层过渡层，第一和三层尺度层中均包括依次连接的一个融合函数Concat和一个瓶颈模块C3，第二层尺度层中包括一个渐进融合模块，第一层和第二层过渡层中均包括两个融合函数Concat和两个瓶颈模块C3，其中，第一和三层尺度层中的瓶颈模块C3中均分别有三个瓶颈结构模块Bottleneck，第一层和第二层过渡层中的每个瓶颈模块C3均仅有一个瓶颈结构模块Bottleneck；将主干网络CSPDarknet_s中的第三至五层瓶颈层的输出分别作为对齐密集特征金字塔网络AD-FPN中第三层、第二层和第一层尺度层的输入；第一层尺度层和第二层尺度层的输入分别经过上采样和下采样后共同输入第一层过渡层中处理，第一层过渡层的处理过程具体为第一层尺度层的输入的上采样结果和第二层尺度层的输入的下采样结果依次经过第一层过渡层中的第一个融合函数Concat和第一个瓶颈模块C3进行处理，处理结果和第一层尺度层的上采样结果以及第二层尺度层的输入的下采样结果共同经第一层过渡层中的第二个融合函数Concat和第二个瓶颈模块C3进行处理，处理的输出作为第一层过渡层的输出，第一层过渡层的输出分别输入至第一层尺度层和第二层尺层中处理；第一层过渡层的输出在第一层尺度层中和第一层尺度层的输入共同依次经第一层尺度层的融合函数Concat和瓶颈模块C3处理，处理的输出作为第一层尺度层的输出；第二层尺度层和第三层尺度层的输入分别经过上采样和下采样后共同输入第二层过渡层中进行和第一层过度层中处理第一层尺度层的输入的上采样结果和第二层尺度层的输入的下采样结果的相同的处理过程，输出第二层过渡层的输出，第二层过渡层的输出分别输入至第二层尺度层和第三层尺层中处理；第二层过渡层的输出在第三层尺度层中和第三层尺度层的输入共同依次经第三层尺度层的融合函数Concat和瓶颈模块C3处理，处理的输出作为第三层尺度层的输出；第一层过渡层的输出和第二层过渡层的输出在第二层尺度层中和第二层尺度层的输入共同经第二层尺度层的渐进融合模块处理，处理结果作为第二层尺度层的输出；第一至三层过渡层的输出均作为对齐密集特征金字塔网络AD-FPN的输出；渐进融合模块包括第二融合函数Concat、第一瓶颈模块C3、第三融合函数Concat、第二瓶颈模块C3和半尺度对齐模块HSA，第一过渡层的输出和第二尺度层的输入共同经第二融合函数Concat处理后输入第一瓶颈模块C3处理，处理的输出和第二层过渡层的输出共同输入至半尺度对齐模块HSA中处理，处理结果和第一瓶颈模块C3的输出共同输入至第三融合函数Concat中处理，处理的输出最终经第二瓶颈模块C3处理后输出作为渐进融合模块的输出，即作为第二层尺度层的输出；其中，第一瓶颈模块C3中仅有一个瓶颈结构模块Bottleneck，第二瓶颈模块C3中有两个瓶颈结构模块Bottleneck；c自适应特征净化模块AFPM：对齐密集特征金字塔网络AD-FPN中的第三层尺度层的输出作为自适应特征净化模块AFPM的输入；自适应特征净化模块AFPM包括全局平均池化层GAP、通道选择模块和特征净化模块FPM，自适应特征净化模块AFPM的输入依次经过全局平均池化层GAP和通道选择模块处理，处理结果经特征净化模块FPM处理后与自适应特征净化模块AFPM的输入相加，相加结果最为自适应特征净化模块AFPM的输出；通道选择模块包括依次连接的两个全连接层FC构成的瓶颈全连接层BottleneckFC，通道选择模块的输入经瓶颈全连接层BottleneckFC处理后再进行二值化处理，输出的结果作为通道选择模块的输出；特征净化模块FPM包括依次连接的一个1×1卷积层、一个深度卷积层和两个3×3卷积层；特征净化模块FPM的输入依次经一个1×1卷积层、一个深度卷积层和两个3×3卷积层处理后，处理结果和特征净化模块FPM的输入相乘，相乘结果再和特征净化模块FPM的输入相加，相加结果作为特征净化模块FPM的输出；d阶段性特征重分布模块PFRM：第一层尺度层的输出、第二层尺度层的输出和自适应特征净化模块AFPM的输出共同作为阶段性特征重分布模块PFRM的输入；阶段性特征重分布模块PFRM包括第四融合函数Concat、第四1×1卷积层、通道注意力机制模块CA、第三瓶颈模块C3和第四瓶颈模块C3；第三瓶颈模块C3和第四瓶颈模块C3中均分别有1个瓶颈结构模块Bottleneck；第一层尺度层的输出和自适应特征净化模块AFPM的输出分别进行上采样和下采样处理后和第二层尺度层的输出共同依次经第四融合函数Concat、第四1×1卷积层和通道注意力机制模块CA处理后，处理结果和第四1×1卷积层的输出相加，相加结果经第三瓶颈模块C3处理后输出中间特征输出；中间特征输出经第四瓶颈模块C3处理后和第一层尺度层的输出相加获得第一重分布结果；中间特征输出经第四瓶颈模块C3处理后和第二层尺度层的输出相加获得第二重分布结果；中间特征输出直接和自适应特征净化模块AFPM的输出相加获得第三重分布结果；第一重分布结果、第二重分布结果和第三重分布结果均作为阶段性特征重分布模块PFRM的输出。

全文数据：

权利要求：

百度查询： 浙江理工大学 一种针对复杂场景的高效瑕疵检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD