申请/专利权人：湖南大学

申请日：2023-12-27

公开（公告）日：2024-04-12

公开（公告）号：CN117474914B

主分类号：G06T7/00

分类号：G06T7/00;G06N3/045;G06N3/0464;G06N3/096;G06V10/25;G06V10/44;G06V10/52;G06V10/774;G06V10/80;G06V10/82;G01N21/88

优先权：

专利状态码：有效-授权

法律状态：2024.04.12#授权;2024.02.20#实质审查的生效;2024.01.30#公开

摘要：本发明公开了一种基于轻量化神经网络的飞机蒙皮表面缺陷检测方法，包括：构建用于网络训练的数据集；构建用于飞机蒙皮缺陷检测的教师网络模型和轻量化学生网络模型，使用数据集对教师网络模型进行训练，并将训练好的教师网络模型权重文件保存并载入到教师网络模型，使用数据集对学生网络模型进行训练，根据教师网络模型和学生网络模型输出的多尺度特征计算不确定性预测的知识蒸馏损失，结合蒸馏损失和学生网络模型原本的检测损失利用反向传播算法来训练学生网络模型，保存训练好的学生网络模型的权重文件；利用训练好的轻量化学生网络模型实现飞机蒙皮的缺陷检测。在确保精度的前提下，大幅度降低计算复杂度，提高自动化检测技术应用的实时性。

主权项：1.一种基于轻量化神经网络的飞机蒙皮表面缺陷检测方法，其特征在于，所述方法包括以下步骤：S100：对飞机蒙皮进行拍照，并对拍摄的照片进行预处理操作，使用标注软件进行标注，构建用于网络训练的数据集；S200：构建用于飞机蒙皮缺陷检测的教师网络模型和轻量化学生网络模型；S300：使用数据集对教师网络模型进行训练，并将训练好的教师网络模型权重文件保存；S400：使用数据集对轻量化学生网络模型进行训练，根据教师网络模型和轻量化学生网络模型输出的多尺度特征计算不确定性预测的知识蒸馏损失，利用反向传播算法来训练轻量化学生网络模型；S500：将训练好的用于飞机蒙皮缺陷检测的轻量化学生网络模型部署和应用到自主移动机器人上，实现飞机蒙皮的动态、实时缺陷检测；S200中教师网络模型包括用于多尺度特征提取的深度为101层的残差网络、用于多尺度特征融合的特征金字塔模块和用于检测结果预测的检测头模块；其中，特征金字塔模块先利用卷积层构建出不同尺度大小、通道数相同的多尺度特征，再利用双线性插值实现自顶向下的特征融合，实现语义特征与像素级特征的融合，检测头模块先利用四个共享权重的卷积层对融合后的多尺度特征进行编码，再通过由卷积层组成的两条解码分支分别预测出缺陷的定位框和类别；S200中轻量化学生网络模型包括用于多尺度特征提取的深度为18层的残差网络、用于多尺度特征融合的特征金字塔模块和用于检测结果预测的检测头模块；其中，特征金字塔模块先利用卷积层构建出不同尺度大小、通道数相同的多尺度特征，再利用双线性插值实现自顶向下的特征融合，实现语义特征与像素级特征的融合，检测头模块先利用四个共享权重的卷积层对融合后的多尺度特征进行编码，再通过由卷积层组成的两条解码分支分别预测出缺陷的定位框和类别；S400包括：S410：载入保存的教师网络模型权重文件到教师网络模型，使用数据集对轻量化学生网络模型进行训练；S420：数据集中的缺陷图片分别经过教师网络模型和轻量化学生网络模型的残差网络和特征金字塔之后得到具有不同尺度大小的特征图和，其中，，表示轻量化学生网络模型的多尺度特征，表示教师网络模型的多尺度特征；S430：利用不确定性预测的知识蒸馏方法计算具有相同尺寸大小的特征图和之间的不确定性预测的知识蒸馏损失；其中，基于不确定性预测的知识蒸馏损失包括不确定性前景损失、不确定性背景损失、注意力损失和全局损失；S440：结合蒸馏损失和轻量化学生网络模型原本的检测损失利用反向传播算法来训练轻量化学生网络模型，利用不确定性预测的知识蒸馏方法实现教师网络模型对轻量化学生网络模型的知识传递，保存训练好的轻量化学生网络模型的权重文件，作为最终用于飞机蒙皮缺陷检测的轻量化学生网络的权重文件；S430包括：S431：计算具有相同尺寸大小的特征图和之间的空间注意力损失、通道注意力损失、特征损失和全局信息损失，根据空间注意力损失和通道注意力损失计算得到注意力损失；S432：搭建不确定性预测网络，包括特征映射模块、MLP编码模块、特征拼接模块和不确定性预测模块；S433：计算特征图的掩码和尺度缩放矩阵，将空间注意力损失、通道注意力损失、特征损失和全局信息损失输出至不确定性预测网络，通过特征映射模块中1x1卷积层计算不同损失的深度特征映射，再利用MLP编码模块的多层感知机技术分别对损失的特征映射进行编码得到编码特征，并通过特征拼接模块对不同损失的编码特征进行拼接，通过不确定性预测模块对损失的编码特征进行解码，进而预测出每个像素位置的不确定性因子；结合不确定因子得到不确定前景损失和不确定性背景损失；S434：根据注意力损失、全局信息损失、不确定前景损失和不确定性背景损失计算得到不确定性预测的知识蒸馏损失；S433具体为：为了对特征图的前景和背景分开蒸馏，前景对应了飞机蒙皮缺陷，背景对应了非缺陷，计算特征图的掩码，具体计算公式如下： ；其中，表示坐标位置，GT表示真实标注框；为了防止计算过程中的损失值过大，通过计算和的乘积来减小的数值，其中的计算方式如下： ； ；其中，表示尺度缩放矩阵，H和W分别表示特征图的高和宽，表示坐标位置，GT表示真实标注框；先利用1x1卷积层计算不同损失的深度特征映射，再利用多层感知机技术MLP分别对损失的特征映射进行编码得到编码特征E，并通过线性层对损失的编码特征进行解码，从而预测出每个像素位置的不确定性因子U，具体的计算如下： ； ； ； ； ；其中，和分别代表教师网络模型和轻量化学生网络模型的特征，conv1代表用于特征映射的1x1卷积层，MLP代表多层感知机，Cat表示将不同损失的编码特征进行拼接，predict是由线性层和ReLU层组成的不确定性预测网络，U表示每个像素点的不确定性；不确定性前景损失和不确定性背景损失计算如下： ； ；其中，和适用于调整前景不确定性和背景不确定损失大小的超参数，是用于调整将轻量化学生网络模型通道数的自适应函数，表示教师网络模型中在c通道位置的特征值，表示轻量化学生网络模型中在c通道位置的特征值。

全文数据：

权利要求：

百度查询： 湖南大学 一种基于轻量化神经网络的飞机蒙皮表面缺陷检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD