申请/专利权人：中国民航大学

申请日：2022-06-23

公开（公告）日：2024-04-26

公开（公告）号：CN115063725B

主分类号：G06V20/40

分类号：G06V20/40;G06V10/82;G06V10/80;G06V10/774;G06V10/40;G06V10/26;G06N3/0464;G06N3/048;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.26#授权;2022.10.04#实质审查的生效;2022.09.16#公开

摘要：本发明涉及民用航空器维修技术领域，公开了一种基于多尺度自适应SSD算法的飞机蒙皮缺陷识别系统，包括矩阵分割模块、检测网络模块、缺陷分类模块和矩阵拼接模块；矩阵分割模块用于逐帧分割系统所获取的视频，将视频中每秒图像分为N帧，将每帧图片分割为若干尺寸一致的样本图片并进行排序和标注；检测网络模块用于网络训练过程的数据读取和特征提取融合；缺陷分类模块用于对检测网络模块的输出结果进行分类预测与位置预测；矩阵拼接模块用于图片还原，合成带有缺陷损伤标注的视频。本发明可以在保证模型性能的同时将深度学习部署到嵌入式开发板设备上，便于在室外移动场景使用，同时提高了模型对小目标的检测精度，提升了飞机蒙皮的检测效率。

主权项：1.一种基于多尺度自适应SSD算法的飞机蒙皮缺陷识别系统，其特征在于，包括矩阵分割模块、检测网络模块、缺陷分类模块和矩阵拼接模块；所述矩阵分割模块用于逐帧分割系统所获取的视频，将视频中每秒图像分为N帧，以每帧图片的左上角为原点，以每帧图片的横向为X轴，以每帧图片的竖向为Y轴，将每帧图片分割为若干尺寸一致的样本图片，形成分割矩阵，每帧图片中的样本图片按照先行后列顺序进行排序和标注，将样本图片按照排序逐帧输送至所述检测网络模块；所述检测网络模块包括图像处理增强子模块、特征提取子模块和特征融合子模块；所述图像处理增强子模块用于网络训练时的数据读取和扩增以及视频处理时的数据读取；所述网络训练时的数据读取和扩增的过程为读取所述矩阵分割模块所输出的样本与图片数据集中图像文件夹与标注文件夹内的图像数据与标注数据，对图像数据与标注数据进行扩增，再将扩增后的图像数据与标注数据叠加输送至所述特征提取子模块中；所述视频处理时的数据读取的过程为仅将矩阵分割模块输出的图像数据输送至所述特征提取子模块中；所述特征提取子模块用于接收所述图像处理增强子模块处理后的图像数据与标注数据，采用卷积神经网络结构进行缺陷特征提取，所述卷积神经网络结构包括自上而下的浅层特征提取部分、中层特征提取部分与深层特征提取部分；所述特征融合子模块用于融合所述特征提取子模块所输出的部分有效特征层，并将融合后的有效特征层输送至所述缺陷分类模块；所述缺陷分类模块用于对所述特征融合子模块所输出的有效特征层进行种类预测与位置预测，形成带有缺陷损伤标注的图片并输送至所述矩阵拼接模块；所述矩阵拼接模块用于将经过所述缺陷分类模块处理后的带有缺陷损伤标注的图片，依照分割矩阵时的排序进行图片还原与逐帧还原，合成带有缺陷损伤标注的视频进行展示；所述浅层特征提取部分包括3个block，所述浅层特征提取部分中的每个所述block分别包括两个深度可分离卷积与一个池化层；所述深度可分离卷积层为：先进行一次卷积操作之后，再利用1×1×3的卷积核扩大深度；所述中层特征提取部分从上到下依次为1个block和1个多尺度非对称卷积模块和两个卷积层；所述中层特征提取部分中的所述block中包含三个卷积层与一个池化层；所述多尺度非对称卷积模块采用并行结构将残差结构与多分支结构结合，所述残差结构用于跳跃连接，跳跃部分为多分支结构，所述多分支结构的通道数分为4条，具体如下：第一条选用1×1卷积、一次膨胀率为1的3×3卷积；第二条选用1×1卷积、一次3×3卷积、一次膨胀卷积率为3的3×3卷积；第三条选用1×3的非对称卷积、一次3×1的非对称卷积，一次膨胀卷积率为5的3×3卷积；第四条选用一次1×5的非对称卷积，一次5×1的非对称卷积，一次膨胀率为7的3×3卷积；将所述多分支结构进行堆叠，并与所述残差结构进行合并；其中，将所述中层特征提取部分中的所述block中的第三个卷积层与最后两个卷积层用于传入所述特征融合子模块的有效特征层，并命名为Mid4_3、Mid5、Mid6；所述深层特征提取部分包括4个block，所述深层特征提取部分中的每个所述block分别由两个卷积层组成；其中，所述深层特征提取部分中的每个所述block的最后一个卷积层为用于传入所述特征融合子模块的有效特征层，并命名为Deep5_2、Deep6_2、Deep7_2、Deep8_2；所述特征融合子模块的融合过程，具体如下：采用batchNormalization层与激活函数层对所述特征提取子模块中的Mid4_3、Mid5、Mid6、Deep5_2、Deep6_2、Deep7_2层进行处理，处理后分别命名为MMid4_3、MMid5、MMid6、MDeep5_2、MDeep6_2、MDeep7_2、MDeep8_2；卷积层融合分别为OMid4_3、OMid6、ODeep5_2、ODeep6_2、ODeep7_2；其中，OMid4_3采用OMid4_3、一次上采样后的MMid6、两次上采样后的MDeep5_2层经过融合后得到；OMid6采用一次上采样后的MDeep5_2、MMid5、MMid6融合后得到；ODeep5_2采用MDeep5_2与一次上采样后的MDeep6_2融合得到；ODeep6_2采用MDeep6_2与一次上采样后的MDeep7_2融合得到；ODeep7_2采用MDeep7_2与一次上采样的MDeep8_2融合得到。

全文数据：

权利要求：

百度查询： 中国民航大学 基于多尺度自适应SSD算法的飞机蒙皮缺陷识别系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD