申请/专利权人：孙杨;安徽南瑞继远电网技术有限公司

申请日：2021-01-19

公开（公告）日：2024-04-16

公开（公告）号：CN112767351B

主分类号：G06T7/00

分类号：G06T7/00;G06T7/73;G06V10/764;G06V10/80;G06V10/82;G01N21/88

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2021.05.25#实质审查的生效;2021.05.07#公开

摘要：本发明涉及一种基于敏感位置依赖分析的变电设备缺陷检测方法，与现有技术相比解决了变电设备缺陷检测率低的缺陷。本发明包括以下步骤：变电设备缺陷图像集的获取；缺陷检测网络的构建；缺陷检测网络的训练；待检测缺陷图像的获取；变电站设备缺陷问题的检测。本发明充分考虑变电设备图像里相关性高的像素之间的关联性，使得重组后的目标特征不仅仅是单纯的目标本身信息，关联包含了图像背景以及目标上下文依赖信息，更有利于检测识别。

主权项：1.一种基于敏感位置依赖分析的变电设备缺陷检测方法，其特征在于，包括以下步骤：11变电设备缺陷图像集的获取：获取若干张变电站设备缺陷图像，形成变电站缺陷图像数据集，其包括表计破损图像、绝缘子破裂图像、硅胶变色图像、油封破损图像、高空悬浮物图像、鸟巢图像、地面油污图像、金属锈蚀图像；12缺陷检测网络的构建：构建缺陷检测网络，所述缺陷检测网络分为两部分，第一部分为全局特征提取网络、第二部分为局部缺陷检测网络；121设定缺陷检测网络的第一部分为全局特征提取网络，全局特征提取网络用于自动学习变电站设备缺陷图像空间到其特征空间的特征映射，该特征由骨干网络提取，输入是变电站设备缺陷图像I，输出是基于整张图像得到的全局特征图，全局特征图用于局部缺陷检测网络全局搜索所有潜在的缺陷目标位置；122设定缺陷检测网络的第二部分为局部缺陷检测网络，局部缺陷检测网络用于从全局特征图中全局搜索所有潜在的缺陷目标位置，找到对应缺陷目标的区域，描述每一个缺陷目标区域下的目标特征；123构建全局特征提取网络：构建全局特征提取网络包括骨干网络和特征金字塔网络；骨干网络使用迁移学习以ImageNet数据集上的预训练权重作为骨干网络的参数初始值，其包括卷积操作、池化操作、非线性激活操作、归一化操作；特征金字塔网络将骨干网络不同层级的输出经过多次上采样并和当层级特征图融合，取融合后特征图作为全局特征图F；124构建局部缺陷检测网络；所述构建局部缺陷检测网络包括以下步骤：1231设定局部缺陷检测网络的第一层为缺陷区域初步定位网络、第二层为敏感位置依赖分析网络、第三层为缺陷分类定位网络；1232设定缺陷区域初步定位网络为区域建议生成网络，用于在全局特征图上面产生多个初步缺陷感兴趣区域，用完全卷积的方式实现，使用感兴趣区域均值采样降维到固定大小的局部特征图；缺陷区域初步定位网络用全局特征提取网络产生的全局特征图F作为输入,输出是缺陷目标对应的局部特征图Flocal＝F1,F2,...Fk1,...,FN,N为自定义要寻找的初步缺陷数量；1233设定敏感位置依赖分析网络，获取像素点和其他所有位置像素点之间的相互关系，利用像素间的敏感性建立图像上相关性大的像素之间的联系，关系不敏感的像素之间赋予较低权重，关系敏感的像素之间赋予较大权重，敏感位置依赖分析网络输入的是缺陷目标对应的局部特征图Fk，输出的是敏感位置依赖分析特征图；1234设定缺陷分类定位网络通过两个全连接层产生两个分支即定位层和分类层，定位出缺陷位置以及给出对应的类别概率向量；13缺陷检测网络的训练：将变电设备缺陷图像集输入缺陷检测网络，对缺陷检测网络的全局特征提取网络和局部缺陷检测网络进行端到端的训练；所述缺陷检测网络的训练包括以下步骤：131将变电设备缺陷图像集输入缺陷检测网络的第一部分全局特征提取网络；132将骨干网络不同层级的输出输入特征金字塔网络，输出变电站设备缺陷图像的全局特征图F；133将变电站设备缺陷图像的全局特征图F输入局部缺陷检测网络的第一层缺陷区域初步定位网络，经过其512个通道和3x3卷积核大小的卷积层，使用1x1卷积核的并行卷积层，并行卷积层的通道数量取决于利用每个全局特征图上的点想寻找的目标区域数量，最终输出初步定位出的缺陷目标对应的局部特征图N为自定义要寻找的初步缺陷数量；134将缺陷目标对应的局部特征图Flocal输入敏感位置依赖分析网络进行训练，得到敏感位置依赖分析后的特征图，敏感位置依赖分析后的特征图中每一个像素点值是局部特征图Fk∈s*s*C所有像素点的重新组合；所述将缺陷目标对应的局部特征图输入敏感位置依赖分析网络进行训练包括以下步骤：1341对缺陷目标对应的局部特征图中的Fk1先进行s*s区域划分并取均值得到Fk∈s*s*C，Fk具有C个通道，每个通道特征图大小为s*s,将三维局部特征图Fk以g形式转换成对应点的特征向量矩阵形式， 其中表示第q个空间位置点的特征向量，表示第q个空间位置点在第i个通道的特征值；1342将三维局部特征图Fk∈s*s*C以f形式转换成对应点的特征向量矩阵形式， 其中表示第m个空间位置点的特征向量， 其中表示第m个空间位置点在第i个通道的特征值；1343将二维特征图Fg与二维特征图Ff中每个元素用类似矩阵乘法的元素选择操作规则计算元素间的相关系数得到每个点与其他空间位置像素点之间的关系，表示第q个点和第m个点的相关系数， 1344获取权重矩阵W，对关系矩阵使用依赖分析函数softmax使得像素位置之间的相关性变得稀疏且归类到[0,1]之间，wqm表示第q个空间位置点和第m的空间位置点的权重， 1345获取敏感位置依赖分析后的特征图，使用权重矩阵与原像素点相乘，即敏感位置依赖分析后的特征图里每一个像素点值是局部特征图Fk∈s*s*C所有像素点的重新组合，且权重是当前像素点和所有像素点的相关系数； 其中表示第q个空间位置点的依赖分析特征向量,是空间位置中所有像素点的组合，并且权重是第q个空间位置点和所有像素点的相关系数；将矩阵按照像素点空间位置和通道排列成三维特征图，即获取最终的敏感位置依赖分析后的特征图A；1346敏感位置得到依赖分析之后加到原特征图Fk∈s*s*C上获取最终的特征图用于最终的缺陷区域分类和检测；135将敏感位置得到依赖分析后的特征图加到原特征图Fk∈s*s*C上获取最终的特征图输入缺陷分类定位网络，通过缺陷分类定位网络的定位层和分类层，定位出缺陷位置以及给出对应的类别概率向量；136根据得到的缺陷位置利用SmoothL1损失函数反向传播误差，同时根据得到的类别概率向量利用softmax损失函数反向传播误差，对所有权重利用梯度下降法计算损失函数梯度，更新需要学习的权重；14待检测缺陷图像的获取：获取待检测的变电站设备缺陷图像；15变电站设备缺陷问题的检测：将待检测的变电站设备缺陷图像输入训练后的缺陷检测网络，检测出变电站设备缺陷类型。

全文数据：

权利要求：

百度查询： 孙杨;安徽南瑞继远电网技术有限公司 一种基于敏感位置依赖分析的变电设备缺陷检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD