申请/专利权人：吉林大学;林赐云

申请日：2021-11-10

公开（公告）日：2024-04-16

公开（公告）号：CN114037918B

主分类号：G06V20/17

分类号：G06V20/17;G06V10/25;G06V10/762;G06V10/774;G06V10/82;G06N3/0464;G06N3/082;G06N3/0985

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2022.03.01#实质审查的生效;2022.02.11#公开

摘要：本发明介绍了一种基于无人机巡检和图像处理的光伏热斑检测方法，即无人机拍摄的红外图像实时图传给地面站，在地面站PC端通过yolov5目标检测算法对热斑进行检测，yolov5目标检测算法相比于yolov4在牺牲了极少的检测精度情况下，轻量化了模型，并提高了检测速度，而且针对数据集中不同尺寸的原始图片可以自适应产生锚定框，提升目标定位的精度。北斗导航系统配合GPS可以迅速确定发生故障的光伏组件并像人员调度中心发出警报，帮助维修人员及专家及时修复受损组件，提高光伏电站的运维效率。

主权项：1.一种基于无人机巡检和图像处理的光伏热斑检测方法，主要特征包括：使用无人机搭载相机按照规划的航线自动巡检；人为操作遥控器地面站，控制无人机搭载的相机，调整云台俯仰的旋转角度和左右的旋转角度以获得大小合适，清晰的光伏组件热红外图像；利用无人机回传的图片完成热斑的实时监测；热斑的检测步骤具体如下：S1、利用红外热像仪采集光伏组件图像，将热斑区域用矩形框标注出来，标注好的数据集用于下一步的网络参数训练；S2、在数据集输入网络之前进行预处理，yolov5输入端采用mosaic数据增强，这种数据增强方式简单来说就是把4张图片，通过随机缩放、随机排布的方式进行拼接；优点是丰富数据集：1随机使用4张图片，随机缩放，再随机排布进行拼接，大大丰富了检测数据集，特别是随机缩放增加了很多小目标，让网络的鲁棒性更好；2减少GPU：直接计算4张图片的数据，使得Mini-batch大小并不需要很大，一个GPU就可以达到比较好的效果；S3、在Yolo算法中，针对不同的数据集，都会有初始设定长宽的锚框；在网络训练中，网络在初始锚框的基础上输出预测框，进而和真实框groundtruth进行比对，计算两者差距，进行误差反向传播，从而更新模型的参数；对于边界框的回归问题我们可以采用kmeans++算法来代替kmeans聚类以得到更好的聚类效果；Kmeans方法因为简单高效在机器学习领域得到了很多应用，但是随机选择几个点作为初始的聚类中心往往会造成聚类效果的不理想；为了解决kmeans算法初始化的问题，本发明使用改进的K-Means算法kmeans++算法，kmeans++算法主要是为了能够在聚类中心的选择过程中选择较优的聚类中心；kmeans++算法在聚类中心的初始化过程中的基本原则是使得初始的聚类中心之间的相互距离尽可能远，这样可以避免出现上述的问题；K-Means++算法的初始化过程为：1在数据集中随机选择一个样本点作为第一个初始化的聚类中心；2选择出其余的聚类中心；2.1计算样本中的每一个样本点与已经初始化的聚类中心之间的距离，并选择其中最短的距离，记为d_i；2.2以概率选择距离最大的样本作为新的聚类中心，重复上述过程，直到k个聚类中心都被确定；3对k个初始化的聚类中心，利用K-Means算法计算最终的聚类中心；S4、损失函数的确定；Yolov5原论文中采用GIOU_Loss做Boundingbox的损失函数；其表达式为： Ac为groundtruth与预测框两者的最小外接矩形，U则为两者求并集；但是DIoU要比GIoU更加符合目标框回归的机制，将目标与anchor之间的距离，重叠率以及尺度都考虑进去，使得目标框回归变得更加稳定，不会像IoU和GIoU一样出现训练过程中发散等问题，其表达式为： 其中，b，bgt分别代表了预测框和真实框的中心点，且ρ代表的是计算两个中心点间的欧式距离；c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离；DIoUloss具有以下优势：1DIoUloss可以直接最小化两个目标框的距离，因此比GIoUloss收敛快得多；2对于包含两个框在水平方向和垂直方向上这种情况，DIoU损失可以使回归非常快，而GIoU损失几乎退化为IoU损失；3DIoU还可以替换普通的IoU评价策略，应用于非极大值抑制中，使得非极大值抑制得到的结果更加合理和有效；再将Boundingbox的长宽比考虑到计算中去，就得到了本发明要采用的损失函数CIoUloss，完整的CIoU的表达式为： 其中α是权重函数，而v用来度量长宽比的相似性，定义为： 上述公式中，wgt表示真实框的宽，hgt表示真实框的高，w表示预测框的宽，h表示预测框的高，bgt表示真实框的中心点坐标，b表示预测框的中心点坐标，c为预测框和真实框的最小包围框的对角线长度；最后，CloUloss的梯度类似于DIoUloss，但还要考虑v的梯度；在长宽比在[0,1]的情况下，的值通常很小，会导致梯度爆炸，因此在实现时将替换成1；S5、激活函数的选取；本发明采用近两年最新的研究成果Mish激活函数，相较于应用较广的LeakyReLu激活函数Mish激活函数在小于零部分更加平滑，大于零部分则维持接近线性增长，这样既允许更好的信息深入神经网络又便于误差反向传播，梯度下降时的参数计算，使得骨干网络部分得到更好的准确性和泛化能力；Mish激活函数表达式为：Mish＝x*tanhln1+exS6、按照步骤搭建好在原论文基础上改进的网络结构，将标注好的红外图像送入网络进行训练，达到准确率要求后保存权重文件，用于热斑检测系统对其他样本进行预测。

全文数据：

权利要求：

百度查询： 吉林大学;林赐云 一种基于无人机巡检和图像处理的光伏热斑检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD