申请/专利权人：华南农业大学

申请日：2021-12-23

公开（公告）日：2024-04-16

公开（公告）号：CN114266975B

主分类号：G06V20/10

分类号：G06V20/10;G06V20/17;G06V10/26;G06V10/774;G06V10/82;G06T3/4046;G06T3/4053;G06N3/045;G06N3/0464;G06N3/0475;G06N3/094;G06N3/126

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2022.04.19#实质审查的生效;2022.04.01#公开

摘要：本发明公开了一种无人机遥感图像的荔枝果实检测与计数方法，包括：采集果园果实无人机遥感图像，构建图像数据库；建立荔枝树冠分割模型，获取荔枝树冠分割结果图；建立荔枝果实检测模型，对输入的树冠分割结果图进行两个阶段检测，第一阶段检测能够对非密集果实区域进行准确检测，第二阶段能够对密集果实区域进行精准检测；分别统计非密集果实区域与密集果实区域的检测结果，得到最终的果实检测数量。本发明解决了无人机遥感图像的荔枝果实检测中，果实目标小、密集、重叠和遮挡导致目标检测精度低的问题。

主权项：1.无人机遥感图像的荔枝果实检测与计数方法，其特征在于，包括以下步骤：S1、采集果园果实无人机遥感图像，构建图像数据库，并划分训练集Setor、验证集Setval和用于后续测试统计检测指标的测试集，且从训练集Setor中挑选果实密集的图像进一步处理，构建超分图像训练集SetSR；S2、建立荔枝树冠分割模型，用图像数据库中的训练集Setor和验证集Setval对该荔枝树冠分割模型进行训练并验证，获取每棵荔枝树的树冠分割结果图；S3、建立荔枝果实检测模型，对输入的树冠分割结果图的所有区域都进行目标检测，称为第一阶段检测，最终根据荔枝果实检测模型的热图分支、宽高分支和偏移量分支获取检测结果，其中，根据第一阶段检测的热图分支输出的热图划分密集果实区域和非密集果实区域，第一阶段检测能够对非密集果实区域进行准确检测，但对于密集果实区域会存在漏检情况，主要原因为密集果实区域遮挡严重，单个目标尺寸小和特征少，因此需要进行第二阶段检测，该第二阶段检测需要根据第一阶段检测的热图分支输出的热图确定密集果实区域，再对密集果实区域进行超分辨率操作获取超分密集果实图像，最后对超分密集果实图像进行二次特征提取和目标定位，以实现密集果实区域的精准检测；选择基于无锚点的目标检测算法CenterNet作为荔枝果实检测模型的基本框架，其特征提取主干网络为DLA-34，进行网络改进，以适应小目标特征提取，即采用了改进的CenterNet，具体如下：DLA-34包括5个level层，分别为level1、level2、level3、level4和level5，在level1层不进行下采样，则输入图像由原来四倍下采样调整至二倍下采样，网络输出特征尺寸由原来的128×128变为256×256，避免因为过度下采样导致小目标特征丢失；在level1和level2层中使用空洞卷积，增加感受野；特征提取主干网络输出包含三个分支，分别为热图分支hm、宽高分支wh和偏移量分支reg，增大hm输出的热图最大峰值数peak，以适应密集果实的检测；增加热图损失权重系数λhm，最终损失Ldet如公式1所示：Ldet＝λhmLk+λsizeLsize+λoffLoff1式中，Lk、Lsize、Loff分别为hm、wh和reg的损失函数，系数λhm、λsize和λoff和分别为hm、wh和reg的损失权重系数；在荔枝果实检测模型训练中，用训练集Setor和SetSR对该荔枝果实检测模型进行交替训练，使荔枝果实检测模型适应原始图像和超分图像果实目标检测；在第二阶段检测中，对密集果实区域进行如下检测：首先，利用第一阶段检测的热图分支输出的热图形成密集果实区域的拼接图Imosc，具体如下：热图是一张二维图，坐标点的值代表接近目标中心的概率；设置热图阈值，对热图进行阈值分割，而后进行开操作，先去除离散的目标区域，再平滑果实密集区域连通域边界，以获得密集果实候选区域；将密集果实候选区域映射回原图，裁剪相应矩形框；若m个不同区域的矩形框发生重叠，则形成覆盖这m个区域的矩形框，其中m为2个或3个以上；最终形成n个互不重叠的密集果实候选区域矩形框；将n个密集果实候选区域矩形框，利用矩形件排样问题的遗传算法，拼接为密集果实候选区域图，使其最小面积；将n个密集果实候选区域矩形框看做n个矩形件，将拼接的密集果实候选区域图看作排样图；如此，n个密集果实候选区域矩形框拼接问题，能转化为矩形件排样优化问题，即在给定的矩形板材上排放所需要的n个矩形件，使排放区域的板材废料尽可能地少，以达到节省板材的目的；计算n个矩形件的面积总和A，选择板材的宽度Width；利用BL算法与遗传算法相结合，求解最优排样图，即获得n个密集果实候选区域矩形框的拼接图Imosc，遗传算法适宜度函数fP如公式2所示：fP＝H-hP+AreahP×Width2式中，P为父辈个体，是n个矩形件的一种排样P＝{p1,p2,…,pi,…,pn}，pi为整数，有正负之分，且1≤|pi|≤n，表示矩形件的编号，pi为负值时表示矩形件旋转90度后再排放；hP为排样高度，H为一个事先选定的高度值，为一常数，其值应确保使H≥hP的值为正；Area为可再利用废料的面积，hP×Width为排样所需矩形板材的面积，Area＝hP×Width-A；用0填充拼接图Imosc空白区域，得到128×128尺寸的图像Iresize；对图像Iresize，利用超分辨率网络，进行超分辨率操作，具体如下：超分辨率网络使用SRGAN网络，SRGAN网络对抗损失由GAN提供，根据图像是否能够欺骗过判别网络进行训练，放大因子为4，网络输入为图像Iresize；加载预先训练好的SRGAN网络模型，输入图像Iresize，最终超分图像ISR像素为512×512；将超分图像ISR输入到特征提取主干网络中进行二次特征提取和目标定位，从而实现对密集果实区域的精准检测；S4、分别统计第一阶段检测的非密集果实区域与第二阶段检测的密集果实区域的检测结果，得到最终的果实检测数量。

全文数据：

权利要求：

百度查询： 华南农业大学 无人机遥感图像的荔枝果实检测与计数方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD