申请/专利权人：长江大学

申请日：2023-12-13

公开（公告）日：2024-03-15

公开（公告）号：CN117711062A

主分类号：G06V40/20

分类号：G06V40/20;G06V10/764;G06V10/774;G06V10/82;G06N3/0464;G06V10/42;G06V20/40;G06V10/80

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.02#实质审查的生效;2024.03.15#公开

摘要：该基于卷积神经网络的瓢虫运动行为分析方法将深度学习和数据分析技术进行融合，使用深度学习技术训练姿态估计模型对瓢虫进行监测，并获取足部关键点位置信息，再结合使用数据分析处理获得瓢虫运动时的步频、步幅、步速参数，达到指导瓢虫物理防治的目的。

主权项：1.一种基于卷积神经网络的瓢虫运动行为分析方法，其特征在于：所述的瓢虫运动行为分析方法，包括如下步骤：1、获取数据数据；将一只或多只瓢虫放置在透明的培养皿内，其可以在其内部自由运动；高清摄像机安装在培养皿上方，以垂直视角和固定距离从上而下拍摄瓢虫，视频分辨1920*1080，帧率为60帧每秒；2、数据处理；将步骤1中获得的视频分为训练视频与预测视频，将训练视频拆分为一帧一帧的图像数据，筛选图像数据中存在模糊，噪声明显以及不存在待检测目标的样本，确保每一张图片样本包含需要检测到的瓢虫足部关键点，形成训练图像集；3、数据标注；使用Labelme对训练图像集中的图像数据进行数据标签标注，对瓢虫以及其足部关键点进行标注，包括：'瓢虫'，'左前足'，'左中足，'左后足'，'右前足'，'右中足'，'左后足'，将标记完的标签数据作为神经网络的训练输入数据集；4、构建瓢虫姿态估计神经网络模型；本发明的神经网络模型是在现有YOLOv8-pose网络基础上进行的改进；4.1、主干特征提取网络；主干特征提取网络是在现有YOLOv8-Pose网络基础上进行的改进，改进的方法如下：使用YOLOv8-Pose网络的特征提取模块结构并进行改进，在原有的主干特征提取网络中加入SPD-Conv模块；主干特征提取部分由普通卷积块、SPD-Conv模块、C2f模块、SPPF模块；4.2、颈部网络获取检测头P2，P3，P4，P5构建的新的网络模型；5.运动行为分析使用步骤4中训练得到的网络模型对步骤2需要检测的中的预测视频进行预测，程序会检测视频的每一帧，并将预测结果以文本文件的形式保存下来，文本文件中的内容包括，瓢虫的中心点位置坐标，预测框的宽、高，置信度，左前足的x坐标、y坐标，左中足的x坐标、y坐标，左后足的x坐标、y坐标，右前足的x坐标、y坐标，右中足的x坐标、y坐标，左后足的x坐标、y坐标；将预测视频数据所得到的每一帧的文本文件进行合并操作，获得一个CSV文件，得到整个视频所预测的瓢虫的坐标位置以及其足部坐标，并以时间序列进行排列；停顿帧序列计算：将瓢虫的六个足部分别进行分析；以单个足部为例，按照时间序列，对相邻帧的足部关键点计算其欧式距离若小于6像素，则认为瓢虫足部未发生移动；若出现上述情况，则记录相邻帧中的前一帧为停顿开始帧，直至出现欧式距离大于6像素的情况出现，此时记录相邻帧中的前一帧为停顿结束帧；将这一段帧序列记为停顿帧序列Di,并将序列中的足部坐标进行平均操作，得到停顿帧坐标x,y；步频计算：计算3中得到的停顿帧序列的数量，步数＝对应停顿帧数量-1；步频为步数总帧数；步距计算：计算3中相邻停顿帧坐标xi,yi的欧氏距离，即可得到每一步的步距S；步速计算：将停顿结束帧与下一个停顿开始之间的帧序列记为运动帧序列，记录时间为t，用所得步距S计算步速，步速V＝St。

全文数据：

权利要求：

百度查询： 长江大学 一种基于卷积神经网络的瓢虫运动行为分析方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD