申请/专利权人：大连海洋大学

申请日：2022-09-28

公开（公告）日：2024-02-20

公开（公告）号：CN115690565B

主分类号：G06V20/05

分类号：G06V20/05;G06V10/82;G06V10/80;G06V10/77;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.02.20#授权;2023.02.21#实质审查的生效;2023.02.03#公开

摘要：本发明公开了融合知识与改进YOLOv5的养殖红鳍东方鲀目标检测方法，通过将先验知识引入目标检测过程中，在YOLOv5模型中增加先验知识融合模块，并在YOLOv5模型的YOLOHead预测网络中增加预测框聚合模块构建预测网络，提出了融合知识与改进YOLOv5的养殖红鳍东方鲀目标检测模型KAYOLO。KAYOLO模型充分利用养殖红鳍东方鲀的先验知识强化目标特征；通过预测框聚合个数指导聚合生成最终的预测结果，减少目标间的相互影响。本发明在红鳍东方鲀水下养殖场景提升了目标检测的精度，证明了融合知识与改进YOLOv5的养殖红鳍东方鲀目标检测方法的实用性。

主权项：1.融合知识与改进YOLOv5的养殖红鳍东方鲀目标检测方法，其特征在于，应用KAYOLO模型，所述KAYOLO模型是融合知识与改进YOLOv5的养殖红鳍东方鲀目标检测模型，所述KAYOLO模型包括：YOLOv5模型，包括骨干网络、特征融合网络；先验知识融合模块，所述先验知识融合模块设置在YOLOv5模型中的骨干网络与特征融合网络中间；预测网络，包括YOLOv5模型的YOLOHead预测网络和设置在所述YOLOv5模型的YOLOHead预测网络中的预测框聚合模块；所述目标检测方法，包括步骤如下：步骤1，将待测图像输入至所述KAYOLO模型的骨干网络中，按照预保存的共享权重提取图像特征；步骤2，将所述图像特征与预保存的综合先验特征输入至所述KAYOLO模型的先验知识融合模块中进行相似性计算，获取三种不同尺度的强化养殖红鳍东方鲀特征；步骤3，将所述三种不同尺度的强化养殖红鳍东方鲀特征输入至所述KAYOLO模型的特征融合网络中，获取融合三种不同尺度的强化特征；步骤4，将所述融合三种不同尺度的强化特征输入至所述KAYOLO模型的预测网络中，使用预测框聚合模块计算预测框聚合个数，获得依据预测框聚合个数指导预测框聚合后的预测结果，实现养殖红鳍东方鲀的目标检测；构建所述KAYOLO模型的具体步骤包括：首先构建图像数据集，所述图像数据集中的图像包括训练图像，所述训练图像包括养殖红鳍东方鲀的低密度图像和高密度图像；其次对图像数据集进行半自动数据标注，获取标注后的图像，所述标注后的图像包括与养殖红鳍东方鲀单鱼数量对应的真值框；然后根据标注后的图像中的真值框提取单鱼图像作为先验知识，构建先验知识数据集；最后将所述图像数据集中的训练图像和所述先验知识数据集中的先验知识，输入到所述KAYOLO模型中进行模型训练，完成KAYOLO模型的构建；所述构建图像数据集的过程具体包括：在养殖密度不同的养殖池中分别拍摄低密度无遮挡和密集遮挡情况下养殖红鳍东方鲀鱼的视频，采用视频抽帧方式获得养殖红鳍东方鲀鱼的低密度图像和高密度图像，将所述低密度图像和高密度图像构成养殖红鳍东方鲀鱼的图像数据集；所述半自动数据标注具体包括：首先将所述图像数据集分为人工标注和半自动标注两部分，其中人工标注部分由易标注的部分低密度图像组成，半自动标注部分由所述图像数据集中的其余图像组成；其次使用Labelimg工具对所述人工标注部分的图像进行人工标注，标注格式为voc格式，标注内容包含种类信息和代表养殖红鳍东方鲀目标位置信息的真值框，存储为.xml格式的文件；然后将所述人工标注后的图像输入到YOLOv5模型中进行训练，学习养殖红鳍东方鲀的基本特征，获得训练好的预标注模型；接着先使用所述预标注模型对所述半自动标注部分的图像进行自动标注，将自动标注结果作为标签存储为.xml格式的文件，再对自动标注结果进行人工校核，获得人工校核后的半自动标注部分的种类信息和代表养殖红鳍东方鲀目标位置信息的真值框，最后完成所述图像数据集的半自动数据标注；所述构建先验知识数据集的具体步骤包括：首先从所述图像数据集中的低密度图像中根据所述半自动数据标注后的真值框对养殖红鳍东方鲀的单鱼图像进行截取；然后从截取的单鱼图像中随机抽取部分单鱼图像，根据所述部分单鱼图像中的最大单鱼图像尺寸对其他单鱼图像进行填充处理，统一图像大小和特征尺寸；最后将图像大小和特征尺寸相同的单鱼图像作为先验知识数据集；所述KAYOLO模型的训练过程具体包括：首先将所述图像数据集中的训练图像和所述先验知识数据集中的先验知识输入至KAYOLO模型的骨干网络中，通过共享权重的方式分别对所述训练图像提取训练图像特征，对所述先验知识提取综合先验特征，所述综合先验特征包括三种不同尺度的综合先验特征；然后将训练图像特征与综合先验特征输入至所述KAYOLO模型的先验知识融合模块中进行相似性计算，获得三种不同尺度的强化养殖红鳍东方鲀特征；接着将所述三种不同尺度的强化养殖红鳍东方鲀特征输入至所述KAYOLO模型的特征融合网络中，获取融合三种不同尺度的强化特征；最后将所述融合三种不同尺度的强化特征输入至所述KAYOLO模型的预测网络中对所述图像数据集中的训练图像进行预测，获得三种不同尺度的预测结果和预测框聚合个数，所述预测结果包括：预测种类、置信度预测、养殖红鳍东方鲀的预测框，所述预测框聚合个数由预测框聚合模块计算输出，合并三种不同尺度的预测结果后，依据预测框聚合个数对所述合并后的预测结果中养殖红鳍东方鲀的预测框进行聚合，对聚合到一个目标的预测框进行筛选，保留置信度最高的预测框，获得聚合后的预测结果，完成KAYOLO模型的训练，在模型训练结束时，存储骨干网络中的共享权重以及从先验知识中提取的综合先验特征，作为预保存的共享权重以及预保存的综合先验特征，其中预保存的综合先验特征存储为.pth格式的文件。

全文数据：

权利要求：

百度查询： 大连海洋大学 融合知识与改进YOLOv5的养殖红鳍东方鲀目标检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD