申请/专利权人：吉林大学

申请日：2023-07-28

公开（公告）日：2023-10-13

公开（公告）号：CN116682000B

主分类号：G06V20/05

分类号：G06V20/05;G06N3/0464;G06N3/08;G06V10/80;G06V10/82

优先权：

专利状态码：有效-授权

法律状态：2023.10.13#授权;2023.09.19#实质审查的生效;2023.09.01#公开

摘要：一种基于事件相机的水下蛙人目标检测方法。属于水下机器视觉目标检测技术领域，具体涉及水下蛙人目标检测领域。其解决了以往的水下蛙人目标检测缺乏鲁棒性强的特征信息的问题。所述方法具体为：利用事件相机获取水下蛙人事件序列和RGB图像，设计RGB残差学习模块，用于充分提取水下蛙人RGB图像空间特征信息，设计事件残差学习模块，用于充分提取水下蛙人事件图像纹理特征信息，设计特征融合网络，使水下蛙人RGB图像特征信息与水下蛙人事件图像特征信息进行细粒度特征融合。本发明所述方法可以应用在水下目标检测技术领域、水下航行安全检测领域以及水下目标识别设备制造领域。

主权项：1.一种基于事件相机的水下蛙人目标检测方法，其特征在于，所述检测方法包括如下步骤：S1、利用事件相机采集水下蛙人事件序列和水下蛙人RGB图像；S2、对步骤S1采集的水下蛙人事件序列采用固定时间间隔法转化为水下蛙人事件图像，使用水下蛙人事件图像与水下蛙人RGB图像构建数据集，按照7：3的比例划分训练集与验证集，用于对模型进行训练；S3、设计RGB残差学习模块，用于提取水下蛙人RGB图像特征；S4、设计事件图像残差学习模块，用于提取水下蛙人事件图像特征；S5、设计水下蛙人RGB图像与事件图像特征融合网络，将RGB残差学习模块与事件图像残差学习模块嵌入到网络中，实现对RGB图像特征与事件图像特征的提取与融合，获得融合RGB与事件图像的融合特征图；S6、将水下蛙人RGB图像与事件图像特征融合网络嵌入到目标检测模型中；S7、使用步骤S2构建的数据集训练步骤S6获得的目标检测模型，使用验证集验证网络训练效果，保存最优目标检测模型；S8、使用步骤S7保存的最优目标检测模型对水下蛙人进行目标检测；所述步骤S3中，所述RGB残差学习模块包括三个分支，第一个分支由两个DBS模块以及一个全局平均池化串联而成；第二个分支由一个坐标注意力机制构成；第三个分支作为残差分支；最后三个分支的输出特征图通过逐元素相加得到对应每一级尺度下完整细粒度的融合特征图；所述DBS模块包括卷积层、批量归一化层和激活层；所述步骤S4中，所述事件图像残差学习模块包括三个分支，第一个分支由两个DBS模块以及一个全局最大池化串联而成；第二个分支由一个DBS模块组成；第三个分支作为残差分支；最后三个分支的输出特征图通过逐元素相加得到对应每一级尺度下完整细粒度的融合特征图；所述步骤S5中，所述水下蛙人RGB图像与事件图像特征融合网络由三个分支和一个总拼接层组成，第一个分支由三个事件图像残差学习模块串联构成，第二个分支由三个RGB残差学习模块串联构成，第三个分支为残差，三种分支每层输出的特征图进行逐元素相加融合，然后送入下一层RGB残差学习模块中，最后将三个分支输出的特征图在总拼接层进行按维度拼接。

全文数据：

权利要求：

百度查询： 吉林大学 一种基于事件相机的水下蛙人目标检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD