申请/专利权人：华南理工大学

申请日：2021-09-17

公开（公告）日：2024-04-09

公开（公告）号：CN113962246B

主分类号：G06V20/00

分类号：G06V20/00;G06V10/141;G06V10/80;G06V10/82;G06N3/045;G06N3/044;G06N3/0475;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2022.02.15#实质审查的生效;2022.01.21#公开

摘要：本发明公开了一种融合双模态特征的目标检测方法、系统、计算机设备及存储介质，所述方法包括：获取训练数据集；训练数据集包括双模态图像和注释文件，双模态图像包括可见光图像和红外图像；将可见光图像输入目标检测模型中的光照感知权重生成网络，输出两种模态特征的融合权重；将双模态图像和两种模态特征的融合权重输入目标检测模型中的具有特征循环融合机制的主路网络，输出预测结果；利用两种模态特征的融合权重和预测结果以及注释文件训练目标检测模型，将待测双模态图像输入训练好的目标检测模型，得到待测双模态图像中目标的位置和类别的预测结果。本发明通过构建目标检测模型，改善了模型对环境光照变化的适应能力，提高了检测精度。

主权项：1.一种融合双模态特征的目标检测方法，其特征在于，所述方法包括：获取训练数据集；其中，所述训练数据集包括双模态图像和注释文件，所述双模态图像包括可见光图像和红外图像；将所述可见光图像输入目标检测模型中的光照感知权重生成网络，输出两种模态特征的融合权重；所述两种模态特征的融合权重分别为可见光权重和红外权重；将所述双模态图像和两种模态特征的融合权重输入目标检测模型中的具有特征循环融合机制的主路网络，输出预测结果；所述主路网络采用YOLOv3目标检测框架，将主干网络中第k次下采样后的残差块，替换为循环融合模块，通过循环融合机制使双模态图像信息能够得到充分的交互与融合，为后续的检测任务提供更富含语义的特征；在循环融合模块前的网络部分采用双流结构，即采用两个并行的浅层特征提取模块；其中，k为1或2，所述循环融合模块包括特征加权模块和卷积模块；利用所述两种模态特征的融合权重和所述预测结果以及注释文件训练目标检测模型，使所述目标检测模型可靠收敛，从而得到训练好的目标检测模型；将待测双模态图像输入所述训练好的目标检测模型，得到所述待测双模态图像中目标的位置和类别的预测结果；其中，将所述双模态图像和两种模态特征的融合权重输入目标检测模型中的具有特征循环融合机制的主路网络，输出预测结果，具体包括：将所述双模态图像分别输入两个并行的浅层特征提取模块，分别提取所述双模态图像的特征，得到双模态特征；所述双模态特征为0级双模态特征；将所述双模态特征和所述两种模态特征的融合权重输入所述循环融合模块，经过n轮融合后，输出最终的融合特征；其中，n为大于1的正整数；将所述最终的融合特征输入主路网络中的深层特征提取模块，得到深层特征；将所述深层特征输入目标检测模块，得到预测结果；其中，将所述双模态特征和所述两种模态特征的融合权重输入所述循环融合模块，经过n轮融合后，输出最终的融合特征，具体包括：令i＝0；将i级双模态特征和两种模态特征的融合权重输入所述特征加权模块，输出i级融合特征；所述i级双模态特征分别为i级可见光特征和i级红外特征；将所述i级融合特征输入所述卷积模块，其输出分别与i级双模态特征连接，得到i+1级双模态特征；当i＜n时，i＝i+1，将i+1级双模态特征作为i级双模态特征，并进行下一轮融合；完成n轮循环融合过程后，输出最终的融合特征；其中，所述将i级双模态特征和两种模态特征的融合权重输入所述特征加权模块，输出i级融合特征，具体为：根据下式计算i级融合特征为： 其中，为i级融合特征，wv,wt分别为可见光权重和红外权重，且wt＝1-wv；分别为i级可见光特征和i级红外特征；所述将所述i级融合特征输入所述卷积模块，其输出分别与i级双模态特征连接，得到i+1级双模态特征，具体包括：将所述i级融合特征输入卷积模块，其输出分别与i级可见光特征和i级红外特征进行叠加，再经ReLU激活函数后，得到i+1级红外特征和i+1级可见光特征，如下所示： 其中，ReLU·为ReLU激活函数，Conv·为进行卷积处理。

全文数据：

权利要求：

百度查询： 华南理工大学 融合双模态特征的目标检测方法、系统、设备及存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD