申请/专利权人：华侨大学

申请日：2023-11-28

公开（公告）日：2024-03-12

公开（公告）号：CN117315430B

主分类号：G06V10/80

分类号：G06V10/80;G06V10/764;G06V10/82

优先权：

专利状态码：有效-授权

法律状态：2024.03.12#授权;2024.01.16#实质审查的生效;2023.12.29#公开

摘要：本发明一种面向大范围车辆再辨识的不完备模态特征融合方法，涉及图像处理技术领域，包括：训练包括三通道模型和单通道模型的双模态模型，对可见光车辆图像，采用三通道模型提取主特征，辅以图像灰度化，采用单通道模型提取辅助特征；对红外光车辆图像，采用单通道模型提取主特征，辅以通道复制扩展，采用三通道模型提取辅助特征；将主特征和辅特征叠加获得完整特征，利用KL散度优化完整、主、辅特征三者之间后验概率分布差异，优化特征融合效果。本发明能解决在长时间大范围的监控场景中车辆因活动轨迹复杂多变出现的模态不完备问题，即可见光和红外车辆图像不完备而无法直接实现可见光和红外图像的特征融合问题，提升车辆再辨识准确性。

主权项：1.一种面向大范围车辆再辨识的不完备模态特征融合方法，其特征在于，包括：训练包括三通道模型和单通道模型的双模态模型；基于所述双模态模型，对可见光车辆图像，采用三通道模型提取主特征，并将可见光车辆图像灰度化后采用单通道模型提取辅助特征，再将主特征和辅助特征融合作为可见光车辆图像的完整特征；对红外光车辆图像，采用单通道模型提取主特征，并将红外光车辆图像复制扩展为三通道图像，采用三通道模型提取辅助特征，再将主特征和辅助特征融合作为红外光车辆图像的完整特征，具体步骤如下：将单通道的红外光车辆图像复制扩展为三通道图像，并和可见光车辆图像联合训练三通道模型，如下式所示： 其中，TM表示三通道模型，φ表示三通道模型的网络参数；表示三通道模型交叉熵损失函数；Xi表示第i张车辆图像；n表示图像数量；yi,c表示属于第c类的第i张车辆图像的m维独热编码向量，在该向量中第c个元素取值为1，余下元素取值为0；m等于类别数量；表示三通道模型全连接层中类别c对应的权重参数，T是转置操作，ac表示相应的偏置参数；fiTRI表示车辆图像Xi经过三通道模型提取的特征，若Xi为红外光车辆图像，则fiTRI为辅助特征，Rep表示通道复制函数；若Xi为可见光车辆图像，则fiTRI为主特征；将可见光车辆图像灰度化，并和红外光车辆图像联合训练单通道模型，如下式所示： 其中，SM表示单通道模型，表示单通道模型的网络参数；表示单通道模型交叉熵损失函数；θc表示单通道模型全连接层中类别c对应的权重参数，bc表示相应的偏置参数；fiSIN表示车辆图像Xi经过单通道模型提取的特征，若Xi为可见光车辆图像，则fiSIN为辅助特征，Gray表示灰度化函数，表示Xi的红色通道图像；表示Xi的绿色通道图像；表示Xi的蓝色通道图像；若Xi为红外光车辆图像，则fiSIN为主特征；将主特征和辅助特征融合作为图像的完整特征，如下式所示：gi＝fiTRI+fiSIN；其中，gi表示特征融合后的完整特征；在特征融合后的完整特征上加设目标函数驱动三通道模型和单通道模型再辨识协同学习，实现特征融合总体优化，如下式所示： 其中，表示完整特征对应的交叉熵损失函数；表示完整特征与三通道模型提取特征的KL散度以及完整特征与单通道模型提取特征之间KL散度之和；τ≥1表示温度系数，用于软化后验概率分布。

全文数据：

权利要求：

百度查询： 华侨大学 面向大范围车辆再辨识的不完备模态特征融合方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD