申请/专利权人：太原理工大学

申请日：2023-12-15

公开（公告）日：2024-03-22

公开（公告）号：CN117746461A

主分类号：G06V40/10

分类号：G06V40/10;G06V20/52;G06V10/82;G06V10/40;G06N3/0464;G06N3/084

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.09#实质审查的生效;2024.03.22#公开

摘要：本发明涉及图像识别技术领域，尤其涉及面向矿井下多视角视频监控的跨模态行人重识别方法及系统，其步骤为，S1、获取有标注的行人数据集和无标注的待识别行人数据集；S2、构建ResNet50特征提取网络以及整体的网络模型，其包括相连接的中间模态生成模块、嵌入CBAM模块的ResNet50网络和引入广义平均池化层的特征水平映射分割层，通过广义平均池化层进行特征映射水平切割能保留对于判别任务更为重要的信息，使用分步式联合损失进行训练，提高模型对同一身份不同模态中心特征的识别；S3、加载有标注的行人数据集对构建好模型进行训练和特征提取，保存最优模型；S4、调用最优模型，在待识别行人数据集上进行行人匹配查询。

主权项：1.面向矿井下多视角视频监控的跨模态行人重识别方法，其特征在于，包括以下步骤：S1、获取有标注的行人数据集和无标注的待识别行人数据集，有标注的行人数据集包括同一身份ID的可见光图像和红外图像，包括可见光图像和红外图像；待识别行人数据集包括可见光图像和红外图像；S2、构建嵌入CBAM注意力模块的ResNet50特征提取网络以及整体的网络模型；整体的网络模型包括依次连接的中间模态生成模块、基于注意力机制的ResNet50网络和引入广义平均池化层的特征水平映射分割层；所述ResNet50特征提取网络包含用于特征提取的ResNet50主干网络以及嵌在ResNet50主干网络中用于提高对关键特征关注度的CBAM注意力模块；所述CBAM注意力模块包括通道注意力模块和空间注意力模块；S3、加载有标注的行人数据集对构建好的ResNet50特征提取网络进行训练和特征提取，保存最优模型；S31、先利用所述ResNet50特征提取网络进行特征提取，且子步骤为：S311、先将有标注的行人数据集的可见光图像和红外图像输入所述中间模态生成模块，通过对图像的编码和解码，生产统一的中间模态图像，然后将可见光图像及其中间模态图像、红外图像及其中间模态图像的输入分别表示为IVIS、IVtM、IIR和IItM；S312、得到上述四个输入IVIS、IVtM、IItM和IIR后，将这些图像数据输入到具有注意力机制的ResNet50网络进行特征提取；S312、提取得到特征后，在特征水平映射分割层，先使用广义平均池化层对提取到的特征进行处理，之后再将特征划分为四部分；其中将特征提取后的第k个特征图表示为Xk，那么经过广义平均池化层后得到的结果表示为则广义平均池化层的计算过程为： 其中，Pk是一个池化超参数，在反向传播过程中学习；S32、通过存储器机制引入分步式联合损失，分步式联合损失利用S312得到的四部分特征进行训练，其中引入分步式联合损失的子步骤为：S321、设置指定的阈值来延迟损失函数的优化，当实际训练epoch小于等于指定的阈值时，通过基线损失对网络模型进行训练，基线损失由联合身份损失跨模态三元组损失和分布一致性损失构成，则基线损失为： 其中，λ1、λ2分别是和的权重参数；λ1、λ2、λ3的值分别为1，0.5，0.2；S322、当实际训练epoch大于指定的阈值时，利用存储器增加中心到中心损失以对齐不同模态之间的身份中心，减少跨模态方差，其中相应模态下第i身份的中心为： 其中，A是相应模态下的样本数量，则RGB模态中第i个身份的中心为IR模态中第i个身份的中心为计算RGB模态中第i个身份的中心与IR图像中第i个身份的中心之间的距离，那么K个身份对应的距离的平均值即为中心到中心损失则中心到中心损失为： 所以整体的联合损失函数为： 其中，λ3是的权重参数；S4、调用最优模型，在待识别行人数据集上进行行人匹配查询。

全文数据：

权利要求：

百度查询： 太原理工大学 面向矿井下多视角视频监控的跨模态行人重识别方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD