申请/专利权人：中国矿业大学

申请日：2021-06-04

公开（公告）日：2024-03-22

公开（公告）号：CN113283362B

主分类号：G06V40/10

分类号：G06V40/10;G06V10/764;G06V10/82;G06N3/0464;G06N3/045;G06N3/09;G06N3/096

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2021.09.07#实质审查的生效;2021.08.20#公开

摘要：本发明公开了一种跨模态的行人重识别方法，该方法首先构造与卷积神经网络最深层分类器具有相同结构的浅层分类器，然后使用最深层的分类器在多个维度上指导浅层分类器学习，通过这种方式，将来自深层的行人高级信息和数据集中的真实标签信息传递给浅层网络。随后，吸收了深层知识和真实标签信息的浅层网络提取的低层特征进一步促进较深层网络的高层特征学习，这样不断正向循环激励，推动网络学习有鉴别力的特征表示。该发明使用知识自蒸馏，网络模型充当自己的老师，不断正向推动，使模型能够提取到更具有鉴别力的特征表示，促进分类性能。

主权项：1.一种跨模态的行人重识别方法，其特征在于，包括以下步骤：S1、在训练集中采用在线的随机批采样策略获取身份对应、数量相同的可见光图片和红外图片；S2、构建包括部分参数共享的双流主干网络和知识自蒸馏支路的跨模态行人重识别模型；S3、将随机采样得到的可见光图片和红外图片分别输入模型进行训练，模型的深层网络作为教师指导浅层网络学习，进行知识自蒸馏，训练完成得到训练好的跨模态行人重识别模型；S4、将待识别的行人图像根据模态输入训练好的跨模态行人重识别模型，得到待识别的行人图像特征；S5、将待识别的行人图像特征与另一模态候选行人图像库中的行人图像特征进行相似度计算并排序，得到跨模态行人重识别结果；所述步骤S2中采用Resnet50作为所述双流主干网络，Resnet50包含5个Stage,Stage0-Stage4，将stage0作为特征提取部分，后面的4个Stage作为特征嵌入部分；Stage0部分参数不共享，用于提取可见光模态和红外模态的模态专属信息；两个模态的图片经过各自的stage0之后进入后面共享参数的网络中，参数共享的网络将前面网络提取出来的特征映射到同一特征子空间中；所述步骤S3中在训练阶段，每一个位于浅层的知识自蒸馏支路都作为学生被最深层的教师网络指导训练，所述知识自蒸馏部分的损失为： ，其中，，，是知识自蒸馏平衡参数； ：深层分类器和各浅层分类器之间的KL散度损失，其中，KL散度用来度量深层教师网络和浅层学生网络的Softmax输出，通过引入KL散度，将深层网络学习到的知识指导给浅层网络,使两者分布接近； ：来自真实标签的交叉熵损失监督，来自标签的交叉熵损失监督所有的浅层分类器，它度量训练数据集的真实标签和每个浅层分类器的Softmax输出之间的差异； ：深层分类器和各浅层分类器池化后的特征之间的L2损失，用来计算最深层的网络提取出来的特征与各浅层网络提取出来的特征之间的L2损失，通过引入L2损失，将深层网络特征图中隐藏的知识引入到浅层的网络中，用高级的特征指导低级的特征；所述计算公式如下： ，其中， 表示计算最深层教师分类器和各浅层学生分类器的KL散度； 表示训练时mini-batch中图片的数量，根据采用的在线采样策略，； 表示浅层学生分类器的总数，在本方法中其值等于3； 根据从小到大的顺序分别表示从浅到深的各浅层学生分类器，表示最深层的教师分类器； 和表示mini-batch中第张图片最深层教师分类器和各浅层分类器的Softmax输出；所述计算公式如下： ，其中， 表示mini-batch中第张图片经过各浅层学生网络和Softmax操作对应的训练集中所有身份预测逻辑分布； 表示该图片对应的真实标签分布；所述计算公式如下： ，其中， 表示mini-batch中第张图片最深层教师网络特征图池化后的特征； 表示各浅层学生网络特征图池化后的特征； 表示L2损失；所述步骤S3中在训练过程中，采用身份损失和全模态难样本挖掘三元组损失共同监督网络学习；所述身份损失的计算公式如下：，其中，表示第张图片经过最深层网络和Softmax操作对应的训练集中所有身份预测逻辑分布； 表示该图片对应的真实标签分布；所述全模态难样本挖掘三元组损失，计算公式如下： ，其中，表示可见光模态和红外模态； 表示计算欧式距离； 、分别表示可见光图片和红外图片中第个行人的第张图片经过深层网络池化后的特征； 表示可见光模态和红外模态中与同一行人的第张图片的特征； 表示可见光模态和红外模态中与不同行人的第张图片的特征，相应的，和对于有相同的意义； 是一个阈值参数； 表示取和0之间的较大值。

全文数据：

权利要求：

百度查询： 中国矿业大学 一种跨模态的行人重识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD