申请/专利权人：中国科学技术大学

申请日：2022-02-21

公开（公告）日：2024-04-02

公开（公告）号：CN114550210B

主分类号：G06V40/10

分类号：G06V40/10;G06V20/52;G06V20/40;G06V10/40;G06V10/764;G06V10/82;G06N3/0464;G06N3/084;G06N3/048

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2022.06.14#实质审查的生效;2022.05.27#公开

摘要：本发明公开了一种基于模态自适应混合和不变性卷积分解的行人重识别方法，包括：1、构建自适应混合模块输出混合比例混合可见光图像和红外图像，得到混合模态图像；2、可见光图像，红外图像和混合模态图像输入特征提取网络，计算分类损失和三元组损失对特征提取网络进行更新；3、构建奖励R，并利用强化学习法则构建actor网络和critic网络的损失以更新网络；4、根据检索库和被检索库的行人特征计算相似度矩阵，并得到检索结果。本发明能解决传统生成对抗模型在红外‑可见光图像转换中的困难和计算消耗，以及传统单流双流网络的信息丢失和难拟合问题，从而能更高效和精确的匹配可见光模态和红外模态的行人图像。

主权项：1.一种基于模态自适应混合和不变性卷积分解的行人重识别方法，其特征在于，包括如下步骤：步骤一、行人数据收集和预处理：用红外摄像头和光学摄像头分别采集行人的红外和可见光监控视频，并对视频逐帧进行行人检测和尺寸归一化预处理，得到红外行人图像集和可见光行人图像集其中，表示第i张红外行人图像，表示第i张可见光行人图像；为第i张红外行人图和第i张可见光行人图像分别设置第i个行人身份ID；记为yi，且是训练集中的身份数，mp表示任意一个行人身份ID；从而构建出红外和可见光匹配的训练数据集其中，N表示训练数据集中的图像数量；步骤二、自适应混合图像：步骤2.1、每次从训练数据集中分别采集p个行人身份ID的红外行人图像及其可见光行人图像，且每个个行人身份ID采集k张红外行人图像和k张可见光行人图像，从而得到2×p×k张图像所组成一个批处理数据其中，表示批处理数据中第j张可见光行人图像，表示批处理数据中第j张红外行人图像，yj表示批处理数据中第j张图像的行人ID；步骤2.2、构建以ResNet-50深度学习网络为基础的特征提取网络；所述ResNet-50深度学习网络包括5个阶段，其中，第1个阶段Stage0由一层卷积核为n1×n1的卷积层，一层批量归一化处理层，一层ReLU激活函数层组成，其余4个阶段均由Bottleneck模块组成；第2个阶段Stage1包含3个Bottleneck模块，剩下3个阶段分别包括4个、6个、3个Bottleneck模块，每个Bottleneck模块由一层卷积核为n2×n2的卷积层，一层卷积核为n3×n3卷积层，一层卷积核为n2×n2的卷积层组成；将所述ResNet-50深度学习网络的前三个阶段中所有的卷积核进行模态自适应分解，得到每个卷积核所对应的三个模态基层αrgb,αir,αmix和一个模态共享系数层Ψ，再与其余两个阶段共同组成所述特征提取网络；步骤2.3、所述批处理数据输入所述特征提取网络中，先在前三个阶段中按照先经过一个卷积核对应的两个模态基层αrgb,αir的卷积处理后，再经过相应卷积核对应的一个共享系数层的Ψ的卷积处理的过程来经过所有卷积核的处理后，在第三个阶段输出中间特征集合其中，表示第j张可见光图像的中间特征，表示第j张红外光图像的中间特征；步骤2.4、构建由actor网络和critic网络组成的自适应混合模块，其中，actor网络和critic网络均包括：一层卷积和一层池化层和两层全连接层；所述中间特征集合输入所述actor网络中进行处理，并输出混合比例其中，表示批处理数据第j个数据所对应产生的六个混合比例；将第j张可见光图像和红外图像分别从竖直方向上平均分成6块，并利用所述混合比例对分块后的可见光行人图像和红外行人图像进行比例混合，从而得到p×k张混合模态图像表示第j张混合模态图像，yj表示其行人身份ID；步骤三、行人重识别损失更新特征提取网络：步骤3.1、将三模态数据输入所述特征提取网络中，并经过前三个阶段的处理，得到中间特征表示所述第j张混合图像的中间特征，再经过后两个阶段的处理，最终输出行人特征表示第j张可见光图像的行人特征，表示第j张红外图像的行人特征，表示第j张混合模态图像的行人特征；行人特征经过一层全连接层的分类处理后，输出的结果再经过softmax函数后得到对应的行人身份的分类概率表示批处理数据中的第j张可见光图像输出的被分类成行人身份ID为mp的概率，表示批处理数据中的第j张红外图像输出的被分类成行人身份ID为mp的概率，表示批处理数据中的第j张混合模态图像输出的被分类成行人身份ID为mp的概率；步骤3.2、利用式1身份损失函数Lid： 式1中，yj表示批处理数据中第j张可见光图像的正确行人身份ID，也是第j张红外图像的正确ID和第j张混合模态图像的正确行人身份ID；和分别表示批处理数据中的第j张可见光图像，红外图像和混合模态图像的输出被分类成正确行人身份ID为yj的概率；步骤3.3、利用式3、式4和式5构建可见光模态和红外模态的中心三元组损失函数可见光模态和混合模态的中心三元组损失函数红外模态和混合模态的中心三元组损失函数 式3、式4和式5中，分别表示批处理数据中第mp个行人的可见光图像的行人特征中心、第mp个行人的红外图像的行人特征中心和第mp个行人的混合模态图像的行人特征中心，ρ是边距参数，[*]+＝max*,0表示取最大值函数；表示批处理数据中第mp个行人的红外图像的行人特征中心或者混合模态图像的行人特征中心，表示批处理数据中第np个行人的可见光图像的行人特征中心或者红外图像的行人特征中心或者混合模态图像的行人特征中心；利用式4构建网络总损失函数Ldcn： 步骤3.4、基于所述训练数据集，并使用Adam优化策略对所述特征提取网络进行训练，直至网络总损失函数Ldcn收敛为止，从而得到最优特征提取网络；步骤四、强化学习损失更新所述自适应混合模块：步骤4.1、利用式4和式5构建奖励R： 式4和式5中，R表示奖励，mAP*表示均值平均精度指标，rank-k*表示排名前k的检索结果分类的正确率指标，S是根据计算的相似度矩阵；εS表示相似度矩阵S的综合指标；Srgb,ir表示之间计算的相似度矩阵，Smix,ir表示之间计算的相似度矩阵，Sir,rgb表示之间计算的相似度矩阵,Smix,rgb表示之间计算的相似度矩阵；步骤4.2、利用式6和式7分别构造更新actor网络的损失函数和critic网络的损失函数 式6和式7中，代表actor网络输出，代表critic网络输出,||*||2表示平方差函数；步骤4.3、基于所述训练数据集，并使用Adam优化策略对自适应混合模块网络的actor网络和critic网络交替更新训练，直至损失函数和收敛为止，从而得到最优的自适应混合模块网络；步骤五、检索过程；步骤5.1、利用最优特征提取网络分别提取查询库query的行人特征和被查询库gallery的行人特征其中，表示第q个查询图像，Nq表示查询图像的数量，表示被查询库中的第g个图像，Ng表示被查询库的图像数量；步骤5.2、在可见光行人图像检索红外行人图像的设置下，令查询库query的图像为可见光图像，被查询库gallery的图像为红外图像；根据行人特征和计算相似度矩阵，并将相似度矩阵逐行排序后得到最终的检索结果。

全文数据：

权利要求：

百度查询： 中国科学技术大学 基于模态自适应混合和不变性卷积分解的行人重识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD