申请/专利权人：合肥工业大学

申请日：2022-05-31

公开（公告）日：2024-03-26

公开（公告）号：CN114882534B

主分类号：G06V40/10

分类号：G06V40/10;G06V10/40;G06V10/764;G06V10/762;G06V10/82;G06N3/045;G06N3/0464;G06N3/0895

优先权：

专利状态码：有效-授权

法律状态：2024.03.26#授权;2022.08.26#实质审查的生效;2022.08.09#公开

摘要：本发明公开了一种基于反事实注意力学习的行人再识别方法和系统、计算机存储介质。其中行人再识别方法通过比较事实，即学习的注意力，和反事实，即虚假的注意力，对最终预测的影响来量化注意力的质量。并通过最大化差异以促进网络学习更有效的视觉注意力并减少有偏训练集的影响，以此来增强目标域行人图像的判别性特征学习解决目标域行人图像存在遮挡和背景杂波问题。

主权项：1.一种基于反事实注意力学习的行人再识别方法，其特征在于，包括步骤：S1、建立教师模型和学生模型，所述教师模型和学生模型的结构相同；所述教师模型的输入为行人图像，结构包括主干网络和分类器，其中主干网络用于提取行人图像的特征，分类器用于根据行人图像的特征获取行人图像的类别概率；采用源域数据集对教师模型进行预训练，所述预训练的目标为最小化分类损失函数，所述分类损失函数为： 其中pys,n∣xs,n表示将输入图像xs,n识别为类ys,n的概率，ys,n是源域数据集中xs,n的类别标签，N为预训练过程中每个批次样本的数量；将学生模型的参数初始化为预训练后教师模型的参数；S2、将目标域数据集中的图像输入教师模型，所述教师模型主干网络输出目标域图像的特征；对目标域图像的特征进行聚类，根据聚类后的类别生成目标域图像的伪标签，每个聚类中心的特征向量拼接为目标域聚类中心矩阵其中Pt为目标域图像特征聚类后的类别数，c,h,w分别为教师模型主干网络提取到的特征的维度、高度、宽度；S3、将源域数据集中的图像输入教师模型，所述教师模型主干网络输出源域图像的特征；依照源域图像的真实身份标签，对提取到的属于同一身份的源域图像特征向量取平均得到该行人身份的类中心向量，每个类中心的特征向量拼接为源域类中心矩阵其中Ps为源域数据的真实行人身份类别数；Rt和Rs拼接为参考中心矩阵S4、令教师模型的参数保持不变，采用迭代训练优化学生模型的参数；迭代训练优化的目标为最小化损失函数，具体的训练中每个批次的样本包括Nt个目标域图像和Ns个源域图像；损失函数Ltotal为目标分类损失Lclass和注意力度量损失之和；具体步骤为：S4.1A、计算目标分类损失Lclass： 其中为目标域图像xi的伪标签，为学生模型将输入图像xi识别为类的概率；S4.2A、计算源域图像zv注意力对预测的影响值，v＝1,2,…,Ns：将zv输入学生模型得到zv的第一特征fv，fv∈Rc×h×w；利用空间注意力模块提取fv的注意力特征图Fv：Fv＝{Fv,1,Fv,2,...,Fv,m,...Fv,M}＝attentionfv4其中attention·表示空间注意力模块提取注意力特征图运算，Fv,m∈Rh×w为注意力特征图Fv中第m个感兴趣区域的注意力特征图，M为感兴趣区域的数量；利用Fv,m对第一特征fv进行加权，并采用全局平均池化操作进行聚合，得到局部注意力Zv,m：Zv,m＝GAPfv*Fv,m；其中GAP表示全局平均池化操作；将局部注意力组合起来并归一化，得到源域图像zv的全局特征Zv：Zv＝normalize[Zv,1,Zv,2,...,Zv,m,...,Zv,M]5其中normalize表示归一化运算；将全局特征Zv依次输入批归一化层和分类层，得到源域图像zv经空间注意力加权后的预测结果：Yv＝CBNZv6生成反注意力特征图所述反注意力特征图的尺寸与Fv相同，其每个元素值为随机数；采用反注意力特征图对fv进行加权，并经全局平均池化操作、组合并归一化、依次输入批归一化层和分类层，得到源域图像zv经反空间注意力加权后的预测结果注意力对预测的影响值为：S4.3A、计算注意力度量损失： ys,v是源域图像zv的类别标签；pys,v∣Yveffect为将注意力对预测的影响值为Yveffect的图像识别为类ys,v的概率；S5、对教师模型的参数进行加权平均更新；迭代训练优化结束后，根据学生模型的参数对教师模型的参数进行加权平均更新；将目标域图像输入更新后的教师模型，分类器输出类别概率，选择类别概率最大值对应的类别作为输入图像的识别结果。

全文数据：

权利要求：

百度查询： 合肥工业大学 基于反事实注意力学习的行人再识别方法、系统、介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD