申请/专利权人：山东大学

申请日：2020-03-23

公开（公告）日：2022-07-12

公开（公告）号：CN113435225B

主分类号：G06V40/20

分类号：G06V40/20;G06V10/774;G06V10/80;G06K9/62

优先权：

专利状态码：有效-授权

法律状态：2022.07.12#授权;2021.10.15#实质审查的生效;2021.09.24#公开

摘要：本发明提供了一种基于分块水平金字塔时空特征融合模型和步态重排序的跨视角步态识别方法，包括：获取训练样本集，构建三元组组合，预处理后构建分块水平金字塔时空特征融合模型并训练；获取注册样本集、待识别步态样本，预处理后进行初步步态识别：将注册样本集和待识别身份的步态样本送入训练好的分块水平金字塔时空特征融合模型中得到注册特征库和步态特征，通过欧式距离计算得到初步候选身份的候选集合；根据候选集合，计算互近邻特征集合，输出欧式距离最近的特征所对应的样本的身份为待识别样本的身份，得到最终的识别结果。本发明对时空特征进行融合，能在较低的计算复杂度且不增加学习参数的情况下将时空特征融合到一起，识别率高。

主权项：1.一种基于分块水平金字塔时空特征融合模型和步态重排序的跨视角步态识别方法，其特征在于，包括：一获取训练样本集，构建三元组组合，三元组组合包括锚样本、正样本、负样本，锚样本的视角为某一视角，正样本的视角与锚样本视角不同且正样本身份与锚样本身份相同，负样本的视角为任意视角且与锚样本的身份不同；A、步态轮廓图预处理对步态轮廓图进行轮廓矫正；将矫正后的步态轮廓图进行尺寸调整；给定包含N个行人V种视角变化的步态数据集表示数据集中第i个人的第v种视角的步态序列，是中的第j帧步态轮廓图，其中j＝1,2,…,ni,v，ni,v表示该步态序列的长度，包括：a、读取每个步态序列，将包含行人的部分置于每帧图像的中心，并使头部置顶到图像的上部边缘，脚步置底到图像的下部边缘；b、将步骤a得到的矫正后的步态序列都调整成相同的图像大小W×H，得到最终处理好的行人轮廓图，作为分块水平金字塔时空特征融合模型的输入；B、分块水平金字塔时空特征融合模型构建及训练构建分块水平金字塔时空特征融合模型；所述分块水平金字塔时空特征融合模型包含分块水平金字塔网络和时空特征融合两个部分，其中第一部分将步态轮廓图样本分成单幅图像进行二维空间图像下的初步特征提取，第二部分将第一部分得到的不同分块以及不同帧的特征进行时空特征融合以得到该步态轮廓图样本的最终特征表达；训练分块水平金字塔时空特征融合模型以得到判别能力强的特征提取模型；分块水平金字塔时空特征融合模型构建及训练，包括：c、对于每一帧行人轮廓图，先将其水平划分为R个区域，表示为那么分块水平金字塔特征可以表示为： 上式中，表示图像的第r个分块区域，r＝1,2,…,R；F·表示由二维卷积神经网络构成的深度特征提取器，共包括六个卷积层及两个池化层，每个分块独立学习不共享参数；HK·表示K阶水平金字塔池化函数，它是将输入特征图沿着水平方向分别划分为20,21,…,2K个带状空间，总计M个带状空间，然后对于每个带状空间分别进行水平金字塔池化，即计算其平均值和最大值的和，最后经过一层全连接操作后作为这个带状空间的特征表达；表示第r个分块的水平金字塔特征，即为初步特征，其中表示一个l维的特征列向量；d、根据步骤c得到的每个分块的初步特征，以不同分块权重拼接的方式进行空间特征融合，得到一帧完整行人轮廓图的特征，具体表达如下： 其中p1,p2,…,pR表示可学习的不同分块的权重，是一个l*R维的向量；e、根据步骤d得到的空间特征融合后的一帧完整行人轮廓图的特征表达，以最大步态能量表示的方式提取整个步态序列的时空特征，具体操作如下：对于一个长度为ni,v的步态序列，经过步骤d每一帧进行空间特征融合后得到的此步态序列的特征集合为则该步态序列的时空特征为： 其中EleMax表示对应位置元素取最大值，为最终特征，表示一个l*R维的特征向量；得到分块水平金字塔时空特征融合模型，根据此模型，可提取锚样、正样本、负样本的步态特征；f、根据步骤c、d、e所构建的分块水平金字塔时空特征融合模型，初始化模型参数，以减小三元组损失Ltriplet作为训练目标，训练分块水平金字塔时空特征融合模型，损失函数如下: 上式中，其中d表示欧式距离度量函数，表示第i个人第v种视角的步态序列的特征，表示第i个人第v′种视角的步态序列的特征，表示第j个人第v″种视角的步态序列的特征，α表示余量；二获取某一视角的注册样本集、另一视角的待识别步态样本，对两个样本的步态轮廓图进行预处理，所述预处理包括轮廓矫正、尺寸调整；C、初步识别根据训练好的分块水平金字塔时空特征融合模型，将预处理过的注册样本集送入模型中，得到该视角下的注册特征库；将待识别身份的步态轮廓图样本送入训练好的分块水平金字塔时空特征融合模型中得到步态特征，将步态特征与注册特征库中的每个特征进行欧式距离计算得到初步候选身份的候选集合；D、步态重排序根据候选集合，计算互近邻特征集合，输出欧式距离最近的特征所对应的样本的身份为待识别样本的身份，得到最终的识别结果。

全文数据：

权利要求：

百度查询： 山东大学 一种基于分块水平金字塔时空特征融合模型和步态重排序的跨视角步态识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD