申请/专利权人：桂林电子科技大学

申请日：2022-06-01

公开（公告）日：2024-03-19

公开（公告）号：CN114898439B

主分类号：G06V40/16

分类号：G06V40/16;G06V20/40;G06V10/82;G06V10/774;G06N3/0464

优先权：

专利状态码：有效-授权

法律状态：2024.03.19#授权;2022.08.30#实质审查的生效;2022.08.12#公开

摘要：本发明公开了一种基于分段策略和多头卷积注意力的视频人脸识别方法，包括如下步骤：1）对视频人脸数据集进行预处理；2）对步骤1）中得到的视频帧图像集进行分段线性映射、位置嵌入操作；3）深度特征提取；4）识别；5）损失函数进行训练；6）完成人脸识别。本技术方案分段策略有效去除了跨度较大的视频帧面部姿态、大小等变化较大而对特征提取施加的冗余噪声，并结合提出的多头卷积注意力模块有效提取冗长视频序列的上下文信息，同时大幅降低了模型的复杂程度，分段损失函数的设计加速了网络的训练并提高模型抗干扰的能力，最终使得模型具有更好的识别性能。

主权项：1.一种基于分段策略和多头卷积注意力的视频人脸识别方法，其特征在于，包括如下步骤：1对视频人脸数据集进行预处理：采用人脸检测网络逐帧对人脸视频数据集中人脸视频序列进行检测，将人脸视频数据集中人脸视频序列中的图像裁剪成尺寸固定为224×224的人脸视频帧图像，得到输入视频帧图像集{Tn}，n∈N*，N*为数据集中视频帧数量；2对步骤1中得到的视频帧图像集进行分段线性映射、位置嵌入操作：将包含n帧的视频图像集{Tn}分为s段，每段视频帧包含N＝ns个图像、将视频帧序列化、将每帧图像Tn∈RH×W×C重塑，首先将每帧图像Tn分辨率设置为h×w，h＝w，接着对Tn进行降维，得到图像Tp，n∈Rh×w·C，其中，n表示第n个视频帧，C为通道数，符号·表示矩阵点乘，采用可训练的线性映射将扁平化处理后的图像Tp，n进行映射及位置嵌入操作φ·，得到每帧人脸图像的特征图集合Fn＝φTp，n、记为Fn＝{F0，F1，F2，...，FN}∈Rh×w·C×d，其中φ·表示线性映射和位置嵌入操作，d为模型使用的恒定隐藏向量的尺寸；3深度特征提取：采用分段视频人脸编码器，结合多头卷积注意力对步骤2中具有位置信息的特征图集合Fn进行深度特征提取，即将特征图集合Fn输入至分段视频人脸编码器E，人脸编码器E第一层为多头卷积注意力模块，该模块有两个阶段，分别为E1和E2，E1用卷积神经网络来生成每一帧视频帧的查询向量Qn、相关向量Kn、值向量Vn，即{Qn，Kn，Vn}＝E1Fn，然后第二阶段E2计算视频帧每个值向量VN的分数SN，SN由下式计算得出： 其中，QN、KN分别为第N帧的查询向量和相关向量，为多头卷积注意力头数，·T为矩阵的转置，然后将视频帧每个值向量VN的分数SN与值向量VN进行元素级相乘，即SN·VN，并将结果进行归一化后再求和，最终得到第i段视频帧的整体特征表示Si＝E2QN，KN，VN，Si由下式计算得出： 其中，softMax·为归一化运算，SN为第N帧的分数；4识别：采用人脸识别网络对步骤3中得到的视频帧整体特征表示进行识别，即将Si输入至现有的人脸识别网络、记为R1，得到预测标签即其中，i表示第i段视频序列；5损失函数进行训练：利用步骤4中得到的预测标签和分段损失训练网络为步骤3中得到的每段视频序列的整体人脸视频特征图赋予权重，网络采用以下损失函数进行训练： 其中，yi表示数据标签，是步骤4中人脸识别网络R1针对每段视频帧的预测标签，wi是分段权重，将每段的独立损失定义为则分段权重wi由下式得到： 经过分段损失的约束，网络自适应地进行参数调整及优化，得到最优的视频人脸识别模型；6完成人脸识别：采用步骤5中训练好的模型完成人脸识别任务，将经过分段的人脸视频帧输入到步骤5得到的模型中，输出经过分段特征提取及整体融合的人脸视频特征图S＝fS1，S2，...，Ss，其中，f·表示利用分段权重进行的融合操作，s为分段数，再采用现有的人脸识别网络完成最终的视频人脸识别任务。

全文数据：

权利要求：

百度查询： 桂林电子科技大学 一种基于分段策略和多头卷积注意力的视频人脸识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD