申请/专利权人：北京和鸿盈科技术有限公司

申请日：2018-10-18

公开（公告）日：2022-11-25

公开（公告）号：CN109635626B

主分类号：G06V40/16

分类号：G06V40/16;G06V10/762

优先权：

专利状态码：有效-授权

法律状态：2022.11.25#授权;2019.05.10#实质审查的生效;2019.04.16#公开

摘要：本发明公开了一种单样本的低分辨率单类人脸识别方法，步骤包括：步骤1、从监控视频帧中检测出人脸区域；步骤2、提取人脸区域的特征；步骤3、判断待识别样本集合P＝{pi|i＝1,2,…,n}中是否存在指定目标；步骤4、对待识别样本集合P＝{pi|i＝1,2,…,n}进行分类处理；步骤5、预测待识别样本集合P＝{pi|i＝1,2,…,n}的归属类别；步骤6、分类样本的确认；步骤7、更新样本集合和待识别样本集合步骤8、输出集合中指定目标样本，完成识别。本发明的方法简洁，准确性高。

主权项：1.一种单样本的低分辨率单类人脸识别方法，其特征在于，按照以下步骤实施：步骤1、从监控视频帧中检测出人脸区域，取监控视频中的人脸区域，作为待识别的人脸图像用于后续处理；步骤2、提取人脸区域的特征，采用已经训练好的VGG深度学习网络提取人脸图像特征，允许使用的VGG深度学习网络在训练时，不追加训练样本数据；设指定目标集合为G＝{g}，只有一个指定目标样本的特征；从步骤1得到的待识别样本集合为P＝{pi|i＝1,2,…,n}，其中pi为待识别的人脸特征，共包括n个特征样本；步骤3、判断待识别样本集合P＝{pi|i＝1,2,…,n}中是否存在指定目标；步骤4、对待识别样本集合P＝{pi|i＝1,2,…,n}进行分类处理；步骤5、预测待识别样本集合P＝{pi|i＝1,2,…,n}的归属类别；步骤6、分类样本的确认，按照步骤5将集合和集合进行标签传播后，集合中待识别人脸样本集合分为K个类别，K个类别包括1个指定目标类别和K-1个非目标类别，表示为：设为指定目标集合，为非目标集合，按照步骤5的预测结果，对被分到指定目标类别的样本，以及被分到非目标类别的样本分别进行确认操作；步骤7、更新样本集合和待识别样本集合由步骤6，将确认为指定目标的样本，归入样本集合中，将删除了非目标样本的待识别样本更新为新的待识别样本集合然后重复步骤6，当预测为指定目标类别的样本度量距离d＜dth时，d的计算公式为公式7，dth是判断阈值，则表明此时指定目标类别的样本差异较小，不存在非目标样本，停止迭代，d＝μGP-μGNσGP+σGN27其中，μGP，μGN分别为样本集合正负样本的均值，σGP，σGN分别为样本集合正负样本的标准差；步骤8、输出集合中指定目标样本，完成识别。

全文数据：一种单样本的低分辨率单类人脸识别方法技术领域本发明属于人脸目标识别技术领域，涉及一种单样本的低分辨率单类人脸识别方法。背景技术智慧安防监控系统的主要作用之一，就是能够在监控视频中查找到指定的目标究竟在指定的时间范围内去了哪里。现有的技术，对出现在视频监控中的指定目标，在人脸区域较清楚具有较大分辨率时可以正确判读，但对于分辨率较低的情况下，则需要实现给出较多的样本进行模型训练，否则无法获得良好的识别结果。针对非目标类别数量较多，而指定目标仅为单类的情况，现有的方法无法利用非目标类别与指定目标类别的互斥性进行人脸识别，目前的人脸识别方法不能够同时保证具有较高的召回率和精确率，因此，需要研制一种建立并利用指定目标类别与多类非目标的类间关系，获得算法召回率和精确率同时较高的性能。发明内容本发明的目的在于提供一种单样本的低分辨率单类人脸识别方法，解决了现有技术中单样本无法训练分类器，监控画面中人脸图像分辨率低，单目标单类样本无法构建不同目标间的互斥关系的问题。本发明所采用的技术方案是，一种单样本的低分辨率单类人脸识别方法，按照以下步骤实施：步骤1、从监控视频帧中检测出人脸区域，只取监控视频中的人脸区域，作为待识别的人脸图像用于后续处理；步骤2、提取人脸区域的特征，采用已经训练好的VGG深度学习网络提取人脸图像特征，允许使用的VGG深度学习网络在训练时，不追加训练样本数据；设指定目标集合为G＝{g}，只有一个指定目标样本的特征；从步骤1得到的待识别样本集合为P＝{pi|i＝1,2,…,n}，其中pi为待识别的人脸特征，共包括n个特征样本；步骤3、判断待识别样本集合P＝{pi|i＝1,2,…,n}中是否存在指定目标；步骤4、对待识别样本集合P＝{pi|i＝1,2,…,n}进行分类处理；步骤5、预测待识别样本集合P＝{pi|i＝1,2,…,n}的归属类别；步骤6、分类样本的确认，按照步骤5将集合和集合进行标签传播后，集合中待识别人脸样本集合分为K个类别，K个类别包括1个指定目标类别和K-1个非目标类别，表示为：设为指定目标集合，为非目标集合，按照步骤5的预测结果，对被分到指定目标类别的样本，以及被分到非目标类别的样本分别进行确认操作；步骤7、更新样本集合和待识别样本集合由步骤6，将确认为指定目标的样本，归入样本集合中，将删除了非目标样本的待识别样本更新为新的待识别样本集合然后重复步骤6，当预测为指定目标类别的样本度量距离d＜dth时，d的计算公式为公式7，dth是判断阈值，则表明此时指定目标类别的样本差异较小，不存在非目标样本，停止迭代，d＝μGP-μGNσGP+σGN27其中，μGP，μGN分别为样本集合正负样本的均值，σGP，σGN分别为样本集合正负样本的标准差；步骤8、输出集合中指定目标样本，完成识别。本发明的有益效果是，相比于目前刷脸支付、刷脸门禁等系统的人脸识别技术，本发明的最大特点是，不需要预先训练学习目标样本，且待识别的人脸图像分辨率要求不高，因此，在实际的视频监控下，低分辨率人脸识别具有十分重要的意义。考虑到低分辨率人脸识别在实际应用中的需求是“对于待识别样本，要么系统无法识别其身份，要么一定确定其身份为目标对象”，实现在识别错误率在千万分之三以内几乎不出错的情况下，平均召回率达到80％。本发明方法适用于对一幅正面人脸图像指定的目标，在监控视频帧图像样本中，识别出与该目标相同的人脸样本，允许待识别集合中存在诸多与指定目标不同的陌生人，允许从监控画面中检测到的人脸分辨率低至16×16的像素分辨率，符合单类目标的搜索应用。附图说明图1是本发明方法中进行待识别样本的聚类结果，其中，图1a中的分类类别数是K＝9；图1b中的分类类别数K＝10；图2是本发明方法中进行迭代确认指定目标样本过程示意图，其中，图2a为第1次迭代，图2b为第2次迭代，图2c为第10次迭代，图2d为第20次迭代；图3是本发明方法中进行迭代确认非目标类别样本过程示意图，其中，图3a为第1次迭代，图3b为第2次迭代，图3c为第3次迭代，图3d为第6次迭代。具体实施方式下面结合附图和具体实施方式对本发明进行详细说明。本发明的单样本的低分辨率单类人脸识别方法，按照以下步骤实施：步骤1、从监控视频帧中检测出人脸区域，只取监控视频中的人脸区域，作为待识别的人脸图像用于后续处理；人脸区域的检测方法采用现有技术，可参考相关的现有技术文献实现，比如openCV提供的人脸检测算法完成；步骤2、提取人脸区域的特征，采用已经训练好的VGG深度学习网络提取人脸图像特征，允许使用的VGG深度学习网络在训练时，不追加训练样本数据；该VGG深度学习网络，是现有技术，可参考相关的现有技术文献实现，提取指定目标以及待识别目标人脸特征时，输入VGG深度学习网络的样本全部插值标准化至网络要求的分辨率，即224×224；设指定目标集合为G＝{g}，只有一个指定目标样本的特征；从步骤1得到的待识别样本集合为P＝{pi|i＝1,2,…,n}，其中pi为待识别的人脸特征，共包括n个特征样本；步骤3、判断待识别样本集合P＝{pi|i＝1,2,…,n}中是否存在指定目标，由于监控视频中有可能出现指定目标，也有可能未出现指定目标，因此本步骤是判别在待识别样本集合中是否存在指定目标，具体过程是，3.1选择与指定目标不同的人脸图像样本，对其按照步骤2提取特征，之后对该特征集合进行样本的分布统计：设选择的与指定目标集合G＝{g}不是同一人的负样本特征集合S＝{sk}，k＝1,2,…,nS，负样本是指肯定跟指定目标不是同一个人的人脸图像样本，统计所有负样本与指定目标集合G＝{g}的距离均值μS和标准差σS；3.2构建负样本置信范围，根据概率统计获得负样本的距离置信范围，由于负样本的距离落在区间[μS-5σS,μS+5σS]以外的可能性仅为百万分之六，因此，如果待识别样本与指定目标集合G＝{g}的距离小于μS-5σS，那么样本与指定目标集合G＝{g}为同一对象的错误概率仅为百万分之六；3.3判别待识别集合中是否存在指定目标，为描述方便起见，不失一般性，假设待识别样本集合P＝{pi|i＝1,2,…,n}的样本与指定目标集合G＝{g}的距离最小的样本是p1，若样本p1满足公式1，则p1与指定目标为同一人，表明待识别样本集合中存在指定目标，判别计算公式为：||g-p1||2＜μS-5σS13.4如果判别待识别样本集合P＝{pi|i＝1,2,…,n}中存在指定目标，则转到步骤4进行后续处理；如果判别待识别样本集合P＝{pi|i＝1,2,…,n}中不存在指定目标，则直接输出未发现指定目标的结果，结束处理；步骤4、对待识别样本集合P＝{pi|i＝1,2,…,n}进行分类，因为待识别样本集合P＝{pi|i＝1,2,…,n}中既包含指定目标样本，又包含很多的陌生人的样本，必须进行分类处理，具体过程是：4.1因为无法获知待识别样本集合P＝{pi|i＝1,2,…,n}中包含几类，即需要识别的样本集合中，包含了多个人的人脸图像，但至少包含一个指定目标人和一个非指定目标人，所以初始化K＝2；采用Kmeans方法将待识别样本集合P＝{pi|i＝1,2,…,n}中的样本聚为K类，记第k类的子集为Kmeans算法是现有技术，参照相关的专业书籍及论文；4.2计算步骤4.1得到的K个类别子集的均值，记作μk，并将该均值定义为该子集的样本中心；之后，子集样本与样本中心的平均偏差定义为该子集的半径Rk，计算公式如下：4.3对步骤4.1得到的所有子集假设其中任意两个子集Pl和Pm，若子集和子集的中心距离dμl,μm小于半径差|Rl-Rm|，那么子集和子集属于包含关系，如图1a所示，表明分类个数不足，转步骤4.4；否则子集和子集属于相交或者相离的关系，如图1b所示，分类个数已够，转步骤4.5；图1a中的分类类别数是K＝9时，由于分类数不足，导致类间不具有良好的可分性，箭头所指的指定目标类别与箭头所指的非目标类别的置信区间相互叠加；图1b中的分类类别数K＝10，这时箭头所指的指定目标类别与非目标类别的置信区间可分；4.4将分类个数K加1，转步骤4.1重新分类；4.5对分为K个子集先选出指定目标样本所在的类别，为描述方便起见，不失一般性，设步骤3.3中的判断为与指定目标集合G＝{g}具有最小距离的样本p1属于子集则子集P1的种子点为4.6对其它的K-1个非目标的子集选出与均值μk距离最小的样本作为每个类别的种子，表示为4.7将上述生成的K个种子作为扩展目标集合，记为扩展目标集合具有K个类别；步骤5、预测待识别样本集合P＝{pi|i＝1,2,…,n}的归属类别，5.1对步骤4从待识别集合P＝{pi|i＝1,2,…,n}进行分类之后，根据步骤4.7得到的扩展目标集合则原来的待识别样本集合P＝{pi|i＝1,2,…,n}的样本数减少了K个样本，设去掉了种子点的待识别样本集合为采用标签传播算法标签传播算法为现有技术，参照相关的专业书籍或论文进行处理；对扩展目标集合和去掉了种子样本后的待识别集合进行合并，得到其中xi+K＝pi,i＝1,2,…,n-K；5.2计算概率转移矩阵T＝[tij]n×n，表达式如下：其中，wij为xi与xj之间的相似度，tij是样本的标签从xj转移到xi的概率；5.3初始化标签矩阵其中，IK×K为K行K列的单位矩阵，表示为集合的已知标签矩阵，0n-K×K为n-K行K列的零矩阵，表示为集合的未知标签矩阵，然后按照公式4迭代传播标签矩阵：Yt+1＝T·Yt4迭代过程中获得新的标签矩阵Yt+1，对Yt+1每行归一化，并且固定已标记数据的标签；直到标签矩阵收敛，停止迭代；迭代收敛后，Yt+1中第i+K行，i＝1,2,…,n-K中的最大值，表示待识别样本pi的预测概率记为scorei，i＝1,2,…,n-K，第i+K行最大值所在列，表示待识别样本pi的预测身份，记作idi，i＝1,2,…,n-K；集合中待识别样本pi均能获得预测身份idi和预测概率scorei，换句话说，集合中的所有样本均被聚为K类，样本归属这K类的预测概率为scorei，i＝1,2,…,n-K；步骤6、分类样本的确认，按照步骤5将集合和集合进行标签传播后，集合中待识别人脸样本集合分为K个类别，K个类别包括1个指定目标类别和K-1个非目标类别，表示为：为描述方便起见，不失一般性，设为指定目标集合，为非目标集合，按照步骤5的预测结果，对被分到指定目标类别中的样本，有可能含有非目标样本，不删除的话会影响正确率，同时，被分到非目标类别中的样本，有可能含有指定目标样本，不删除会影响召回率，为此需要分别进行确认操作，具体过程是：6.1指定目标类别样本的确认，标签传播后预测为指定目标类别的样本可能是正类样本即识别正确的样本，也可能是负类样本即识别错误的样本，利用Kmeans方法将该类别的所有样本的归属概率聚为两类，分别统计这两类的均值和标准差和，理论上，负类样本的预测概率落入区间仅有千万分之三的可能性，一般情况下极小可能性的事件几乎不可能发生，因此，预测为指定目标类别中，待识别样本预测概率满足公式5时，样本被确认为指定目标，参照图2，是指定目标类别迭代确认过程示意图，其中三角形点为指定目标点，实心点为误检为指定目标的非目标点，黑色的横线是公式5右端计算得到的阈值阈值上方的点确认为指定目标点，下方的点为进入下一次迭代的未确定点；其中，图2a为第1次迭代，图2b为第2次迭代，图2c为第10次迭代，图2d为第20次迭代，可以看出，在指定目标样本确认过程中，非目标样本被迭代剔除，由此保证指定目标的识别准确率。6.2非目标类别中样本的确认，k＝2,…,K，在种子中，为了防止属于指定目标类别的待识别样本与某个非目标种子样本相似，被识别为非目标而导致漏检；因此，在标签传播预测的K-1个非目标类别中，采用更加严格的确认步骤，使得可能的错检为非目标的指定目标样本能够在下次迭代过程中被正确召回；若待识别样本的预测概率满足公式6时，则样本被确认为该非目标类别，删除该样本：参照图3，是其中一个非目标类别迭代确认过程示意图，其中由右下角箭头所指的少量三角形点为误捡为非目标的指定目标点，实心点为非目标点，黑色的横线是公式6右端计算得到的阈值，阈值上方的点确认为非目标点，删除，下方的点为进入下一次迭代的未确定点；其中，图3a为第1次迭代，图3b为第2次迭代，图3c为第3次迭代，图3d为第6次迭代，可以看出，在非目标样本确认过程中，指定目标样本被逐渐排除，由此保证指定目标的召回率。步骤7、更新样本集合和待识别样本集合由步骤6，将确认为指定目标的样本，归入样本集合中，将删除了非目标样本的待识别样本更新为新的待识别样本集合然后重复步骤6，当预测为指定目标类别的样本度量距离d＜dth时，d的计算公式为公式7，dth是判断阈值，是一个经验值，优选dth＝4，则表明此时指定目标类别的样本差异较小，不存在非目标样本，停止迭代，d＝μGP-μGNσGP+σGN27其中，μGP，μGN分别为样本集合正负样本的均值，σGP，σGN分别为样本集合正负样本的标准差；步骤8、输出集合中指定目标样本，完成识别。

权利要求：1.一种单样本的低分辨率单类人脸识别方法，其特征在于，按照以下步骤实施：步骤1、从监控视频帧中检测出人脸区域，取监控视频中的人脸区域，作为待识别的人脸图像用于后续处理；步骤2、提取人脸区域的特征，采用已经训练好的VGG深度学习网络提取人脸图像特征，允许使用的VGG深度学习网络在训练时，不追加训练样本数据；设指定目标集合为G＝{g}，只有一个指定目标样本的特征；从步骤1得到的待识别样本集合为P＝{pi|i＝1,2,…,n}，其中pi为待识别的人脸特征，共包括n个特征样本；步骤3、判断待识别样本集合P＝{pi|i＝1,2,…,n}中是否存在指定目标；步骤4、对待识别样本集合P＝{pi|i＝1,2,…,n}进行分类处理；步骤5、预测待识别样本集合P＝{pi|i＝1,2,…,n}的归属类别；步骤6、分类样本的确认，按照步骤5将集合和集合进行标签传播后，集合中待识别人脸样本集合分为K个类别，K个类别包括1个指定目标类别和K-1个非目标类别，表示为：设为指定目标集合，为非目标集合，按照步骤5的预测结果，对被分到指定目标类别的样本，以及被分到非目标类别的样本分别进行确认操作；步骤7、更新样本集合和待识别样本集合由步骤6，将确认为指定目标的样本，归入样本集合中，将删除了非目标样本的待识别样本更新为新的待识别样本集合然后重复步骤6，当预测为指定目标类别的样本度量距离d＜dth时，d的计算公式为公式7，dth是判断阈值，则表明此时指定目标类别的样本差异较小，不存在非目标样本，停止迭代，d＝μGP-μGNσGP+σGN27其中，μGP，μGN分别为样本集合正负样本的均值，σGP，σGN分别为样本集合正负样本的标准差；步骤8、输出集合中指定目标样本，完成识别。2.根据权利要求1所述的单样本的低分辨率单类人脸识别方法，其特征在于：所述的步骤1中，人脸区域的检测方法采用openCV的人脸检测算法。3.根据权利要求1所述的单样本的低分辨率单类人脸识别方法，其特征在于：所述的步骤2中，采用VGG深度学习网络，提取指定目标以及待识别目标人脸特征时，输入VGG深度学习网络的样本全部插值标准化至网络要求的分辨率，即224×224。4.根据权利要求1所述的单样本的低分辨率单类人脸识别方法，其特征在于：所述的步骤3中，具体过程是，3.1选择与指定目标不同的人脸图像样本，对其按照步骤2提取特征，之后对该特征集合进行样本的分布统计：设选择的与指定目标集合G＝{g}不是同一人的负样本特征集合S＝{sk}，k＝1,2,…,nS，负样本是指肯定跟指定目标不是同一个人的人脸图像样本，统计所有负样本与指定目标集合G＝{g}的距离均值μS和标准差σS；3.2构建负样本置信范围，根据概率统计获得负样本的距离置信范围，由于负样本的距离落在区间[μS-5σS,μS+5σS]以外的可能性仅为百万分之六，因此，如果待识别样本与指定目标集合G＝{g}的距离小于μS-5σS，那么样本与指定目标集合G＝{g}为同一对象的错误概率仅为百万分之六；3.3判别待识别集合中是否存在指定目标，假设待识别样本集合P＝{pi|i＝1,2,…,n}的样本与指定目标集合G＝{g}的距离最小的样本是p1，若样本p1满足公式1，则p1与指定目标为同一人，表明待识别样本集合中存在指定目标，判别计算公式为：||g-p1||2＜μS-5σS13.4如果判别待识别样本集合P＝{pi|i＝1,2,…,n}中存在指定目标，则转到步骤4进行后续处理；如果判别待识别样本集合P＝{pi|i＝1,2,…,n}中不存在指定目标，则直接输出未发现指定目标的结果，结束处理。5.根据权利要求1所述的单样本的低分辨率单类人脸识别方法，其特征在于：所述的步骤4中，具体过程是，4.1因为无法获知待识别样本集合P＝{pi|i＝1,2,…,n}中包含几类，即需要识别的样本集合中，包含了多个人的人脸图像，但至少包含一个指定目标人和一个非指定目标人，所以初始化K＝2；采用Kmeans方法将待识别样本集合P＝{pi|i＝1,2,…,n}中的样本聚为K类，记第k类的子集为4.2计算步骤4.1得到的K个类别子集的均值，记作μk，并将该均值定义为该子集的样本中心；之后，子集样本与样本中心的平均偏差定义为该子集的半径Rk，计算公式如下：4.3对步骤4.1得到的所有子集假设其中任意两个子集Pl和Pm，若子集和子集的中心距离dμl,μm小于半径差|Rl-Rm|，那么子集和子集属于包含关系，表明分类个数不足，转步骤4.4；否则，子集和子集属于相交或者相离的关系，分类个数已够，转步骤4.5；4.4将分类个数K加1，转步骤4.1重新分类；4.5对分为K个子集先选出指定目标样本所在的类别，设步骤3.3中的判断为与指定目标集合G＝{g}具有最小距离的样本p1属于子集则子集P1的种子点为4.6对其它的K-1个非目标的子集选出与均值μk距离最小的样本作为每个类别的种子，表示为4.7将上述生成的K个种子作为扩展目标集合，记为扩展目标集合具有K个类别。6.根据权利要求1所述的单样本的低分辨率单类人脸识别方法，其特征在于：所述的步骤5中，具体过程是，5.1对步骤4从待识别集合P＝{pi|i＝1,2,…,n}进行分类之后，根据步骤4.7得到的扩展目标集合则原来的待识别样本集合P＝{pi|i＝1,2,…,n}的样本数减少了K个样本，设去掉了种子点的待识别样本集合为采用标签传播算法进行处理；对扩展目标集合和去掉了种子样本后的待识别集合进行合并，得到其中5.2计算概率转移矩阵T＝[tij]n×n，表达式如下：其中，wij为xi与xj之间的相似度，tij是样本的标签从xj转移到xi的概率；5.3初始化标签矩阵其中，IK×K为K行K列的单位矩阵，表示为集合的已知标签矩阵，0n-K×K为n-K行K列的零矩阵，表示为集合的未知标签矩阵，然后按照公式4迭代传播标签矩阵：Yt+1＝T·Yt4迭代过程中获得新的标签矩阵Yt+1，对Yt+1每行归一化，并且固定已标记数据的标签；直到标签矩阵收敛，停止迭代；迭代收敛后，Yt+1中第i+K行，i＝1,2,…,n-K中的最大值，表示待识别样本pi的预测概率记为scorei，i＝1,2,…,n-K，第i+K行最大值所在列，表示待识别样本pi的预测身份，记作idi，i＝1,2,…,n-K；集合中待识别样本pi均能获得预测身份idi和预测概率scorei，集合中的所有样本均被聚为K类，样本归属这K类的预测概率为scorei，i＝1,2,…,n-K。7.根据权利要求1所述的单样本的低分辨率单类人脸识别方法，其特征在于：所述的步骤6中，确认的具体过程是，6.1指定目标类别样本的确认，标签传播后预测为指定目标类别的样本可能是正类样本，也可能是负类样本，利用Kmeans方法将该类别的所有样本的归属概率聚为两类，分别统计这两类的均值和标准差和理论上，负类样本的预测概率落入区间仅有千万分之三的可能性，因此，预测为指定目标类别中，待识别样本预测概率满足公式5时，样本被确认为指定目标，6.2非目标类别中样本的确认，k＝2,…,K，在标签传播预测的K-1个非目标类别中，采用以下确认步骤，使得可能的错检为非目标的指定目标样本能够在下次迭代过程中被正确召回；若待识别样本的预测概率满足公式6时，则样本被确认为该非目标类别，删除该样本：

百度查询： 北京和鸿盈科技术有限公司 一种单样本的低分辨率单类人脸识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD