申请/专利权人：南京华捷艾米软件科技有限公司

申请日：2017-06-09

公开（公告）日：2020-09-15

公开（公告）号：CN107292252B

主分类号：G06K9/00(20060101)

分类号：G06K9/00(20060101);G06K9/62(20060101)

优先权：

专利状态码：有效-授权

法律状态：2020.09.15#授权;2017.11.24#实质审查的生效;2017.10.24#公开

摘要：本发明涉及一种类似家庭环境下成员身份识别的方法，具体步骤包括：一是自动进行人脸图像质量筛选，初步完成家庭成员注册；二是在近距离、光线较好的条件下通过人脸识别身份；三是，跟踪人脸，并获得同一人的身高、体型、服饰等信息，并根据人脸信息为这些样本加上标签；四是，根据跟踪人脸、身高等信息，通过聚类方法，得到多维带标签样本；五是利用多维带标签样本训练目标环境分类器。本文发明能根据环境，跟踪学习原始无标签数据，弥补了人脸识别在人脸小、光线差、人脸角度过大条件下识别率低的问题，大大提高家庭身份识别实用性。

主权项：1.一种自主学习的身份识别方法，其特征在于，包括如下具体步骤：对人脸图像进行质量筛选，获取目标环境下每个成员的人脸图像，完成每个成员的预注册；其中，所述每个成员具有行为连续性；以及，人脸图像质量筛选包括对图像模糊度、人脸角度进行量化估计，并进行筛选；所述图像模糊度，包括对人脸图像进行Haar小波变换，得到金字塔结构的特征；所述人脸角度包括利用人脸特征点和3D标准人脸模型估算人脸的角度，对角度过大的人脸进行过滤，使之无法进行注册，以此减小自动学习的训练集噪声；在特定采集条件下获得成员的人脸图像，通过人脸识别确定该成员的身份，并对该成员进行跟踪采集，获得该成员的人体特征信息，将所述人体特征信息作为该成员的附加标签；根据人脸及所述人体特征信息进行聚类，得到多维特征数据；其中，所述聚类，是指以人脸图像作为输入，通过深度卷积网络提取特征，并计算各人脸的相似度，以相似度作为距离度量，将收集得到的已有初始标签数据分为几类，将相似度较大的人脸及人体特征信息标记为同一类；随后对每个类别进行交叉比对，并记下各个类别中相似度大于设定阈值ts的数量，若相似度大于阈值数量的比例超过tr，则认为两个类别为同一人重复注册，因此也聚为一类，在经过多次聚类后，即可得到噪声较小的多维特征训练数据；利用所述多维特征训练数据训练目标环境分类器；基于训练好的目标环境分类器进行所述目标环境下成员的身份识别。

全文数据：一种自主学习的身份识别方法技术领域[0001]本发明属于计算机模式识别技术领域，特别是涉及一种自主学习的身份识别方法。背景技术[0002]目前，对于家庭环境下身份识别，主要使用深度学习得到的人脸特征进行认证识另IJ，由于训练集与家庭环境下的对象的分布差距，而且家庭环境下光线条件欠佳，加上使用场景并不适于人工得到质量高的人脸图像进行注册，人脸角度变化非常大，从而导致人脸对齐不稳定以及人脸识别在实际使用中可靠性低的问题，且对这些问题一直没有稳定有效的解决方案。[0003]中国专利申请201610544157.X公开了一种人脸识别方法，通过对人脸图像进行Gamma校正，提高人脸图像中灰度值较低的阴影区域的灰度值，并采用Gaussain差分滤波进行带通滤波处理噪声和局部阴影的影响，随后进行对比度归一化，将整个图像的灰度值限制在一个较小的区域，用Garbor滤波器得到各个角度的人脸增强图像的直方图序列进行识另IJ。然而家庭环境中，光线可能非常弱，并且人在家庭环境中非常放松，人脸角度变化很大，极有可能出现遮挡等情况，人脸质量较低，无法满足自动注册识别的要求，该方法在实际场景中不太实际，低质量和大角度人脸图像影响最后的识别效果;而且还存在训练集与目标集分布不同的问题，迀移损失非常大，即使实验性能达到很高的水平，实际使用中仍然无法满足要求。[0004]综上所述，如何克服现有技术所存在的不足已成为当今计算机模式识别技术领域中亟待解决的重大难题之一。发明内容[0005]本发明的目的是为克服现有技术的不足而提供一种类似家庭环境下自主学习的身份识别方法，本发明所针对的类似家庭环境指的是人员相对固定，光线条件、人脸角度不满足人脸识别要求的环境，通常包括家庭、办公室之类场所。[0006]本发明能够根据类似家庭环境中目标人的行为连续性和一般人脸识别来自主学习身份识别，以大大提高类似家庭环境下的身份识别的效率。[0007]根据本发明提出的一种家庭环境下自主学习的身份识别方法，包括如下具体步骤：[0008]获取目标环境下每个成员的人脸图像，完成每个成员的预注册；[0009]^特定^集条件下获得成员的人脸图像，通过人脸识别确定该成员的身份，并对该成员进行跟踪采集，获得该成员的人体特征信息，将所述人体特征信息作为该成员的附加标签；[0010]根据人脸及所述人体特征信息进行聚类，得到多维特征数据；[0011]利用所述多维特征数据训练目标环境分类器；’[0012]基于训练好的目标环境分类器进行所述目标环境下成员的身份识别。[0013]进一步地，所述预注册是指在没有干预的情况下，机器自主完成的人脸注册。[0014]进一步地，还包括在预注册之前对所述人脸图像进行质量筛选。[0015]进一步地，所述人脸图像质量筛选包括对图像模糊度、人脸角度进行量化估计，并进行筛选。[0016]进一步地，所述图像模糊度，包括对图像进行Haar小波变换，得到金字塔结构的特征;所述人脸角度包括利用人脸特征点和3D标准人脸模型估算人脸的角度，对角度过大的人脸进行过滤，使之无法进行注册，以此减小自动学习的训练集噪声。[0017]进一步地，还包括设定图像模糊度和人脸角度的阈值，超过所述阈值的图像则舍弃，以此保证注册图像的质量。[0018]进一步地，所述特定采集条件包括人脸距离图像采集装置的距离、人脸的角度以及背景光线。[0019]进一步地，所述人体特征信息包括身高、体型或服饰习惯信息。[0020]进一步地，所述目标环境包括人员固定，光线条件、人脸角度不满足人脸识别要求的环境。[0021]进一步地，所述聚类系将同一人的所有数据序列聚为一类，随后对每个类别进行交叉比对，并记下各个类别中相似度大于设定阈值ts的数量，若相似度大于阈值数量的比例超过tr，则认为两个类别为同一人重复注册，因此也聚为一类，在经过多次聚类后，即可得到噪声较小的训练数据。[0022]本发明与现有身份识别相比其优点在于：[0023]一是本发明运用了实际环境中人体移动的连续性，并结合深度网络特征，对目标人群进行标识，并直接利用目标集训练身份识别分类器，避免了训练集和目标集分布不同带来的迁移损失。[0024]二是本发明的采用了多维数据，包括人脸、身高、体型和服饰习惯，比仅适用人脸信息的适用范围更广，尤其在人脸成像很小、遮挡情况下仍然可以识别身份。[0025]三是本发明在目标集学习一段时间后，己经在目标集上训练得到稳定的分类器，仅采用较小计算量即可准确识别身份。附图说明[0026]图1为本发明其中一实施例的预注册过程。[0027]图2为本发明其中一实施例的自动注册识别图像。[0028]图3为本发明其中一实施例的识别跟踪图像。[0029]图4为本发明其中一实施例的经过聚类的多维数据示意图。具体实施方式[0030]下面将结合附图和实施例对本发明的具体实施方式作进一步的详细说明。[0031]针对现有技术的缺陷，本发明提出一种适用于家庭环境下的自主学习的身份识别方法，根据家庭环境中目标人的行为连续性和一般人脸识别来自主学习身份识别，以大大提高家庭环境下的身份识别的效率。特别地，本发明所指的家庭环境包括一般意义上的家庭环境，也包括具有类似家庭环境的场所、比如办公室等环境。[0032]具体地，本发明所提出的方法的步骤包括：[0033]步骤1，获取每个家庭成员的人脸图像，完成每个家庭成员的预注册;该预注册是系，在没有人为干预的情况下，自动进行人脸图像质量筛选，初步完成家庭成员注册，为了提高预注册的准确性，并使得尽量少的重复注册，系统将对人脸图像质量进行筛选;本发明所指的图像质量筛选，是指对图像模糊度、人脸角度和遮挡进行量化估计，并进行筛选，保证注册照片的质量。[0034]步骤2,在近距离、人脸角度较小的条件下通过人脸信息识别身份，本发明所指的近距离，例如指人脸距离摄像头两米以内，人脸像素宽高大小在200*200以上；人脸角度较小是指人脸左右摇摆和上下抬头低头的角度小于45度。[0035]步骤3，跟踪人脸，并获得同一人的身高、体型、服饰等信息，并根据人脸信息为这些样本加上标签;本发明中的跟踪人脸，是指以识别人脸作为初始化跟踪目标，在后续帧图像中确定人脸位置，其中：身高、体型、服饰等信息，是指通过深度摄像头和彩色摄像头获得的目标人当前高度、体型及穿着服饰;其中根据人脸信息为这些样本加上标签，是指以步骤2所述人脸信息识别得到的身份标识跟踪得到的人脸、身高、服饰信息。[0036]步骤4,根据跟踪人脸、身高、服饰等信息，通过聚类方法，得到多维含标签样本，本发明的聚类方法，是指以人脸图像作为输入，通过深度卷积网络提取特征，并计算各人脸的相似度，以相似度作为距离度量，将收集得到的己有初始标签数据分为几类，将相似度较大的人脸、身高、体型、服饰习惯信息标记为同一类；[0037]步骤5,利用多维含标签样本训练目标环境分类器，所述多维含标签样本，是指步骤4聚类后得到的人脸特征、身高信息、体型和服饰习惯等多维数据。[0038]结合图1、图2、图3和图4，对本发明提出的一种家庭环境下自主学习的身份识别方法的具体应用实施例进一步说明如下：[0039]本发明的主要作用是在家庭环境下准确快速识别家庭目标人群，其具体实施方式如下：[0040]^如图1所示，在类似家庭环境中，为了让机器自主进行分类学习任务，注册过程为自动进行的。然而当前的人脸识别算法在实际环境光线、角度等影响下，仍然无法达到满意的效果，由人脸给出认证结果不完全可信。若将输入人脸的图像质量进行一定的限制，识别可信度会明显提高。因此采用了模糊度和角度、遮挡等手段对人脸图像进行过滤，以此保证注册库中尽量少的同人重复注册。[0041]在物体运动时，成像可能会非常模糊，非常难以识别，为了减少不必要的计算，并尽量避免无关噪声对人脸识别的影响，有必要根据图像的模糊程度过滤一部分人脸图像。在具体实施过程中，本发明采用了快速的模糊度检测算法，即采用Haar小波变换方法。首先对图像进行Haar小波变换，得到金字塔结构的特征。由于Haar小波变换在不同尺度下对于不同的边缘类型产生的作用不同，如对锐利的边缘造成的影响小于较平滑的边缘;对不同尺度的特征图计算边缘指数，这样就能检测到不同图像边缘类型，并以此来统计图像中所有边缘中平滑边缘的比例，以此判断图像的模糊程度。[0042]由于人脸可活动角度非常大，不同角度成像分布差异也非常大，尽管过去几年深度学习利用大量的人脸数据的统计信息，得到了较好的识别性能，但对于角度过大的人脸识别效果仍然不理想，若预注册过程中，将侧脸和正脸一般对待，极有可能出现同一人不同角度的脸部图像重复注册，而这对自动学习和后续识别都会造成很坏的影响。因此本发明利用人脸特征点和3D标准人脸模型估算人脸的角度，对角度过大的人脸进行过滤，使之无法进行注册，以此减小自动学习的训练集噪声。在具体实施过程中，首先通过回归的方法得到人脸特征点的位置，得到包括眼睛、鼻尖、嘴角等特征点在图像中的位置，结合标准3D人脸模型中相应点的3维坐标，利用旋转变换方法估算各个角度。[0043]再回到图2中，在已经注册为家庭成员人脸图像后，机器每次抓取到人脸时，即利用现有人脸识别模块对抓取到的人脸进行识别，以确定此人脸身份，在学习过程中，本发明使用深度网络提取特征，并进行认证。[0044]如图3所示，在识别得到一张人脸图像时，启动跟踪算法，对该人进行跟踪，获得后续帧图像中此人的多种姿态的人脸和身高、体型、服饰习惯等信息。[0045]为了准确的跟踪人的人脸，本发明结合了深度图像和彩色图信息进行跟踪，并在跟踪过程中，给出人身体关键部位和关节点，计算性能达到30FPS，达到实时跟踪的要求，在准确跟踪人脸和身体关键部位及关节点后，根据这些位置本发明可以获得不同角度下人脸图像以及身体各部位尺寸、体型、服饰习惯等信息，将这些信息组成大量的含标签数据序列。[0046]在获得大量多维含标签数据序列后，可利用聚类方法对采集到的数据序列进行分析，如图4所示，不同序列的图像可以通过人脸特征信息进行聚类，至此本发明可以得到多维含标签数据。[0047]具体实施过程中，首先将标签为同一人的所有数据序列聚为一类，随后对每个类别进行交叉比对，并记下各个类别中相似度大于给定阈值ts的数量，若相似度大于阈值数量的比例超过tr，则认为两个类别为同一人重复注册，因此也聚为一类，在经过多次聚类后，即可得到噪声较小的训练数据，包括人脸、身体各部位尺寸、体型、服饰习惯和对应的标签。[0048]得到家庭成员训练数据后，即可在目标环境中训练用于身份识别的分类器。在本发明的一个实施例中，分类器可以为SVM、LogistiC或JointBayesian中的一种;人脸特征可以采用深度网络或者SIFT+H0G进行融合，体型特征和服饰习惯则采用H0G特征，身体各部位及关节点尺寸直接由深度摄像头获得;将多维特征进行融合，作为分类器的输入，分类器训练至收敛后，即可离线进行测试，经过离线验证再进行具体的身份识别，若硬件平台计算性能较弱，人脸特征可宜选用浅层网络或直接使用SIFT+H0G特征。[0049]采用该实施例提供的身份识别方法，结合了深度网络人脸识别和具体环境跟踪得来的目标集合数据，避免了训练集到目标集的迀移损失，有利于改善识别效果;本发明使用的多维数据，包括人脸、体型、关键部位尺寸、服饰习惯等信息，比仅采用人脸进行身份识别更适合家庭身份识别场景，即使光线条件较差，有遮挡等情况，仍然能很好地识别家庭成员身份;同时，本发明的方法比大型深度网络特征的方法计算量也大大减少。[00S0]从以土的描述中，可以看出，本发明实现了如下技术效果:在已有深度网络特征的基础上，在目标环境中跟踪家庭成员人脸，得到多维度含标签数据，直接在目标集上进行训练，相比于其他身份识别有无训练集到目标集迀移损失，受遮挡、光线影响小，计算量小等特点。[0051]特别需要说明的是，本领域的技术人员完全能够理解，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，优选地，它们可以用计算装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行。这样在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合，即本发明不限制于任何特定的硬件和软件的结合。[0052]本发明的具体实施方式中凡未涉到的说明属于本领域的公知技术，可参考公知技术加以实施。[0053]本发明经反复试验验证，取得了满意的实用效果。[0054]以上具体头施方式及实施例是对本发明提出的一种家庭环境下自主学习的身份识别方法技术思想的具体支持，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在本技术方案基础上所做的任何等同变化或等效的改动，均仍属于本发明技术方案保护的范围。

权利要求：1.一种自主学习的身份识别方法，其特征在于，包括如下具体步骤：获取目标环境下每个成员的人脸图像，完成每个成员的预注册；在特定采集条件下获得成员的人脸图像，通过人脸识别确定该成员的身份，并对该成员进行跟踪采集，获得该成员的人体特征信息，将所述人体特征信息作为该成员的附加标签；根据人脸及所述人体特征信息进行聚类，得到多维特征数据；利用所述多维特征数据训练目标环境分类器；基于训练好的目标环境分类器进行所述目标环境下成员的身份识别。2.根据权利要求1所述的一种自主学习的身份识别方法，其特征在于，所述预注册是指在没有干预的情况下，机器自主完成的人脸注册。3.根据权利要求1或2所述的一种自主学习的身份识别方法，其特征在于，还包括在预注册之前对所述人脸图像进行质量筛选。4.根据权利要求3所述一种自主学习的身份识别方法，其特征在于，所述人脸图像质量筛选包括对图像模糊度、人脸角度进行量化估计，并进行筛选。5.根据权利要求4所述的一种自主学习的身份识别方法，其特征在于，所述图像模糊度，包括对图像进行Haar小波变换，得到金字塔结构的特征;所述人脸角度包括利用人脸特征点和3D标准人脸模型估算人脸的角度，对角度过大的人脸进行过滤，使之无法进行注册，以此减小自动学习的训练集噪声。6.根据权利要求1_2、4-5任一项所述的一种自主学习的身份识别方法，其特征在于，还包括设定图像模糊度和人脸角度的阈值，超过所述阈值的图像则舍弃，以此保证注册图像的质量。7.根据权利要求1所述的一种自主学习的身份识别方法，其特征在于，所述特定采集条件包括人脸距离图像采集装置的距离、人脸的角度以及背景光线。8.根据权利要求1所述的一种自主学习的身份识别方法，其特征在于，所述人体特征信息包括身高、体型或服饰习惯信息。9.根据权利要求1所述的一种自主学习的身份识别方法，其特征在于，所述目标环境包括人员固定，光线条件、人脸角度不满足人脸识别要求的环境。10.根据权利要求1所述的一种自主学习的身份识别方法，其特征在于，所述聚类系将同一人的所有数据序列聚为一类，随后对每个类别进行交叉比对，并记下各个类别中相似度大于设定阈值ts的数量，若相似度大于阈值数量的比例超过tr，则认为两个类别为同一人重复注册，因此也聚为一类，在经过多次聚类后，即可得到噪声较小的训练数据。

百度查询： 南京华捷艾米软件科技有限公司 一种自主学习的身份识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD