申请/专利权人：腾讯科技(深圳)有限公司

申请日：2019-05-08

公开（公告）日：2024-04-16

公开（公告）号：CN110147742B

主分类号：G06V40/16

分类号：G06V40/16;G06V10/22;G06V10/74;G06V10/82

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2021.11.02#实质审查的生效;2019.08.20#公开

摘要：本发明公开了一种关键点定位方法、装置及终端，其中关键点定位方法包括：获取当前帧图像中人脸关键点的第一位置信息；根据所述人脸关键点的第一位置信息和历史帧图像中所述人脸关键点的第二位置信息，确定所述第一位置信息与第二位置信息之间的有效相似度；根据所述第一位置信息与第二位置信息之间的有效相似度，确定所述第一位置信息的第一位置权重；根据所述第一位置信息、第二位置信息以及第一位置权重，确定所述人脸关键点在当前帧图像中的目标位置信息。本发明使得第一位置权重是一个动态的权重值，从而确保了人脸关键点在静态和动态状态下定位的准确性和稳定性，在人脸关键点处于动态时能够跟踪上当前人脸的位置，不产生延迟的效果。

主权项：1.一种关键点定位方法，其特征在于，所述方法包括：获取当前帧图像中人脸关键点的第一位置信息；确定所述第一位置信息与各历史帧图像中所述人脸关键点的第二位置信息之间的距离，得到各所述历史帧图像中所述人脸关键点的第二位置信息对应的初始相似度；所述各历史帧图像为位于所述当前帧图像之前的预设数量的帧图像；根据各所述历史帧图像与所述当前帧图像之间的时间间隔，确定各所述历史帧图像中所述人脸关键点的第二位置信息对应的第二位置权重；确定各所述历史帧图像中所述人脸关键点的第二位置信息对应的初始相似度和第二位置权重的加权值，根据所述加权值确定有效相似度；基于所述有效相似度确定目标递增函数的自变量以得到所述目标递增函数的值，将所述目标递增函数的值作为所述第一位置信息的第一位置权重；所述目标递增函数包括指数函数；基于所述第一位置信息和所述第一位置权重，以及各所述历史帧图像中所述人脸关键点的第二位置信息和相应的第二位置权重进行加权处理，确定所述人脸关键点在所述当前帧图像中的目标位置信息。

全文数据：一种关键点定位方法、装置及终端技术领域本发明涉及计算机技术领域，特别涉及一种关键点定位方法、装置及终端。背景技术在计算机视觉领域，人脸关键点的定位具有十分重要的地位，其是人脸识别、人脸追踪和人脸三维重建等领域的基础。人脸关键点可以是人脸五官如鼻子、眼睛、嘴巴等中语义性较强的关键点，也可以是人脸轮廓中语义性较强的关键点。相关技术中，采用人脸关键点预测模型来检测视频图像中的人脸关键点，而人脸关键点预测模型一般存在噪声，从而使得定位到的人脸关键点存在偏差，人脸关键点定位的准确性差。针对人脸关键点预测模型引起的定位准确性差的问题，相关技术中一般对人脸关键点预测模型的定位结果进行进一步的后处理，然而相关技术中的处理方式对于提高人脸关键点定位的准确性仍然具有一定的局限性，而且稳定性也较差，容易在人脸关键点处于动态时产生延迟的效果。发明内容为了解决现有技术的问题，本发明实施例提供了一种关键点定位方法、装置及终端。所述技术方案如下：一方面，提供了一种关键点定位方法，所述方法包括：获取当前帧图像中人脸关键点的第一位置信息；根据所述人脸关键点的第一位置信息和历史帧图像中所述人脸关键点的第二位置信息，确定所述第一位置信息与所述第二位置信息之间的有效相似度；根据所述第一位置信息与所述第二位置信息之间的有效相似度，确定所述第一位置信息的第一位置权重；根据所述第一位置信息、第二位置信息以及所述第一位置权重，确定所述人脸关键点在所述当前帧图像中的目标位置信息。另一方面，提供了一种关键点定位装置，所述装置包括：第一获取模块，用于获取当前帧图像中人脸关键点的第一位置信息；第一确定模块，用于根据所述人脸关键点的第一位置信息和历史帧图像中所述人脸关键点的第二位置信息，确定所述第一位置信息与所述第二位置信息之间的有效相似度；第二确定模块，用于根据所述第一位置信息与所述第二位置信息之间的有效相似度，确定所述第一位置信息的第一位置权重；第三确定模块，用于根据所述第一位置信息、第二位置信息以及所述第一位置权重，确定所述人脸关键点在所述当前帧图像中的目标位置信息。另一方面，提供了一种终端，包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述关键点定位方法。本发明实施例通过获取当前帧图像中人脸关键点的第一位置信息，根据该第一位置信息和历史帧图像中所述人脸关键点的第二位置信息确定第一位置信息与第二位置信息之间的有效相似度，并根据该有效相似度确定第一位置信息的第一位置权重，从而使得第一位置权重是一个动态的权重值，进而在根据第一位置信息、第二位置信息和第一位置权重确定人脸关键点在当前帧图像中的目标位置信息时，确保了人脸关键点在静态和动态状态下定位的准确性和稳定性，在人脸关键点处于动态时能够跟踪上当前人脸的位置，不产生延迟的效果。附图说明为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本发明实施例提供的一种关键点定位方法的流程示意图；图2是本发明实施例提供的根据人脸关键点的第一位置信息和历史帧图像中人脸关键点的第二位置信息确定第一位置信息与第二位置信息之间的有效相似度的一种方法流程示意图；图3是本发明实施例提供的另一种关键点定位方法的流程示意图；图4是本发明实施例提供的一种关键点定位装置的结构示意图；图5是本发明实施例提供的第一获取模块的一种结构示意图；图6是本发明实施例提供的第一确定模块的一种结构示意图；图7是本发明实施例提供的一种终端的结构示意图。具体实施方式为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。本发明实施例提供了一种关键点定位方法，该关键点定位方法可以应用于本发明实施例的关键点定位装置，该关键点定位装置可配置于终端或者终端的客户端中。其中，终端可以是智能手机、台式电脑、平板电脑、笔记本电脑等具有各种操作系统的硬件设备。客户端可以是基于人脸关键点实现相关功能的各种应用，该相关功能可以包括短视频人脸瘦脸、人脸挂件、虚拟三维人脸重建、虚拟人智能交互、人脸属性分析等。请参阅图1，其所示为本发明实施例提供的一种关键点定位方法的流程示意图，需要说明的是，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或终端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行例如并行处理器或者多线程处理的环境。具体的，如图1所示，所述方法包括：S101，获取当前帧图像中人脸关键点的第一位置信息。在本说明书实施例中，当前帧图像中人脸关键点的第一位置信息可以是但不限于通过人脸关键点预测模型检测的人脸关键的位置信息，该人脸关键点预测模型可以包括但不限于深度卷积神经网络模型，通过深度卷积神经网络模型可以直接回归得到当前帧图像中人脸关键点的坐标信息。其中，当前帧图像可以是终端中正在播放的视频中的帧图像，也可以是客户端在实现相关功能时当前显示的视频中的帧图像。帧图像是指构成视频的图像，视频可以看作是多个帧图像顺序构成的图像序列，视频的播放可以理解为顺序显示该图像序列中的帧图像，由于视频帧的显示频率大于人眼可识别的数值范围，由此形成人眼看到的连续变化的视频画面。S103，根据所述人脸关键点的第一位置信息和历史帧图像中所述人脸关键点的第二位置信息，确定所述第一位置信息与所述第二位置信息之间的有效相似度。在本说明书实施例中，历史帧图像为视频对应的图像序列中位于当前帧图像之前的帧图像。历史帧图像中所述人脸关键点的第二位置信息也可以是但不限于通过人脸关键点预测模型检测的人脸关键的位置信息，该人脸关键点预测模型可以包括但不限于深度卷积神经网络模型，通过深度卷积神经网络模型可以直接回归得到历史帧图像中人脸关键点的坐标信息。实际应用中，可以维护一个人脸关键点信息库，该人脸关键点信息库用于记录预设时间段内的历史帧图像中人脸关键点的位置信息，其中，预设时间段内的历史帧图像中人脸关键点的位置信息可以采取队列的形式进行存储。在以队列的形式进行存储时，可以按照历史帧图像与当前帧图像的时间间隔进行排列，例如，将与当前帧图像的时间间隔最大的历史帧图像存储在队列的队尾。预设时间段可以根据实际需要设定为具体的时间数值，也可以设定为具体的帧数量，需要说明的是，该时间数值或者帧数量均是相对于当前帧而言，例如，可以将预设时间段设定为帧数量16，即位于当前帧之前的16个历史帧。具体的，在进行人脸关键点信息库的维护时，可以确定人脸关键点信息库中与当前帧图像具有第一时间间隔的目标历史帧图像中人脸关键点的位置信息，并删除该人脸关键点信息库中所述目标历史帧图像中人脸关键点的位置信息，将人脸关键点信息库中剩余历史帧图像中人脸关键点的位置信息作为本发明实施例中的历史帧图像中所述人脸关键点的第二位置信息。实际实施过程中，第一时间间隔的历史帧图像可以设定为人脸关键点信息库的队列中位于队尾的历史帧图像，即此时的第一时间间隔为预设时间段，例如，预设时间段为16个帧数量，则第一时间间隔为16个帧数量，则人脸关键点信息库中剩余历史帧图像为15个，将这15个历史帧图像中人脸关键点的位置信息作为后续处理中的历史帧图像中人脸关键点的第二位置信息。当然，第一时间间隔还可以根据实际需要设定为其他的时间数值或者帧数量。需要说明的是，在删除人脸关键点信息库中所述目标历史帧图像中人脸关键点的位置信息之后，还可以将获取的当前帧图像中人脸关键点的第一位置信息存入该人脸关键点信息库，实现对该人脸关键点信息库的更新，以用于当前帧的下一帧的处理。例如，可以将当前帧图像中人脸关键点的第一位置信息存入人脸关键点信息库的队列的队首。针对当前帧的下一帧，当前帧即成为下一帧的历史帧。在一些实施例中，所述根据人脸关键点的第一位置信息和历史帧图像中所述人脸关键点的第二位置信息，确定所述第一位置信息与所述第二位置信息之间的有效相似度可以采用图2所示的方法，该方法可以包括：S201，确定所述第一位置信息和第二位置信息之间的初始相似度。在本说明书实施例中，可以通过第一位置信息与第二位置信息之间的距离来表征二者之间的初始相似度，该距离可以是欧式距离、余弦距离、曼哈顿距离等等。S203，根据所述历史帧图像与所述当前帧图像之间的时间间隔，确定所述历史帧图像中所述人脸关键点的第二位置信息对应的第二位置权重。在本说明书实施例中，通过历史帧图像与所述当前帧图像之间的时间间隔来确定历史帧图像中人脸关键点的第二位置信息对当前帧图像的贡献大小。实际应用中，在根据所述历史帧图像与所述当前帧图像之间的时间间隔，确定所述历史帧图像中所述人脸关键点的第二位置信息对应的第二位置权重时，可以将时间间隔越大的历史帧图像中人脸关键点的第二位置信息对应的第二位置权重设置的越小，将时间间隔越小的历史帧图像中人脸关键点的第二位置信息对应的第二位置权重设置的越大。例如，w0表示当前帧图像中人脸关键点的第一位置信息的第一位置权重；w1～w15表示15个历史帧图像中人脸关键点的第二位置信息的第二位置权重，其中下标表示历史帧图像与当前帧图像的帧数量间隔，则可以将w1～w5设定为3，w6～w10设定为2，w11～w15设定为1。需要说明的是，上述w1～w15的设定值只是一种示例，实际应用中可以根据需要进行调整。S205，根据所述初始相似度和第二位置权重，确定所述第一位置信息与所述第二位置信息之间的有效相似度。本说明书实施例中，在根据所述初始相似度和第二位置权重确定所述第一位置信息与所述第二位置信息之间的有效相似度时，可以确定初始相似度与第二位置权重的加权值，然后根据该加权值确定第一位置信息与第二位置信息之间的有效相似度。在一个具体实施方式中，可以按照如下公式1确实第一位置信息与第二位置信息之间的有效相似度：其中，l0表示当前帧图像中人脸关键点的坐标；li表示第i个历史帧图像中人脸关键点的坐标；wi表示第i个历史帧图像中人脸关键点的坐标的第二位置权重；k表示历史帧图像的总数；d表示第一位置信息与第二位置信息之间的有效相似度，d的取值范围为[0,∞。S105，根据所述第一位置信息与所述第二位置信息之间的有效相似度，确定所述第一位置信息的第一位置权重。在本说明书实施例中，可以将第一位置信息与所述第二位置信息之间的有效相似度作为目标递增函数的自变量，确定该目标递增函数的值，并将该目标递增函数的值作为第一位置信息的第一位置权重。实际应用中，该目标递增函数可以是但不限于指数函数、对数函数、多项式函数等。在一些实施例中，在根据有效相似度确定第一位置权重时，可以同时考虑人脸关键点预测模型的噪声大小以及上述有效相似度来确定第一权重调整系数，将该第一权重调整系数与有效相似度的乘积作为目标递增函数自变量来确定目标递增函数的值，并将该目标递增函数的值作为第一位置信息的第一位置权重。一般而言，人脸关键点预测模型的噪声越大，第一权重调整系数越小，反之，人脸关键点预测模型的噪声越小，第一权重调整系数越大；有效相似度越大，第一权重调整系数越大，反之，有效相似度越小，第一权重调整系数也越小。实际应用中，可以根据历史应用中的情况，将第一权重调整系数进行设定，例如可以设定为0.5。实际应用中，由于人脸关键点预测模型在人脸的姿态角比较小的时候即接近正脸的时候，其噪声比较小，而在人脸的姿态角比较大的时候比如抬头、低头或者侧脸，其噪声比较大。为了确保在人脸的姿态角比较大的情况下的人脸关键点定位的稳定性和准确性，在另一些实施例中，在根据有效相似度确定第一位置权重时，还可以根据当前帧图像中人脸的姿态角确定第二权重调整系数，然后根据所述有效相似度、所述第一权重调整系数和所述第二权重调整系数确定所述第一位置信息的第一位置权重。在一些实施例中，在根据当前帧图像中人脸的姿态角确定第二权重调整系数时，可以根据预设尺度变换系数，确定所述姿态角对应的姿态值，该预设尺度变换系数用于将姿态角转换到与有效相似度处于同一量纲，实际应用中，该预设尺度变换系数可以根据实际需求进行设定，例如可以设定为50；确定所述人脸关键点的预设静止状态参数值，该预设静止状态参数值用于表征当前帧图像中人脸关键点移动预设像素时可以认为当前帧图像中的人脸关键点处于一个相对静止的状态。预设静止状态参数值可以根据实际需求进行设定，例如可以设定为8个像素、6个像素或者4个像素等；将所述姿态值与所述预设静止状态参数值进行加和，得到所述第二权重调整系数。在一个具体实施例中，根据当前帧图像中人脸的姿态角，按照如下公式2确定第二权重调整系数：β＝βp+σ*absangle2其中，βp表示人脸关键点的预设静止状态参数值；σ表示预设尺度变换系数；angle表示人脸的姿态角的角度。在一些实施例中，在根据所述有效相似度、所述第一权重调整系数和所述第二权重调整系数，确定所述第一位置信息的第一位置权重时，可以确定所述有效相似度与所述第二权重调整系数的差值；将所述差值与所述第一权重调整系数的乘积作为目标递增函数的自变量，确定所述目标递增函数的值，并将所述目标递增函数的值作为所述第一位置信息的第一位置权重。实际应用中，该目标递增函数可以是但不限于指数函数、对数函数、多项式函数等。在一个具体实施方式中，根据有效相似度、第一权重调整系数和第二权重调整系数，按照如下公式3确定所述第一位置信息的第一位置权重：w0＝expα*d-β3其中，w0表示第一位置信息的第一位置权重；α表示第一权重调整系数；d表示有效相似度；β表示第二权重调整系数。S107，根据所述第一位置信息、第二位置信息以及所述第一位置权重，确定所述人脸关键点在所述当前帧图像中的目标位置信息。在本说明书实施例中，根据所述第一位置信息、第二位置信息以及所述第一位置权重，可以按照如下公式4确定人脸关键点在当前帧图像中的目标位置信息：其中，i＝0时，w0表示当前帧图像0中人脸关键点的第一位置信息的第一位置权重，l0表示当前帧图像0中人脸关键点的第一位置信息。i＝1～k时，w1～wk表示历史帧图像1～k中人脸关键点的第二位置信息的第二位置权重，l1～lk表示历史帧图像1～k中人脸关键点的第二位置信息；w1～wk可以根据历史帧图像与所当前帧图像之间的时间间隔设定为固定的取值。lout表示人脸关键点在当前帧图像中的目标位置信息。由本发明实施例的上述技术方案可见，本发明实施例通过当前帧图像中人脸关键点的位置信息与历史帧图像中人脸关键点的位置信息之间的有效相似度，确定了对应于当前帧图像中人脸关键点的位置信息的第一位置权重，从而使得该第一位置权重是一个动态的权重值，进而在根据第一位置信息、第二位置信息和第一位置权重确定人脸关键点在当前帧图像中的目标位置信息时，确保了人脸关键点在静态和动态状态下定位的准确性和稳定性，即在当前帧图像中人脸关键点接近“静止”状态时有一个比较稳定的定位结果，在当前帧图像中人脸关键点接近“动态”状态时能够跟踪上当前人脸的位置，不产生延迟的效果。此外，本发明实施例在确定第一位置权重时还考虑了当前帧图像中人脸的姿态角，从而使得了基于该第一位置权重确定的人脸关键点的目标位置信息的稳定性更好、准确性更高。实际应用中，人脸的不同特征部位如鼻子、眼睛、嘴巴等在人脸关键点预测模型中所产生的噪声是不同的，在将所有特征部位所对应的关键点作为一个整体来确定第一位置信息的第一位置权重时，很有可能导致的结果是当人脸在做一些微小动作例如眨眼、挑眉的时候，这些微小的动作被误认为是一个噪声产生的结果而被滤除，从而导致关键点定位的准确性降低。鉴于此，本发明实施例还提供了另一种关键点定位方法，如图3所示，该方法可以包括：S301，确定当前帧图像中人脸的特征部位对应的关键点的位置信息。在本说明书实施例中，可以根据人脸的特征部位对当前帧图像中人脸的关键点进行分组，将同一特征部位的关键点确定为一组，进而得到对应于各个特征部位的关键点的位置信息集合。例如，当前帧图像中人脸的特征部位为鼻子的关键点的位置信息集合表示为l0-nose＝{l0-nose1,l0-nose2,……l0-nosen}，其中，n表示鼻子的关键点总数；l0-nose表示当前帧图像中鼻子的关键点的位置信息。在一个具体实施方式中，人脸的特征部位可以包括人脸轮廓、左眉毛、右眉毛、左眼、右眼、鼻子、嘴巴、额头。需要说明的是，本说明书实施例对历史帧图像中人脸的关键点作与当前帧图像中关键点的上述相同处理，则历史帧图像中人脸的特征部位为鼻子的关键点的位置信息集合表示为lk-nose＝{lk-nose1,lk-nose2,……lk-nosen}，其中，k表示历史帧图像k，n表示鼻子的关键点总数；lk-nose表示历史帧图像中鼻子的关键点的位置信息。S303，将所述特征部位对应的关键点的位置信息作为所述人脸关键点的第一位置信息。本说明书实施例中，将当前帧图像中人脸的特征部位对应的关键点的位置信息作为所述人脸关键点的第一位置信息。相应的，将历史帧图像中所述特征部位对应的关键点的位置信息作为历史帧图像中所述人脸关键点的第二位置信息。从而在后续处理时，将每个特征部位对应的关键点的位置信息作为一个整体来考虑，对各个特征部位的关键点分别处理，并分别确定各个特征部位的关键点在当前帧图像中的目标位置信息。即当前帧图像中人脸的关键点与历史帧图像中人脸的关键点根据特征部位分组后，得到的集合可以表示为：其中，下标0表示当前帧图像，1～k表示历史帧图像；l表示关键点的位置信息；S305，根据所述人脸关键点的第一位置信息和历史帧图像中所述人脸关键点的第二位置信息，确定所述第一位置信息与所述第二位置信息之间的有效相似度。例如，根据{l0-nose，l1-nose,l2-nose……lk-nose}可以确定特征部位鼻子对应的有效相似度；根据{l0-mouth，l1-mouth,l2-mouth……lk-mouth}可以确定特征部位嘴巴对应的有效相似度；根据{l0-eyes，l1-eyes,l2-eyes……lk-eyes}可以确定特征部位眼睛对应的有效相似度。S307，根据所述第一位置信息与所述第二位置信息之间的有效相似度，确定所述第一位置信息的第一位置权重。例如，根据上述特征部位鼻子对应的有效相似度可以确定鼻子对应的第一位置权重。根据上述特征部位嘴巴对应的有效相似度可以确定嘴巴对应的第一位置权重；根据上述特征部位眼睛对应的有效相似度可以确定眼睛对应的第一位置权重。S309，根据所述第一位置信息、第二位置信息以及所述第一位置权重，确定所述人脸关键点在所述当前帧图像中的目标位置信息。例如，根据{l0-nose，l1-nose,l2-nose……lk-nose}以及鼻子对应的第一位置权重，可以确定鼻子的关键点在当前帧图像中的目标位置信息。根据{l0-mouth，l1-mouth,l2-mouth……lk-mouth}以及嘴巴对应的第一位置权重，可以确定嘴巴的关键点在当前帧图像中的目标位置信息。根据{l0-eyes，l1-eyes,l2-eyes……lk-eyes}以及眼睛对应的第一位置权重，可以确定眼睛的关键点在当前帧图像中的目标位置信息。当人脸的所有特征部位的关键点在当前帧图像中的目标位置信息均确定后，即可完成当前帧图像中人脸的关键点的定位。需要说明的是，上述步骤S303至步骤S309的详细内容可以参见前述图1所示方法实施例中的对应步骤的内容，在此不再赘述。本发明实施例将人脸的关键点按照关键点所属的特征部位进行分组，并且对于各个组分别处理以确定各个特征部位的关键点在当前帧图像中的目标位置信息，从而提升了微小动作下人脸关键点定位的准确性，准确定位人脸的细微表情动作。与上述几种实施例提供的关键点定位方法相对应，本发明实施例还提供一种关键点定位装置，由于本发明实施例提供的关键点定位装置与上述几种实施例提供的关键点定位方法相对应，因此前述关键点定位方法的实施方式也适用于本实施例提供的关键点定位装置，在本实施例中不再详细描述。请参阅图4，其所示为本发明实施例提供的一种关键点定位装置的结构示意图，如图4所示，该装置可以包括：第一获取模块410、第一确定模块420、第二确定模块430和第三确定模块440，其中，第一获取模块410，用于获取当前帧图像中人脸关键点的第一位置信息；第一确定模块420，用于根据所述人脸关键点的第一位置信息和历史帧图像中所述人脸关键点的第二位置信息，确定所述第一位置信息与所述第二位置信息之间的有效相似度；第二确定模块430，用于根据所述第一位置信息与所述第二位置信息之间的有效相似度，确定所述第一位置信息的第一位置权重；第三确定模块440，用于根据所述第一位置信息、第二位置信息以及所述第一位置权重，确定所述人脸关键点在所述当前帧图像中的目标位置信息。可选的，如图5所示，所述第一获取模块410可以包括：第四确定模块4110，用于确定所述当前帧图像中人脸的特征部位对应的关键点的位置信息；第五确定模块4120，用于将所述特征部位对应的关键点的位置信息作为所述人脸关键点的第一位置信息；相应的，所述历史帧图像中所述人脸关键点的第二位置信息包括所述历史帧图像中所述特征部位对应的关键点的位置信息.可选的，如图6所示，所述第一确定模块420可以包括：第六确定模块4210，用于确定所述第一位置信息和第二位置信息之间的初始相似度；第七确定模块4220，用于根据所述历史帧图像与所述当前帧图像之间的时间间隔，确定所述历史帧图像中所述人脸关键点的第二位置信息对应的第二位置权重；第八确定模块4230，用于根据所述初始相似度和第二位置权重，确定所述第一位置信息与所述第二位置信息之间的有效相似度。在一些实施例中，所述第八确定模块4230，具体用于：确定所述初始相似度与所述第二位置权重的加权值；根据所述加权值，确定所述第一位置信息与所述第二位置信息之间的有效相似度。在一些实施例中，所述第二确定模块430，具体用于：根据所述有效相似度，确定所述第一位置权重的第一权重调整系数；根据所述当前帧图像中所述人脸的姿态角，确定第二权重调整系数；根据所述有效相似度、所述第一权重调整系数和所述第二权重调整系数，确定所述第一位置信息的第一位置权重。可选的，所述第二确定模块430在根据所述当前帧图像中所述人脸的姿态角，确定第二权重调整系数时，根据预设尺度变换系数，确定所述姿态角对应的姿态值；确定所述人脸关键点的预设静止状态参数值；将所述姿态值与所述预设静止状态参数值进行加和，得到所述第二权重调整系数。可选的，所述第二确定模块430在根据所述有效相似度、所述第一权重调整系数和所述第二权重调整系数，确定所述第一位置信息的第一位置权重时，确定所述有效相似度与所述第二权重调整系数的差值；将所述差值与所述第一权重调整系数的乘积作为目标递增函数的自变量，确定所述目标递增函数的值；将所述目标递增函数的值作为所述第一位置信息的第一位置权重。需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。本发明实施例的关键点定位装置通过当前帧图像中人脸关键点的位置信息与历史帧图像中人脸关键点的位置信息之间的有效相似度，确定了对应于当前帧图像中人脸关键点的位置信息的第一位置权重，从而使得该第一位置权重是一个动态的权重值，进而在根据第一位置信息、第二位置信息和第一位置权重确定人脸关键点在当前帧图像中的目标位置信息时，确保了人脸关键点在静态和动态状态下定位的准确性和稳定性，即在当前帧图像中人脸关键点接近“静止”状态时有一个比较稳定的定位结果，在当前帧图像中人脸关键点接近“动态”状态时能够跟踪上当前人脸的位置，不产生延迟的效果。请参阅图7，其所示为本发明实施例提供的一种终端的结构示意图，该终端用于实施上述实施例中提供的关键点定位方法。具体来讲：终端700可以包括RFRadioFrequency，射频电路77、包括有一个或一个以上计算机可读存储介质的存储器720、输入单元730、显示单元740、视频传感器750、音频电路760、WiFiwirelessfidelity，无线保真模块770、包括有一个或者一个以上处理核心的处理器780、以及电源70等部件。本领域技术人员可以理解，图7中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：RF电路710可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器780处理；另外，将涉及上行的数据发送给基站。通常，RF电路710包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块SIM卡、收发信机、耦合器、LNALowNoiseAmplifier，低噪声放大器、双工器等。此外，RF电路77还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于GSMGlobalSystemofMobilecommunication，全球移动通讯系统、GPRSGeneralPacketRadioService，通用分组无线服务、CDMACodeDivisionMultipleAccess，码分多址、WCDMAWidebandCodeDivisionMultipleAccess,宽带码分多址、LTELongTermEvolution,长期演进、电子邮件、SMSShortMessagingService，短消息服务等。存储器720可用于存储软件程序以及模块，处理器780通过运行存储在存储器720的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器720可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序比如声音播放功能、图像播放功能等等；存储数据区可存储根据终端700的使用所创建的数据比如视频数据、电话本等等。此外，存储器720可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器720还可以包括存储器控制器，以提供处理器780和输入单元730对存储器720的访问。输入单元730可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元730可包括图像输入设备731以及其他输入设备732。图像输入设备731可以是摄像头，也可以是光电扫描设备。除了图像输入设备731，输入单元730还可以包括其他输入设备732。具体地，其他输入设备732可以包括但不限于物理键盘、功能键比如音量控制按键、开关按键等、轨迹球、鼠标、操作杆等中的一种或多种。显示单元740可用于显示由用户输入的信息或提供给用户的信息以及终端700的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元740可包括显示面板741，可选的，可以采用LCDLiquidCrystalDisplay，液晶显示器、OLEDOrganicLight-EmittingDiode，有机发光二极管等形式来配置显示面板741。终端700可包括至少一种视频传感器750，视频传感器用于获取用户的视频信息。终端700还可以包括其它传感器未示出，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板741的亮度，接近传感器可在终端700移动到耳边时，关闭显示面板741和或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上一般为三轴加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用比如横竖屏切换、相关游戏、磁力计姿态校准、振动识别相关功能比如计步器、敲击等；至于终端700还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。视频电路760、扬声器761，传声器762可提供用户与终端700之间的视频接口。音频电路760可将接收到的音频数据转换后的电信号，传输到扬声器761，由扬声器761转换为声音信号输出；另一方面，传声器762将收集的声音信号转换为电信号，由音频电路760接收后转换为音频数据，再将音频数据输出处理器780处理后，经RF电路710以发送给比如另一终端，或者将音频数据输出至存储器720以便进一步处理。音频电路760还可能包括耳塞插孔，以提供外设耳机与终端700的通信。WiFi属于短距离无线传输技术，终端700通过WiFi模块770可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图7示出了WiFi模块770，但是可以理解的是，其并不属于终端700的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。处理器780是终端700的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器720内的软件程序和或模块，以及调用存储在存储器720内的数据，执行终端700的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器780可包括一个或多个处理核心；优选的，处理器780可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器780中。终端700还包括给各个部件供电的电源70比如电池，优选的，电源可以通过电源管理系统与处理器780逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源70还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。尽管未示出，终端700还可以包括蓝牙模块等，在此不再赘述。具体在本实施例中，终端700还包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行。上述一个或者一个以上程序包含用于执行上述方法实施例提供的关键点定位方法的指令。本发明的实施例还提供了一种存储介质，所述存储介质可设置于终端之中以保存用于实现方法实施例中的一种关键点定位方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集可由终端的处理器加载并执行以实现上述方法实施例提供的关键点定位方法方法。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者装置中还存在另外的相同要素。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

权利要求：1.一种关键点定位方法，其特征在于，所述方法包括：获取当前帧图像中人脸关键点的第一位置信息；根据所述人脸关键点的第一位置信息和历史帧图像中所述人脸关键点的第二位置信息，确定所述第一位置信息与所述第二位置信息之间的有效相似度；根据所述第一位置信息与所述第二位置信息之间的有效相似度，确定所述第一位置信息的第一位置权重；根据所述第一位置信息、第二位置信息以及所述第一位置权重，确定所述人脸关键点在所述当前帧图像中的目标位置信息。2.根据权利要求1所述的关键点定位方法，其特征在于，所述获取当前帧图像中人脸关键点的第一位置信息包括：确定所述当前帧图像中人脸的特征部位对应的关键点的位置信息；将所述特征部位对应的关键点的位置信息作为所述人脸关键点的第一位置信息；相应的，所述历史帧图像中所述人脸关键点的第二位置信息包括所述历史帧图像中所述特征部位对应的关键点的位置信息。3.根据权利要求1所述的关键点定位方法，其特征在于，所述根据所述人脸关键点的第一位置信息和历史帧图像中所述人脸关键点的第二位置信息，确定所述第一位置信息与所述第二位置信息之间的有效相似度包括：确定所述第一位置信息和第二位置信息之间的初始相似度；根据所述历史帧图像与所述当前帧图像之间的时间间隔，确定所述历史帧图像中所述人脸关键点的第二位置信息对应的第二位置权重；根据所述初始相似度和第二位置权重，确定所述第一位置信息与所述第二位置信息之间的有效相似度。4.根据权利要求3所述的关键点定位方法，其特征在于，所述根据所述初始相似度和第二位置权重，确定所述第一位置信息与所述第二位置信息之间的有效相似度包括：确定所述初始相似度与所述第二位置权重的加权值；根据所述加权值，确定所述第一位置信息与所述第二位置信息之间的有效相似度。5.根据权利要求1所述的关键点定位方法，其特征在于，所述根据所述第一位置信息与所述第二位置信息之间的有效相似度，确定所述第一位置信息的第一位置权重包括：根据所述有效相似度，确定所述第一位置权重的第一权重调整系数；根据所述当前帧图像中人脸的姿态角，确定第二权重调整系数；根据所述有效相似度、所述第一权重调整系数和所述第二权重调整系数，确定所述第一位置信息的第一位置权重。6.根据权利要求5所述的关键点定位方法，其特征在于，所述根据所述当前帧图像中所述人脸的姿态角，确定第二权重调整系数包括：根据预设尺度变换系数，确定所述姿态角对应的姿态值；确定所述人脸关键点的预设静止状态参数值；将所述姿态值与所述预设静止状态参数值进行加和，得到所述第二权重调整系数。7.根据权利要求5所述的关键点定位方法，其特征在于，所述根据所述有效相似度、所述第一权重调整系数和所述第二权重调整系数，确定所述第一位置信息的第一位置权重包括：确定所述有效相似度与所述第二权重调整系数的差值；将所述差值与所述第一权重调整系数的乘积作为目标递增函数的自变量，确定所述目标递增函数的值；将所述目标递增函数的值作为所述第一位置信息的第一位置权重。8.根据权利要求1所述的关键点定位方法，其特征在于，在根据所述人脸关键点的第一位置信息和历史帧图像中所述人脸关键点的第二位置信息，确定所述第一位置信息与所述第二位置信息之间的有效相似度之前，所述方法还包括：确定人脸关键点信息库中与当前帧图像具有第一时间间隔的目标历史帧图像中人脸关键点的位置信息；所述人脸关键点信息库包括预设时间段内的历史帧图像中人脸关键点的位置信息；删除所述人脸关键点信息库中所述目标历史帧图像中人脸关键点的位置信息；将所述人脸关键点信息库中剩余历史帧图像中人脸关键点的位置信息作为所述历史帧图像中所述人脸关键点的第二位置信息。9.一种关键点定位装置，其特征在于，所述装置包括：第一获取模块，用于获取当前帧图像中人脸关键点的第一位置信息；第一确定模块，用于根据所述人脸关键点的第一位置信息和历史帧图像中所述人脸关键点的第二位置信息，确定所述第一位置信息与所述第二位置信息之间的有效相似度；第二确定模块，用于根据所述第一位置信息与所述第二位置信息之间的有效相似度，确定所述第一位置信息的第一位置权重；第三确定模块，用于根据所述第一位置信息、第二位置信息以及所述第一位置权重，确定所述人脸关键点在所述当前帧图像中的目标位置信息。10.一种终端，其特征在于，包括：处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-8任一项所述的关键点定位方法。

百度查询： 腾讯科技(深圳)有限公司 一种关键点定位方法、装置及终端

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD