申请/专利权人：三星电子株式会社

申请日：2018-03-07

公开（公告）日：2024-04-02

公开（公告）号：CN108629168B

主分类号：G06F21/32

分类号：G06F21/32;G06V40/16;G06V10/82

优先权：["20170323 KR 10-2017-0036646","20170419 KR 10-2017-0050653","20170502 KR 10-2017-0056145"]

专利状态码：有效-授权

法律状态：2024.04.02#授权;2020.01.07#实质审查的生效;2018.10.09#公开

摘要：公开一种脸部验证方法、设备以及计算设备。所述脸部验证方法包括：检测输入图像中的脸部区域；确定检测的脸部区域是否表示局部脸部；响应于确定检测的脸部区域表示局部脸部，通过将检测的脸部区域的图像信息与参考图像信息进行组合来生成合成图像；针对合成图像和预定的第一登记信息执行验证操作；基于执行的验证操作的结果，指示输入图像的脸部验证是否成功。

主权项：1.一种脸部验证方法，包括：检测输入图像中的脸部区域；确定检测的脸部区域是否表示局部脸部，其中，局部脸部是响应于被捕捉的脸部部分地在捕捉输入图像的相机的视野之外而获得的脸部；响应于确定检测的脸部区域表示局部脸部，通过将检测的脸部区域的图像信息与预定义的参考图像的参考图像信息进行组合，来生成合成图像，其中，合成图像包括包含在局部脸部中的图像信息和参考图像信息，参考图像信息是参考图像中的通过在相机的视野的外部而未包括在输入图像中的一个或多个缺失脸部区域的对应的合成脸部区域的图像信息；针对合成图像和预定的第一登记信息，执行验证操作；基于执行的验证操作的结果，指示输入图像的脸部验证是否成功，其中，针对合成图像和第一登记信息的验证操作包括：使用特征提取器提取合成图像的特征；基于将提取的特征和第一登记信息中的登记特征进行比较的结果，来确定输入图像的脸部验证是否成功，其中，提取合成图像的特征的步骤包括：向特征提取器提供合成图像与包括参考图像信息的参考图像之间的差图像的图像信息，来提取合成图像的特征。

全文数据：脸部验证方法、设备以及计算设备[0001]本申请要求于2017年3月23日提交到韩国知识产权局的第10-2017-0036646号韩国专利申请、于2017年4月19日提交到韩国知识产权局的第10-2017-0050653号韩国专利申请以及于2017年5月2日提交到韩国知识产权局的第10-2017-0056145号韩国专利申请的权益，所述韩国专利申请的全部公开为了所有的目的通过引用合并于此。技术领域[0002]下面的描述涉及脸部验证技术。背景技术[0003]脸部验证技术是一种生物测量学认证技术并可包括基于出现在静止图像或视频中的脸部来确定用户是否是有效用户。这种脸部验证技术可在不与目标接触的情况下验证目标。发明内容[0004]提供本发明内容来以简化的形式介绍下面在具体实施方式中进一步描述的构思的选择。本发明内容不意图识别要求保护的主题的关键特征或必要特征，本发明内容也不意图用于帮助确定要求保护的主题的范围。[0005]在一个总体方面，一种处理器实现的脸部验证方法，包括:检测输入图像中的脸部区域;确定检测的脸部区域是否表示局部脸部;响应于确定检测的脸部区域表示局部脸部，通过将检测的脸部区域的图像信息与参考图像信息进行组合来生成合成图像;针对合成图像和预定的第一登记信息执行验证操作;基于执行的验证操作的结果，指示输入图像的脸部验证是否成功。[0006]执行验证操作的步骤还可包括选择性地：当检测的脸部区域被确定为表示全脸时，针对检测的脸部区域和预定的第二登记信息来执行验证；当检测的脸部区域被确定为表示局部脸部时，针对合成图像和第一登记信息执行验证。[0007]针对检测的脸部区域和第二登记信息执行验证的步骤可包括:基于检测的脸部区域的图像信息与包括参考图像信息的参考图像的图像信息之间的差，来提取输入图像的特征;并基于将提取的特征与多个登记特征之中的与全脸对应的选择的登记特征进行比较的结果，来确定脸部验证是否成功。[0008]参考图像信息可对应于参考图像的选择的脸部区域的图像信息，选择的脸部区域可对应于检测的脸部区域的确定的缺失的脸部部分或者检测的脸部区域的确定的局部脸部类型。[0009]针对合成图像和第一登记信息执行验证操作的步骤可包括:从从合成图像和参考图像得到的差图像提取特征，并将提取的特征与第一登记信息的登记特征进行比较。[0010]确定检测的脸部区域是否表示局部脸部的步骤可基于检测的脸部区域的至少一个确定的位置或者基于根据参考脸部部分的预定位置的至少一个确定的缺少的脸部部分。[0011]确定检测的脸部区域是否表示局部脸部的步骤可包括:响应于确定检测的脸部区域包括输入图像的边界的一部分，确定检测的脸部区域表示局部脸部。[0012]生成合成图像的步骤可包括:通过将检测的脸部区域的图像信息与参考图像的作为参考图像信息的选择的图像信息进行组合，来生成合成图像，其中，参考图像的选择的图像信息可以是参考图像的被确定为与全脸的和检测的脸部区域所表示的局部脸部不同的另一区域对应的部分的图像信息。[0013]参考图像的所述部分可以是被确定从检测的脸部区域缺失的全脸的其余部分。[0014]确定检测的脸部区域是否表示局部脸部的步骤可包括:响应于确定检测的脸部区域不包括分别与多个预定义的脸部部分区域中的至少一个对应的一个或多个参考脸部标志点，确定检测的脸部区域表示局部脸部。[0015]所述方法还可包括:在检测的脸部区域中检测多个脸部标志点，确定检测的脸部区域不包括所述一个或多个参考脸部标志点的步骤可包括:将检测的所述多个脸部标志点与所述一个或多个参考脸部标志点进行比较。[0016]检测在检测的脸部区域中的所述多个脸部标志点中的一个或多个的步骤可在检测脸部区域的步骤中执行，以检测脸部区域。[0017]生成合成图像的步骤可包括:通过将检测的脸部区域的图像信息和参考图像的作为参考图像信息的与所述多个预定义的脸部部分区域中的所述至少一个对应的部分的图像信息进行组合，来生成合成图像。[0018]可基于所述多个预定义的脸部部分区域中的所述至少一个来确定用于将检测的脸部区域的图像信息与参考图像的所述部分的图像信息进行组合的参考图像的所述部分的位置和形状。[0019]针对合成图像和第一登记信息的验证操作可包括:使用特征提取器提取合成图像的特征;基于将提取的特征和多个登记特征之中的与检测的脸部区域的确定的局部脸部类型对应的登记特征进行比较的结果，来确定输入图像的脸部验证是否成功。[0020]所述方法还可包括:基于针对一个或多个参考脸部部分区域对检测的脸部区域中的多个脸部标志点的分析，来确定检测的脸部区域的局部脸部类型。[0021]检测脸邰区域的步骤可包括检测所述多个脸部标志点中的一个或多个。[0022]提取合成图像的特征的步骤可包括：向特征提取器提供合成图像与包括参考图像信息的参考图像之间的差的图像信息。夕、[0023]特征提取器可以是包括与多个局部脸部类型分别对应的多个输出层的神经网络。[0024]神经网络可包括:公共特征提取器，包括一个或多个训练的神经网络层，被配置为接收检测的脸部区域并提取中间特征;第一特征提取器，包括一个或多个训练^神经网络层，连接到公共特征提取器，被配置为响应于检测的脸部区域被确定为表示全脸，接;^中间特征并提取全脸特征彳曰息;第一特征提取器，包括一个或多个训练的神经网络层，连接到公共特征提取器，被配置为响应于检测的脸部区域被确定为表示局部脸部，接收中间特征并提取局部脸部特征信息，其中，执行验证操作的步骤可包括:将全脸特征信息与预定的第二登记信息进行比较或者将局部脸部特征信息与第一登记信息进行比较。0'一[0025]所述多个登记特征可包括针对多个不同的局部脸部类型中的每个局部脸部类型的对应的登记特征。nA[0026]所述多个局部脸部类型可以是各自不同的局部脸部类型。[0027]参考图像信息可从参考图像获得，并且参考图像可以是基于多个训练图像确定的图像，其中，所述多个训练图像用于训练在验证操作中使用的用于从合成图像提取用于与第一登记信息进行比较的特征的特征提取器。[0028]特征提取器可包括训练的神经网络，并且所述方法还可包括:使用所述多个训练图像训练用于提取脸部图像特征的神经网络，从所述多个训练图像确定参考图像。[0029]所述方法还可包括:确定检测的脸部区域中是否存在遮挡区域，其中，响应于确定检测的脸部区域中存在遮挡区域，还可通过将检测的脸部区域的被确定为存在遮挡区域的图像信息的部分替换为参考图像的与遮挡区域对应的部分的图像信息，来执行合成图像的生成，其中，参考图像包括参考图像信息。[0030]所述方法还可包括:检测在检测的脸部区域中的多个脸部标志点，并通过基于检测的多个脸部标志点的确定的位置调节检测的脸部区域来生成检测的脸部区域的图像信息。[0031]在一个总体方面，提供一种存储指令的非暂时性计算机可读存储介质，其中，当所述指令由计算硬件执行时使计算硬件实现在此描述的操作中的一个或多个、任何组合或全部。[0032]当所述脸部验证方法正被执行时，可不向用户提供表示脸部区域的图像。[0033]当所述脸部验证方法正被执行时，可不向用户显示用于激励用户的定位来捕捉输入图像的指南。[0034]在一个总体方面，一种脸部验证设备，包括:处理器，被配置为:检测输入图像中的脸部区域；确定检测的脸部区域是否表示局部脸部;响应于检测的脸部区域被确定为表示局部脸部，通过将检测的脸部区域的图像信息与参考图像信息进行组合来生成合成图像；针对合成图像和预定的第一登记信息执行验证操作;基于执行的验证操作的结果，指示输入图像的脸部验证是否成功。[0035]对于验证操作的执行，处理器可被配置为选择性地：当检测的脸部区域被确定为表示全脸时，针对检测的脸部区域和预定的第二登记信息执行验证；当检测的脸部区域被确定为表示局部脸部时，针对合成图像和第一登记信息执行验证。[0036]参考图像信息可对应于参考图像的选择的脸部部分的图像信息，其中，选择的脸部部分可对应于检测的脸部区域的确定的缺失的脸部部分或者检测的脸部区域的确定的局部脸部类型。[0037]对于针对合成图像和第一登记信息的验证操作的执行，处理器可被配置为:得到合成图像与参考图像之间的差，从得到的差提取特征，并将提取的特征与第一登记信息的登记特征进行比较。[0038]对于检测的脸部区域是否表示局部脸部的确定，处理器可被配置为：响应于由处理器确定检测的脸部区域包括输入图像的边界的一部分，确定检测的脸部区域表示局部脸部。[0039]处理器可被配置为:通过将检测的脸部区域的图像信息与参考图像的作为参考图像信息的选择的图像信息进行组合，来生成合成图像，其中，参考图像的选择的图像信息可以是参考图像的由处理器确定的与全脸的和检测的脸部区域所表示的局部脸部不同的另一区域对应的部分的图像信息。[0040]参考图像的所述部分可以是由处理器确定为从检测的脸部区域缺失的全脸的其余部分。[0041]对于检测的脸部区域是否表示局部脸部的确定，处理器可被配置为：响应于由处理器确定检测的脸部区域不包括与多个预定义的脸部部分区域中的至少一个分别对应的一个或多个参考脸部标志点，确定检测的脸部区域表示局部脸部。[0042]处理器还可被配置为:检测在检测的脸部区域中的多个脸部标志点，并通过将检测的多个脸部标志点与所述一个或多个参考脸部标志点进行比较来确定检测的脸部区域不包括所述一个或多个参考脸部标志点。[0043]处理器可被配置为：当执行脸部区域的检测时，检测在检测的脸部区域中的所述多个脸部标志点中的一个或多个。[0044]处理器可被配置为:通过将检测的脸部区域的图像信息和参考图像的与所述多个预定义的脸部部分区域中的所述至少一个对应的部分的图像信息进行组合，来生成合成图像。[0045]对于针对合成图像和第一登记信息的验证操作，处理器可被配置为:使用特征提取器提取合成图像的特征，并基于由处理器将提取的特征和多个登记特征之中的与检测的脸部区域的确定的局部脸部类型对应的登记特征进行比较，来确定输入图像的脸部验证是否成功。[0046]处理器还可被配置为：确定检测的脸部区域中是否存在遮挡区域，并且响应于确定检测的脸部区域中存在遮挡区域，对于合成图像的生成，处理器还可被配置为:将检测的脸部区域的被确定为存在遮挡区域的图像信息的部分替换为参考图像的与遮挡区域对应的部分的图像信息，其中，参考图像包括参考图像信息。[0047]所述设备还可包括:相机，被配置为捕捉包括所述脸部区域的脸部图像，其中，所述脸部验证设备还可被配置为：当包括检测脸部区域的脸部验证处理正被执行时，不显示捕捉的脸部图像。[0048]在一个总体方面，一种计算设备包括:相机，被配置为获得用户的脸部图像；显示器，被配置为在获得所述脸部图像期间能够被用户观察到;处理器，被配置为通过将获得的脸部图像与登记的脸部图像进行比较来执行脸部验证，其中，计算设备在脸部验证正被执行时不在显示器上显示获得的脸部图像。[0049]处理器可被配置为：当获得的脸部图像包括用户的全脸信息时以及当获得的脸部图像仅包括用户的局部脸部信息时执行脸部验证。[0050]响应于获得的脸部图像仅包括用户的局部脸部信息，处理器可被配置为:基于确定的局部脸部信息的类型来生成获得的脸部图像与预定义的参考图像的合成图像，并基于合成图像来执行脸部验证。[0051]在一个总体方面，一种处理器实现的脸部验证方法包括:检测输入图像中的脸部区域;通过选择性地执行将预定的第一登记特征和从合成脸部提取的特征进行比较的第一验证操作和执行将预定的第二登记特征与从检测的脸部区域提取的特征进行比较的第二验证操作，来执行输入图像的脸部验证，其中，合成图像包括检测的脸部区域的图像信息和填充信息，第二登记特征是从登记图像提取的特征，第一登记特征是从基于登记图像的合成登记脸部提取的特征。[0052]所述方法还可包括:确定检测的脸部区域是否表示局部脸部，其中，选择性地执行第一验证操作和第二验证操作的步骤还可包括:当检测的脸部区域被确定为表示局部脸部时选择执行第一验证操作，当检测的脸部区域不被确定为表示局部脸部时选择执行第二验证操作。[0053]填充信息可对应于参考图像的选择的脸部部分的图像信息，其中，当检测的脸部区域被确定为表示局部脸部时，选择的脸部部分可对应于检测的脸部区域的确定的缺失的脸部部分。[0054]所述方法还可包括:执行从合成登记脸部提取第一登记特征的第一登记操作，执行从登记图像提取第二登记特征的第二登记操作，其中，合成登记脸部包括登记图像的局部图像信息和登记填充信息。[0055]填充信息和登记填充信息可包括相同的参考图像信息。[0056]在一个总体方面，一种脸部验证设备包括:公共特征提取器，包括一个或多个训练的神经网络层，被配置为接收脸部图像并输出中间特征;第一特征提取器，包括一个或多个训练的神经网络层，连接到公共特征提取器，被配置为响应于脸部图像被确定为包括全脸信息，接收中间特征并提取脸部验证特征;第二特征提取器，包括一个或多个训练的神经网络层，连接到公共特征提取器，被配置为响应于脸部图像被确定为表示局部脸部，接收中间特征并提取另一脸部验证特征。[0057]所述设备可包括:处理器，被配置为：当脸部图像被确定为包括全脸信息时，通过将脸部验证特征与捕捉的验证图像的提取的特征进行比较来选择性地执行第一验证操作；当脸部图像被确定为包括局部脸部信息时，通过将所述另一脸部验证特征与基于验证图像的合成脸部的提取的特征进行比较，选择性地执行第二验证操作;基于执行的第一验证操作或第二验证操作的结果来指示输入图像的脸部验证是否成功。[0058]所述设备可包括:处理器，被配置为以顺序的次序，执行将登记脸部提供给公共特征提取器的第一登记操作并从第一特征提取器提取脸部验证特征，执行将合成脸部提供给公共特征提取器的第二登记操作并提取所述另一脸部验证特征。[0059]公共特征提取器可包括一个或多个卷积层。[0060]公共特征提取器可包括一个或多个全连接层或致密层。[0061]第一特征提取器和第二特征提取器可各自均包括一个或多个全连接层或致密层。[0062]第二特征提取器可被配置为多个单独的特征提取器，其中，第二特征提取器中的每个可被配置为提取不同类型的局部登记脸部信息的特征。[0063]在一个总体方面，一种脸部验证设备包括:公共特征提取器，包括一个或多个训练的神经网络层，被配置为提取针对包括全脸信息的登记脸部的第一中间特征以及针对一个或多个合成脸部的一个或多个各自的第二中间特征，其中，所述一个或多个合成脸部均包括各自的登记脸部的局部脸部信息;第一特征提取器，包括一个或多个训练的神经网络层，连接到公共特征提取器，被配置为接收第一中间特征并提取全脸验证特征；以及一个或多个第二特征提取器，包括一个或多个训练的神经网络层，连接到公共特征提取器，被配置为分别接收所述一个或多个各自的第二中间特征并提取各自的局部脸部验证特征。[0064]第一中间特征的提取和所述一个或多个各自的第二中间特征的提取可并行执行和或全脸验证特征的提取和各自的局部脸部验证特征的提取被并行执行。[0065]所述设备可包括:处理器，被配置为：当捕捉的脸部图像被确定为表示全脸时，通过将全脸验证特征与使用公共特征提取器和第一提取器提取的捕捉的验证图像的特征进行比较来选择性地执行第一验证操作；当捕捉的脸部图像被确定为表示局部脸部时，通过将各个局部脸部验证特征中的至少一个与使用公共特征提取器和所述一个或多个第二特征提取器中的至少一个第二特征提取器基于捕捉的脸部图像的合成验证脸部的提取的特征进行比较，选择性地执行第二验证操作；并基于执行的第一验证操作或第二验证操作的结果来指示输入图像的脸部验证是否成功。[0066]在一个总体方面，一种计算设备包括:显示器；相机，被配置为捕捉目标的脸部图像；以及处理器，被配置为通过将捕捉的脸部图像与登记脸部图像进行比较来执行脸部验证，其中，所述计算设备还被配置为当脸部验证正被执行时不在显示器上显示捕捉的脸部图像，其中，处理器被配置为当捕捉的脸部图像表示全脸以及当捕捉的脸部图像表示局部脸部时执行脸部验证。[0067]处理器还可被配置为：确定捕捉的脸部图像是否表示局部脸部，响应于捕捉的脸部图像被确定为表示局部脸部，基于捕捉的脸部的局部脸部类型来生成捕捉的脸部图像和选择的参考图像信息的合成脸部，并基于合成脸部来执行脸部验证。[0068]通过下面的具体实施方式、附图和权利要求，其他特征和方面将清楚。附图说明[0069]图1A和图1B是示出脸部验证的示例的示图。[0070]图2A至图2D是示出局部脸部图像的示例的示图。[0071]图3至图5是示出脸部验证方法的示例的流程图。[0072]图6是示出脸部登记处理和脸部验证处理的示例的示图。[0073]图7A至图7D是示出在脸部登记处理中提取登记特征的方法的示例的示图。[0074]图8A和图8B是示出在脸部验证处理中生成合成脸部图像的方法的示例的示图。[0075]图9是示出基于局部脸部类型的合成脸部图像的示例的示图。[0076]图10是示出脸部验证方法的示例的流程图。[0077]图11是示出响应于在具有局部脸部的输入图像中存在遮挡区域而生成合成脸部图像的方法的示例的示图。[0078]图12是示出脸部验证设备的示例的示图。[0079]图13是示出计算设备的示例的示图。[0080]图14是不出训练设备的不例的不图。[0081]贯穿附图和具体实施方式，除非另外描述或提供，否则相同的附图参考标号将被理解为表示相同或相似的元件、特征和结构。附图可不按比例绘制，并且为了清楚、说明和方便，附图中的元件的相对大小、比例和描绘可被夸大。具体实施方式[0082]提供下面的详细的描述来帮助读者获得对在此描述的方法、设备和或系统的全面理解。然而，在理解本申请的公开之后，在此描述的方法、设备和或系统的各种改变、修改和等同物将清楚。例如，在此描述的操作的顺序仅是示例，并不受限于在此阐述的那些顺序，而是除了必须以特定顺序发生的操作之外，在此描述的操作的顺序可如在理解本申请的公开之后将清楚的那样改变。此外，为了更加清楚和简洁，可省略在理解本申请的公开之后已知的特征的描述。_[0083]在此描述的特征可以以不同的形式来实施，并且不被解释为受限于在此描述的示例。相反，仅提供在此描述的示例以说明在理解本申请的公开之后将清楚的实现在此描述的方法、设备和或系统的许多可能的方式中的一些方式。[0084]诸如第一、第二、A、B、（a、（b等的术语可在此用于描述组件。这些术语中的每个术语不用于定义对应组件的本质、顺序或次序，而是仅用于区分对应的组件和其他组件。例如，第一组件可被称为第二组件，类似地，第二组件也可被称为第一组件。[0085]应注意，如果在说明书中描述一个组件被“连接”、“结合”或“接合”到另一个组件，则虽然第一组件可被直接连接、结合或接合到第二组件，但是第三组件可被“连接”、“结合”和“接合”在第一组件与第二组件之间。此外，应注意，如果在说明书中描述一个组件被“直接连接”或“直接接合”到另一个组件，则所述一个组件与所述另一个组件之间可不存在第三组件。类似地，例如“在•….之间”和“直接在……之间”以及“与……相邻”和“与……直接相邻”的表述也可如前所述来解释。[0086]在此使用的术语仅为了描述特定实施例的目的并不意图作为限制。例如，如在此使用的，除非上下文另外清楚地指示，否则单数形式也意图包括复数形式。还应理解，除非本公开的上下文和理解另外指示，否则当在此使用时，术语“包括”和或“包含”说明在一个或多个示例实施例中存在阐述的特征、整体、操作、元件、组件或它们的一个或多个组合组，但是不排除在可选的实施例中存在或添加一个或多个其它特征、整体、操作、元件、组件和或它们的组合组，也不排除在另外的可选的实施例中缺少这样阐述的特征、整体、操作、元件和或组件，和或组合组。此外，在此针对示例或实施例的术语“可”的使用例如，关于示例或实施例可包括或实现什么表示存在包括或实现这样的特征的至少一个示例或实施例，然而所有的示例和实施例不限于此。[0087]除非另外定义，否则在此使用的所有术语包括技术术语和科学术语具有与本公开所属领域的普通技术人员基于对本公开的理解而通常理解的含义相同的含义。除非在此明确地这样定义，否则术语诸如，在通用字典中定义的那些术语将被解释为具有与相关领域和本公开的上下文的含义一致的含义，并且不将被解释为理想化的或过度形式化的意义。[0088]图1A和图1B是示出脸部验证的示例的示图。[0089]脸部验证是指用于基于用户的脸部信息来确定用户是否是有效用户并在例如用户登陆、支付服务和访问控制中验证有效用户的验证方法。参照图1A，被配置为执行这样的脸部验证的脸部验证设备被包括在计算设备120中或者由计算设备120表示。例如，计算设备120包括智能电话、可穿戴装置、平板计算机、上网本、膝上型计算机、台式计算机、个人数字助理PDA、机顶盒、家用电器、基于生物测量学的门锁、安全装置和车辆启动装置。[0090]计算设备120可确定通过脸部验证尝试访问计算设备120的用户110是否是有效用户。例如，在用户110尝试在计算设备120中进行用户验证以例如取消计算设备120的锁定状态的情况下，计算设备120使用图像获取器例如，如示出的相机丨3〇获得用户110的脸部图像，分析获得的脸部图像并基于分析获得的脸部图像的结果来确定是否取消计算设备120的锁定状态。在这样的示例中，如果从登记图像提取的特征与从验证图像提取的特征之间的确定的相似度满足预定阈值，则用户可被确定为计算设备120的有效用户，该用户可被允许获得对受限区域的访问，或者该用户可被授权实施金融交易或支付等。可通过显示器150向用户通知成功的验证，或者可仅通过显示器150可使用上述作为示例的进一步操作，从而推断成功的验证。[0091]在一个示例中，通过与计算设备120的显示器150的用户交互获取由用户110通过相机130捕捉的用于脸部验证的脸部图像诸如，在显示器屏幕上显示的脸部图像当作将在登记和或验证操作中被分析的用于脸部图像的最终捕捉的预览图像）。例如，通过参照预览图像，用户110调节计算设备12〇的定位以捕捉与由显示器150通过预览图像提供的激励encouragement对应的将被输入用于脸部验证的脸部类型。[0092]在一个示例中，计算设备12〇检测获得的脸部图像中的脸部区域140,并使用特征提取器从脸部区域140提取特征。计算设备120基于将提取的特征与例如同一计算设备120或不同的计算设备的有效用户的在脸部登记处理中登记的示例登记特征进行比较的结果，来将用户认证确定为成功或失败。特征提取器表示被配置为基于输入信息来输出特征信息例如，特征、特征向量或特征图）的硬件实现的模型。虽然不限于此，但在一个示例中，特征提取器表示基于训练数据预先训练的训练的神经网络。在示例中，示例神经网络可以是单个训练的神经网络，或者可包含多个训练的神经网络。在上面的示例中，响应于用户认证被确定为成功，用户110可成功取消计算设备120的锁定模式。相反，响应于用户认证被确定为不成功，计算设备12〇可保持或继续在锁定模式下操作，或者用户可不被允许获得对受限区域的访问，或者用户可不被允许执行金融或支付操作。在脸部登记处理中，有效用户在计算设备12〇中预先登记有效用户的脸部，并且计算设备120例如，本地地、远程地或者在云存储中）存储得到的用于标识有效用户的登记信息。例如，有效用户的脸部图像或从脸部图像提取的特征可被存储为有效用户的登记信息。[0093]对于脸部验证，可使用示例相机130来至少捕捉用户110的脸部。这里，响应于被捕捉的脸部部分地在相机130的视野FoV之外，可获得局部脸部的图像替代全脸的图像。例如，如在图1B中所示，其中，用户110可在以一定角度握住计算设备120时尝试脸部验证，因为全脸不在相机130的FoV之内，所以仅局部脸部的图像可被获得。与图1A中示出的示例不同，在图1A中，全脸图像可被捕捉或者全脸图像在通过显示器150上的预览图像的显示而进行的视觉反馈或激励之后被捕捉，图1B的示例可对应于在脸部验证处理中仅局部脸部被获得的情况，其可在相对多的情况下发生。简而言之，虽然已经讨论了图1A作为全脸图像被捕捉或者全脸图像通过经由显示器150的视觉反馈或激励而被捕捉的示例，应注意，即使提供这样的视觉反馈或激励，可仍仅捕捉局部脸部图像（S卩，具有比示例全脸图像少的脸部信息的用户110脸部的图像。[0094]因此，虽然用户110可趋于尝试获得全脸替代局部脸部以用于脸部验证，但是当这样的尝试失败或者在示例预览图像未被作为视觉反馈或激励提供给用户110的情况下时，用户110可能无法知晓是全脸还是局部脸部被获得，并且典型的计算设备可能在没有高成功率或没有能力仅对局部脸部图像执行精确的验证的情况下对捕捉的局部脸部而不是全脸图像执行脸部验证。因此，用户110可能不容易调节相机的位置或者用户相对于相机的位置以便相机可获得全脸，并且典型的计算设备可能无法以合理的准确度执行局部脸部图像的验证。因此，在这样的典型的验证技术方法中存在技术问题，至少在该典型的验证方法中可导致错误拒绝，并且典型的计算设备例如可能不能基于实际的准确性或真实性来恰当地操作。仅作为非限制性示例，下面提供对当前方法的这样的失败的一个或多个技术解决方案的讨论，因此，如下面在图2A至图14中进一步讨论的，可在计算设备120中提供一个或多个解决方案，其中，所述解决方案通过使用计算设备120执行可对仅部分地捕捉的脸部图像更不敏感或者可对丢失或未捕捉的脸部方面更有鲁棒性的脸部验证，来提高在脸部验证期间的识别率。[0095]图2A至图2D是示出捕捉的局部脸部图像的示例的示图。在图2A至图2D的每个图中示出的示例图像包括全脸区域的脸部部分中的一些脸部部分未被包括的局部脸部。与全脸图像或者全脸区域的图像信息相比，局部脸部图像或局部脸部区域的图像信息可包括更少数量的将被用于识别用户的特征或标识符，因此与使用全脸图像执行的典型的脸部验证相比，使用这样的局部脸部图像执行的典型的脸部验证通常可具有更低的准确度。然而，如上所述，出于各种原因，全脸可能无法总被捕捉或被输入用于脸部验证，因此，计算设备120和在此描述的对应的操作提供相对于仅提供局部脸部图像的典型的脸部验证方法具有增加的脸部验证准确度的利用局部脸部图像的脸部验证尽管仅输入或捕捉局部脸部）。再作为示例，在预览图像未如图1B中所示在脸部验证处理中被作为视觉反馈或激励提供给用户的情况下，局部脸部图像可被频繁地获得以用于脸部验证。在这样的情况下，尽管输入或捕捉这样的局部脸部图像，但是一个或多个实施例可相对于之前的方法提供增加的脸部验证准确度，其中，所述之前的方法被设计为仅基于捕捉的全脸部验证图像和或全脸登记图像来执行脸部验证。[0096]图3至图5是示出脸部验证方法的示例的流程图。还应注意，在一些可选择的实施中，示出的操作动作可不按附图中示出的顺序发生。例如，将参照图3、图4和图5描述的两个连续的操作可基本同时被执行，或者可根据涉及的功能或动作以相反的顺序或其他顺序被执行。[0097]在诸如图1的计算设备120、图12的脸部验证设备1200、图13的计算设备1300和图14的训练设备1400的示例在此，每个示例可单独或共同地被称为各个脸部验证设备）中，每个脸部验证设备包括一个或多个处理器，其中，所述一个或多个处理器被配置为:基于一个或多个验证图像执行脸部验证，并输出验证结果或基于验证结果执行另外的操作，和或基于一个或多个登记图像执行脸部登记。例如，验证结果指示例如，通过明确的或者推理的指示包括在验证图像中的脸部是否对应于有效用户。例如，当包括在验证图像中的脸部对应于有效用户时，验证结果可包括指示验证己成功的信息，当包括在验证图像中的脸部不对应于有效用户时，验证结果可替换地包括指示验证已失败的信息。可选地，诸如，在脸部验证被自动执行或者在后台操作中执行的情况下（例如，在没有用户的请求或潜在知晓的情况下），可不向用户明确地报告成功或失败的验证结果，但是成功或失败的指示可以通过推理性的操作以控制建立另外的操作或非操作），或者输出结果可被明确地指示给另一装置或服务器，其中，所述另一装置或服务器可从一个或多个这样的脸部验证设备接收或监视脸部验证的结果或者一个或多个捕捉的脸部的脸部验证的结果。因此，可通过实施或启动脸部验证设备的另外的处理诸如，用户验证可以是有益的或者被要求的另外的处理操作来指示验证结果，并且验证结果可被用于实施或启动脸部验证设备的另外的处理。仅作为示例，当包括在验证图像中的脸部被脸部验证设备验证为有效用户的脸部时，脸部验证设备可解锁脸部验证设备的用户界面诸如，当脸部验证设备为用户终端例如，智能电话或平板时），并且该解锁使用户能够访问另外的信息或者执行用户终端的另外的功能，或者脸部验证设备可控制外部装置或向外部装置指示允许用户进入归因于脸部验证的受限区域，或者可授权进行或启动金融或支付交易以及根据实施例的可选的操作或处理。[0098]通过将关于一个或多个验证图像的信息与关于一个或多个登记图像的信息进行比较来执行脸部验证。例如，有效用户自动地或按照用户的控制，通过例如，由脸部验证设备捕捉登记图像来使用脸部验证设备登记脸部图像。作为非限制性示例，脸部验证设备的处理器可以是脸部验证设备的控制示例用户终端的另外的操作的一个或多个处理器，或者可以是专门配置用于脸部验证的专用处理器例如，GPU、可重构处理器或专用神经网络或机器学习加速处理器。当在脸部验证设备的验证处理中时，输入图像可被称为验证图像，当在脸部验证设备的登记处理中时，输入图像可被称为登记图像。在登记处理中，脸部验证设备从有效用户的脸部提取特征并存储提取的特征。还可以使用训练数据预先训练用于提取特征的示例神经网络配置。例如，当用户登记完成时，并且当验证图像被接收到时，脸部验证设备可分析验证图像、从验证图像中的用户的脸部提取特征，并通过将从验证图像提取的特征与预先存储的登记图像的特征进行比较，来基于验证阈值执行脸部验证。[00"]脸部验证设备可被配置为执行一个或多个或所有的神经网络验证训练、在此的登记操作不验证）、在此的一个或多个或所有的验证操作不执行登记），或者可被配置为执行训练、登记操作和验证操作中的任何一个或任何组合。在一个示例中，一个脸部验证设备可捕捉验证图像，该脸部验证设备或另一脸部验证设备可执行图像登记，并且该脸部验证设备、该另一脸部验证设备和或又一脸部验证设备可捕捉验证图像，并且这些脸部验证设备中的任何脸部验证设备或另外的脸部验证设备可基于例如由这样的脸部验证设备中的任何脸部验证设备登记并存储的登记图像来执行验证图像的验证。这些脸部验证设备中的任何脸部验证设备可训练提取器或验证模型或神经网络，或者另一脸部验证设备可执行训练。这样的脸部验证设备可进行通信和共享或者分别地从各自的存储提供任何训练的参数、任何登记图像、包括对应的提取的特征的任何其他图像登记信息、任何验证图像、包括对应的提取的特征的任何其他验证信息和或验证处理的生效结果。因此，虽然下面的示例可表示脸部验证设备获取登记图像、执行登记、获取验证图像并执行验证以及另外的操作诸如，训练或其他操作），但是实施例不限于单个脸部验证设备生成所有这样的数据、执行所有这样的操作或基于验证的成功或不成功结果来授权或实施用户装置的功能的另外的操作。[0100]因此，参照图3,在操作310中，脸部验证设备接收输入图像。输入图像表示作为脸部验证的目标的输入到脸部验证设备的图像。输入图像由图像获取器例如，数码相机和视频相机获得。在此，脸部验证设备还可对接收的输入图像执行预处理。预处理可包括用于将输入图像处理为更适合脸部验证的至少一个操作。例如，预处理可包括:去除包括在输入图像中的噪声、增加输入图像的对比度、对输入图像进行去模糊、从输入图像去除背景区域、执行扭曲以校正包括在输入图像中的失真、以及对输入图像进行二值化。根据实施例，在下文中对“输入图像”的引用在执行了预处理时可被理解为表示已经执行图像预处理的输入图像，在未执行预处理时被理解为表示没有进行图像预处理的输入图像。[0101]在操作32〇中，脸部验证设备检测输入图像中的脸部区域。例如，脸部验证设备使用基于Haar的级联adaboost分类器来检测输入图像中的脸部区域。然而，示例不限于在之前描述的示例，并且脸部验证设备可使用用于检测脸部区域的各种方法来检测输入图像中的脸部区域。在一个示例中，从输入图像提取的与脸部区域对应的脸部图像具有分块图像patchimage的形式。[0102]在操作330中，脸部验证设备选择性地对与脸部区域对应的脸部图像进行归一化。在一个不例中，脸郃验证设备检测检测的脸部区域中的脸部标志点（landmark，并基于检测的脸部标志点对输入图像进行归一化。例如，这样的归一化可包括:从输入图像裁剪脸部图像、将脸部图像中的脸部标志点的位置与（诸如，针对参考图像的）预定义的对应的参考标志点位置进行匹配和或调节脸部图像的大小。[0103]脸部验证设备基于主动轮廓模型（ACM、主动形状模型（ASM、主动表观模型AAM、监督下降方法SDM和或神经网络模型，使用标志点检测方法来检测脸部区域中的脸部标志点。脸部标志点表示在一个或多个主要的或重要的脸部部分例如，眉毛、眼睛、鼻子、嘴唇、下巴、耳朵或者一个或多个脸部轮廓（中）的用于标识脸部部分的特征点。在一个示例中，脸部验证设备可通过基于检测的脸部标志点对脸部区域执行仿射变换，来将脸部标志点的位置与参考标志点位置进行匹配。例如，这样的仿射变换可被执行以将由脸部标志点的位置指示的向量空间映射到另一向量空间。[0104]在执行归一化的操作330的情况下，通过归一化获得的脸部图像可用于随后的操作340至操作370。因此，根据实施例，在下文中对“脸部图像”的引用在执行了归一化时可被理解为表示归一化已经被执行的脸部图像，当未执行归一化时可被理解为没有归一化的脸部图像。[0105]在操作340中，脸部验证设备确定包括在脸部图像中的输入脸部是否是局部脸部。在一个示例中，脸部验证设备基于检测脸部区域的结果例如，确定的检测的脸部区域的位置来确定输入图像是否是局部脸部。例如，在检测的脸部区域被确定为包括输入图像的边界的一部分，或者检测的脸部区域缺失脸部部分或完整脸部区域的除检测的脸部区域之外的其余部分超出捕捉的输入图像的视野FoV的情况下，脸部验证设备确定输入脸部为局部脸部。在检测的脸部区域被确定为不包括输入图像的边界或者检测的脸部区域被包括在输入图像中而没有超出捕捉的输入图像的FoV的缺失部分的情况下，脸部验证设备确定输入脸部为全脸。[0106]在一个示例中，脸部验证设备基于输入图像的哪个边界哪些边界被确定为包括在检测的脸部区域中和或示例完整脸部区域的哪个部分哪些部分被确定为从检测的脸部区域缺失或者示例完整脸部区域的哪个选择的部分哪些选择的部分被确定为仅存在于检测的脸部区域中，来确定局部脸部的类型。例如，当从输入图像缺失的脸部部分为完整脸部区域例如，典型的或预定的示例完整脸部区域的上侧部分时，脸部验证设备可将局部脸部的类型确定为第一类型，并且当从输入图像缺失的脸部部分为示例完整脸部区域的下侧部分时，脸部验证设备可将局部脸部的类型确定为不同于第一类型的第二类型。在下文中将被描述的合成脸部图像的形式可根据多个局部脸部类型中的哪些局部脸部类型被确定为输入图像所表示的局部脸部类型而变化。[0107]在另一个示例中，基于检测脸部标志点的结果来确定输入脸部是否是局部脸部。例如，当脸部验证设备在操作320中检测输入图像中的脸部标志点以检测脸部区域时，关于检测到的脸部标志点的信息和或关于未检测到的脸部标志点的信息可被记录或存储。在这样的示例中，当未检测到与多个预定义的脸部部分区域中的至少一个预定义的脸部部分区域对应的一个或多个标志点时，虽然存在针对该脸部区域的足够的方面或标志点用以检测脸部区域，但是脸部验证设备可确定包括在脸部图像中的输入脸部为局部脸部。类似地，如果检测到比与一个或多个这样的多个预定义的脸部部分区域对应的所有标志点少的标志点，则脸部验证设备可确定包括在脸部图像中的输入脸部为局部脸部。相反，当与所有的多个预定义的脸部部分区域相关联、或与预定数量或类型的多个预定义的脸部部分区域相关联的这样的标志点在包括在脸部图像中的脸部区域中被全部检测到时，脸部验证设备可确定输入图像不是局部脸部，而是全脸。因此，在示例中，当输入脸部被确定为局部脸部时，脸部验证设备可例如基于检测到的脸部标志点来进一步确定输入图像中表示的是多种类型的局部脸部中的哪种类型的局部脸部。例如，在操作320中未检测到与眉毛和眼睛对应的标志点的情况下，虽然在操作320中检测到足够的标志点来标识该脸部区域的存在，但是脸部验证设备可在操作340中确定局部脸部的类型为第一类型。相反，在操作320中未检测到与下巴和嘴唇对应的标志点的情况下，虽然在操作320中检测到足够的标志点来标识该脸部区域的存在，但是脸部验证设备可在操作340中确定局部脸部的类型为第二类型。[0108]在另一个示例中，例如，虽然这样的局部脸部区域可被分类为示例第一类型或示例第二类型，但是局部脸部区域可被确定为表示多个局部脸部类型或者具有多个缺失的脸部部分或区域的仅一个类型。[0109]在操作350中，响应于在操作340中确定输入脸部为局部脸部，脸部验证设备通过填充局部脸部诸如，将脸部图像的方面和参考图像或参考信息的方面进行组合来生成合成脸部图像。在一个示例中，脸部验证设备基于检测的脸部区域通过将脸部图像的图像信息与参考图像的图像信息进行组合来生成合成脸部图像。用于生成合成脸部图像的参考图像的图像信息可至少对应于局部脸部中未包括或未表示的脸部信息或者与局部脸部中未包括或未表示的脸部信息相关。例如，脸部验证设备可从参考图像或对应的图像信息的存储器或可用渠道获得或提取与例如示例全脸的其余脸部区域对应的图像信息，其中，示例全脸的其余脸部区域可被确定为例如在操作320中）在检测的脸部区域中未被表示或未被检测到。在另一个示例中，例如，脸部验证设备通过将脸部图像的图像信息和参考图像的与对应于在操作320中未检测到的标志点的脸部区域对应的部分的图像信息进行组合，来生成合成脸部图像。因此，这里，合成脸部图像可包括脸部图像和参考图像中的每个图像的图像信息，因而包括包含在脸部图像中的局部脸部区域和通过在捕捉输入图像的相机的F〇V的外部而未包括在输入图像中的一个或多个缺失脸部区域的对应的合成脸部区域的图像信息。换句话说，输入图像中未表示的局部脸部区域的图像信息可由参考图像的图像信息填充或修补，并且可在验证处理中对例如作为完整脸部图像的包括来自脸部图像的图像信息和来自参考图像的图像信息的合成脸部图像执行脸部验证。在示例中，脸部图像和参考图像的各自的图像信息可以是在脸部图像和参考图像中的每个图像中包括的像素的各自的像素值。[0110]在一个示例中，基于哪个脸部区域未被包括在输入脸部中的确定，来确定将被用于合成的参考图像的部分。因此，脸部验证设备可基于检测脸部标志点的结果来确定局部脸部类型，并且基于确定的局部脸部类型来确定参考图像的什么部分将与输入脸部的图像信息进行组合来生成合成脸部图像。例如，响应于确定局部脸部类型为上面的示例第一类型，脸部验证设备可通过将脸部图像的图像信息和参考图像的与第一类型对应的第一部分的图像信息进行组合来生成合成脸部图像。响应于确定局部脸部类型为第二类型，脸部验证设备可通过将脸部图像的图像信息和参考图像的与第二类型对应的第二部分的图像信息进行组合来生成合成脸部图像。此外，响应于确定局部脸部类型为第一类型和第二类型例如，未检测到与眉毛和眼睛对应的标志点并且未检测到与下巴和嘴唇对应的标志点），脸部验证设备通过将脸部图像的图像信息和参考图像的与第一类型和第二类型对应的示例第一部分和示例第二部分的图像信息进行组合来生成合成脸部图像。例如，第一部分和第二部分可彼此不同。此外，将被用于进行合成的参考图像的部分可被确定为准确地跟随或匹配输入脸部的确定的缺失的脸部部分的脸部边界例如，准确地跟随或匹配缺失的脸部部分在全脸中会延续的输入图像的边界），或者可允许参考图像的该部分与脸部图像重叠以包含确定的缺失部分。作为另一示例，诸如，当多个缺失部分的预定义信息被存储在存储器中以根据脸部图像的哪个部分缺失的确定选择性使用时，脸部图像可被有选择地或另外地部分地修剪或剪裁，以便匹配确定的缺失部分的预定脸部边界。这里，虽然已经讨论了确定用于生成合成脸部图像的缺失部分的这样的示例，但是示例不限于此。[0111]参考图像表示将被用于生成用于脸部验证处理的合成脸部图像的预定义的图像，并且同一参考图像还可用于脸部登记处理以还生成用于脸部登记处理的合成脸部图像。在一个示例中，基于用于训练特征提取器的训练图像来确定参考图像，其中，特征提取器可被用于登记处理和或验证处理。例如，参考图像可以是训练图像的平均图像或平均值图像。可通过获得在各个训练图像之中的对应位置处的像素值的平均值来生成平均图像。可通过获得包括在各个训练图像中的所有像素的像素值的平均值并将该平均值分配给所有的像素来生成平均值图像。在平均图像中，像素值可根据每个像素的位置而变化，因此可在参考图像中生成或表示平均的脸型或脸部形状。相反，在平均值图像中，所有的像素可具有相同的像素值，因此可能不会在参考图像中生成或表示脸型或脸部形状。例如，像素值可最终被确定为具有与通过对一个或多个训练数据的所有像素值进行平均而确定的皮肤颜色相似的颜色值。然而，参考图像的示例不限于前面描述的示例，并且可以以各种形式提供参考图像。例如，参考图像可以是不考虑训练图像的单色图像。此外，可存在根据不同的局部脸部区域确定的仅作为示例，诸如基于训练数据的对应部分确定的）一个或多个不同的单色图像。[0112]在操作360中，脸部验证设备基于合成脸部图像确定验证是否成功。在一个示例中，当如图3所示的脸部验证方法正被执行时，不向用户提供表示脸部区域的图像。将参照图4更加详细地描述操作360。[0113]参照图4,在操作410中，脸部验证设备可生成合成脸部图像与参考图像之间的差图像。差图像可包括与在合成脸部图像与参考图像之间的对应位置处的像素值之间的差相关联的像素值差信息。例如，脸部验证设备可通过从合成脸部图像的每个像素值减去在参考图像中的对应位置处的像素值来生成差图像。[0114]在操作420中，脸部验证设备可使用特征提取器提取输入脸部的特征。这里，差图像的图像信息可被输入到特征提取器，并且特征提取器可输出与差图像的图像信息对应的特征向量。在一个示例中，特征提取器是包括与局部脸部类型中的每个局部脸部类型分别对应的多个输出层的神经网络模型。在这样的示例中，从一个输出层输出的特征向量可以是输入脸部的提取的特征，其中，所述一个输出层可以是特征提取器的若干最上层中的一个。在另一个示例中，基于从特征提取器的隐藏层提取的值并还根据从单个输出层或多个输出层中的一个输出层提取的值来确定的特征向量可被提取为输入脸部的特征。下面将参照图6至图7D和图14进一步更加详细地描述通过训练处理来训练特征提取器。在操作430中，脸部验证设备基于将从特征提取器提取的特征与登记特征进行比较的结果来确定验证是否成功。登记特征表示在脸部登记处理中被登记的有效用户的特征。在脸部登记处理中，与全脸对应的特征和与多个预定义的局部脸部类型分别对应的特征被登记。在一个示例中，脸部验证设备将提取的特征和多个登记特征之中的与局部脸部的确定的类型对应的登记的特征进行比较，并基于比较的结果来确定对输入脸部执行的验证是否成功。[0116]在一个示例中，脸部验证设备确定提取的特征与登记特征之间的相似度，并基于确定的相似度来确定输入脸部的用户是否是有效用户。提取的特征与登记特征之间的差别越大，相似度越小。相反，差别越小，相似度越大。脸部验证设备响应于相似度大于阈值而确定验证成功，并响应于相似度小于或等于阈值而确定验证不成功。[0117]返回参照图3,在操作370中，响应于在操作340中确定输入脸部不是局部脸部，脸部验证设备基于脸部图像确定验证是否成功。输入图像不是局部图像指示输入图像为全脸。将参照图5更加详细地描述操作370。[0118]参照图5,在操作510中，脸部验证设备可生成脸部图像与参考图像之间的差图像。差图像可包括与在脸部图像与参考图像之间的对应位置处的像素值之间的差相关联的像素值差信息。[0119]在操作520中，脸部验证设备使用特征提取器提取输入脸部的特征。这里，在操作510中生成的差图像的图像信息可被输入到特征提取器，并且特征提取器可输出与差图像的图像信息对应的特征向量。与参照图4描述的操作420类似地，可从差图像提取输入脸部的特征。[0120]在操作530中，脸部验证设备基于将提取的特征与登记的特征进行比较的结果来确定验证是否成功。脸部验证设备将提取的特征与来自多个登记特征之中的与全脸对应的登记特征进行比较，并基于比较的结果来确定对输入脸部执行的验证是否成功。与参照图4描述的操作430类似地，确定提取的特征和登记特征之间的相似度，并基于确定的相似度来确定验证是否成功。[0121]图6是示出脸部登记处理和脸部验证处理的示例的示图。[0122]参照图6,在脸部登记处理610中，从登记图像615提取特征，并且将提取的特征存储为登记特征。在一个示例中，通过用户使用相机捕捉用户的脸部的图像来获得登记图像615以登记用户的脸部。在脸部登记处理610中，使用通过捕捉用户的全脸的图像获得的登记图像615。[0123]上面参照图3描述的关于输入图像的归一化的操作310至操作330也适用于登记处理，因此，相同或相似的归一化也可被实现并且从登记图像615获得与全脸对应的归一化登记图像625。[0124]此外，基于归一化登记图像625和参考图像620生成至少一个合成脸部图像630。根据示例，单个合成脸部图像可被生成，或者与多个局部脸部类型分别对应的多个合成脸部图像可被生成。合成脸部图像630表示这样的图像:例如，基于每个局部脸部类型，归一化登记图像62f5的一部分被参考图像620的图像信息替换。如上面讨论的，在一个示例中，参考图像620是用于训练特征提取器的训练图像的平均图像或平均值图像。在阶段635中，与归一化登记图像625和合成脸部图像630例如，多个合成脸部图像中的每个合成脸部图像对应的特征被提取。这里，由于图6还可以是代表性的对应的组件和实现对应操作的示例脸部验证设备的这样的组件的操作，因此，阶段635还代表一个或多个特征提取器。在阶段640中，提取的特征作为登记特征被存储在还由示出的阶段640表示的脸部验证设备的存储器中。这里，与归一化登记图像625对应的特征和与合成脸部图像630对应的特征被区分地存储。[0125]在脸部验证处理650中，基于将从输入图像660提取的特征与在脸部登记处理610中登记的特征进行比较的结果来执行脸部验证。在一个示例中，响应于接收到作为用于脸部验证的目标的输入图像660,脸部验证设备检测输入图像660中的脸部区域，并确定包括在检测的脸部区域中的输入脸部是否是局部脸部。在图6的示例中，嘴唇区域从输入图像660中的脸部区域被省略，因此脸部验证设备确定输入脸部为局部脸部。在这样的示例中，脸部验证设备基于与检测的脸部区域对应的脸部图像和在脸部登记处理610中使用的参考图像620来生成合成脸部图像670。关于从输入图像660生成合成脸部图像670的方法的进一步描述，可参考参照图3描述的操作310至操作350。[0126]在阶段680中，脸部验证设备使用特征提取器例如，在脸部登记处理610中使用的相同的特征提取器来从合成脸部图像670提取输入脸部的特征。阶段680还表示脸部验证设备的一个或多个特征提取器。随后，在阶段685中，脸部验证设备基于将提取的特征与登记特征进行比较的结果来确定脸部验证是否成功。在一个示例中，基于出现在输入图像660中的输入脸部的确定的形式来确定或选择将与提取的特征进行比较的登记特征。例如，在如输入图像660中所示的嘴唇区域被省略的情况下，在脸部登记处理610中基于合成脸部图像的第一合成脸部图像例如，嘴唇区域被参考图像620的图像信息替换的合成脸部图像）提取的登记特征可被选择性地获取并与从输入图像660提取的特征进行比较。[0127]在另一个示例中，在脸部登记处理610中生成单个合成脸部图像以及从该单个合成脸部图像提取的登记特征被登记为与局部脸部对应的特征的情况下，在脸部验证处理650中，将出现在输入图像660中的输入脸部确定为局部脸部，根据相同的合成形式例如，与合成脸部图像630相似或相同的局部脸部类型的合成形式来生成合成脸部图像670,从合成脸部图像670提取验证特征并且将验证特征与登记特征进行比较。例如，在通过用参考图像620的图像信息替换下部脸部区域例如，嘴唇区域来生成脸部登记处理610中的合成脸部图像630的情况下，将在脸部验证处理65〇中生成的合成脸部图像67〇也具有与下部的脸部区域被参考图像620的图像信息替换的相同的合成形式。[0128]此外，与上面针对还表示脸部验证设备的组件的阶段635、阶段640和阶段680类似，阶段685还表示脸部验证设备的确定器组件。例如，确定器可包括在神经网络示例中的一系列顺序的全连接层或致密节点层，其中，所述一系列顺序的全连接层或致密节点层可如训练的那样操作来分析提取的验证特征和存储的登记特征并输出输入验证图像的有效或无效指示。输出的验证指示可包括验证概率信息和或存储的登记提取特征中的一个或多个与验证提取特征中的一个或多个之间的相似度是否满足预定验证阈值的指示。输出的验证指示还可包括指示输入验证图像成功的似然性和输入验证图像不成功的似然性的概率值中的任一个或二者。[0129]图7A至图7D是示出在脸部登记处理中提取登记的特征的方法的示例的示图。[0130]参照图7A，为了在脸部登记处理中登记出现在登记图像615中的脸部，使用特征提取器740从登记图像615提取登记特征。这里，从登记图像615生成与全脸对应的归一化图像705,并基于登记图像615或归一化图像705和参考图像620生成多个合成脸部图像710、715、720、725和730。多个合成脸部图像710、715、720、725和730中的每个合成脸部图像对应于多个局部脸部类型中的各自的局部脸部类型。仅作为示例，各自的局部脸部类型可以全部是不同的局部脸部类型。[0131]归一化图像705与参考图像620之间的差图像可被输入到特征提取器740,并且特征提取器740可因此输出与归一化图像705对应的一个或多个第一特征。此外，参考图像620与合成脸部图像710、715、720、725和730之间的各自的差图像可单独地或并同时地均被输入到特征提取器740,并且特征提取器740可分别输出与合成脸部图像710、715、720、725和730中的每个合成脸部图像对应的一个或多个特征。例如，响应于参考图像620与合成脸部图像710之间的差图像被输入到特征提取器740,特征提取器740可输出与合成脸部图像710的第一局部脸部类型对应的第二特征。第一特征对应于合成图像705的全脸，第二特征、第三特征、第四特征、第五特征和第六特征中的每个特征对应于多个局部脸部类型中的各个第一局部脸部类型、第二局部脸部类型、第三局部脸部类型、第四局部脸部类型和第五局部脸部类型，并且第二特征、第三特征、第四特征、第五特征和第六特征是针对合成脸部图像710、715、720、725和730分别提取的。[0132]例如，如在合成脸部图像720、725和730中所示，来自登记图像615或来自归一化图像705的脸部的各自的左侧区域的图像信息均与来自参考图像620的其余的脸部区域的图像信息进行组合。在一个示例中，可不从具有与合成脸部图像720、725和730的合成形式对称的合成形式的合成脸部图像提取特征，或者可仅针对可用的对称的形式中的一个来生成合成脸部图像。例如，在合成脸部图像720中，来自登记图像615或来自归一化图像705的脸部的左侧区域的图像信息与参考图像620的右侧区域的图像信息进行组合，并且还可通过将与来自登记图像615或者来自归一化图像705的脸部的右侧区域对应的图像信息与参考图像620的左侧区域的图像信息进行组合来生成对称的合成脸部图像，虽然可从合成脸部图像720和这样的对称的合成脸部图像二者分别提取特征，但是在一个示例中，可仅从多个合成脸部图像中的一个合成脸部图像提取特征。此外，针对这样的对称可用性，可仅生成多个可用的对称的合成脸部图像中的一个对称的合成脸部图像并且从中提取特征。因此，虽然作为脸部验证的目标的输入验证脸部可以是不包括脸部的相应的右侧区域的局部脸部，但是当存储的登记特征数据与具有来自参考图像的针对登记图像的左侧区域的图像信息的合成脸部图像对应时，可以通过图像处理来仅对称地翻转验证输入图像以变为不包括脸部的左侧区域的局部脸部。例如，可通过将输入图像关于诸如验证脸部图像的两边对称的中心线或验证脸部图像的归一化的两边对称的中心线进行左右翻转来选择性地获得这样的局部脸部的对称的翻转。翻转的选择性获得可以是基于对针对验证处理期间可用的存储的登记特征考虑什么局部脸部类型的确定，并且在验证处理期间仅当存储的特征值仅针对对称的登记局部脸部可用时，执行局部脸部的翻转的选择性获得。这里，在一个示例中，翻转可以是基于脸部几乎双侧对称的假设。因此，例如，当在登记处理期间还未生成与合成脸部图像72〇对应的对称合成脸部图像和或未从中提取特征时，可从左侧区域和右侧区域被翻转的局部脸部图像提取特征，并且然后可将提取的特征与从合成脸部图像720提取的登记特征进行比较，以使能够基于同一类型的局部脸部进行特征比较。此外，根据示例，虽然在登记处理期间可仅生成仅这样的对称的一对合成脸部中的一个合成脸部并从中提取特征，但是在脸部登记处理中还可生成具有对称合成形式的两个合成脸部图像诸如，合成脸部图像720、725和730的对称形式并可从该另外生成的合成脸部图像中的每个合成脸部图像提取一个或多个特征，并且该一个或多个特征可用于在脸部验证处理期间与提取的验证特征进行对应的比较。[0133]在另一个示例中，存在用于如图7B中示出的全脸和每个局部脸部类型的各个特征提取器。参照图7B，第一特征提取器750被配置为基于图像705提取与全脸对应的特征，各个特征提取器752、754、756、758和76〇被配置为分别提取和与合成脸部图像710、715、720、725和730对应的局部脸部类型中的每个局部脸部类型相对应的一个或多个特征。[0134]在另一示例中，特征提取器包括如图7C中示出的公共特征提取器762和各个特征提取器764、766、768、77〇、772和7了4。参照图7C，公共特征提取器762可连接到特征提取器764、766、70S、77〇、772和774。因此，这里，从公共特征提取器762输出的中间特征被分别发送到特征提取器764、766、768、770、772和774，并且特征提取器764、766、768、770、772和774分别输出与全脸和局部脸部类型对应的特征。例如，归一化图像705与参考图像620之间的差图像可被输入到公共特征提取器762,公共特征提取器762可输出与差图像对应的中间特征并且输出的中间特征被发送到特征提取器764、766、768、770、772和774之中的第一特征提取器764。第一特征提取器764基于从公共特征提取器762发送的中间特征来输出与图像705对应的第一特征。[0135]类似地，合成脸部图像710与参考图像620之间的差图像可被输入到公共特征提取器762，公共特征提取器762可输出与相应的差图像对应的中间特征并且输出的中间特征被发送到特征提取器764、766、768、770、772和774之中的第二特征提取器766。第二特征提取器766基于从公共特征提取器762发送的对应的中间特征来输出与合成脸部图像710对应的第二特征。例如，在一个示例中，公共特征提取器762和特征提取器764、766、768、770、772和774可在脸部验证设备中被配置为单个神经网络。仅作为示例，公共特征提取器762可包括被配置为提取各个中间特征的一个或多个卷积层和或一个或多个全连接层或致密层，仅作为非限制性示例，特征提取器764、766、768、770、772和774中的每个特征提取器可包括被配置为接收中间特征并输出示例第一特征至第六特征的一个或多个全连接层或致密层。在不同的实施例中，作为可替代的选择，多个特征提取器中的每个特征提取器可在脸部验证设备中被配置为单独的神经网络，或者被不同地配置为用于生成第一特征至第六特征的两个或更多个神经网络。针对图6至图7D，仅作为示例，虽然可诸如在合成脸部与参考图像之间生成各个差图像，并将作为结果得到的差图像提供给用于特征提取的示例提取器，但是存在这样的示例:通过从输入局部脸部减去来自参考图像的确定的匹配的局部脸部部分来可选地生成差图像，并将该差图像提供给提取器。作为另一示例，在实现神经网络提取器的情况下，通过将局部脸部图像的信息输入到提取器并在提取器内应用与其余的缺失的局部脸部参考图像信息对应的偏差，来在提取器内生成或考虑差图像。用于从这样的差图像实现这样的特征的提取的可选的方法也是可用的。[0136]在此，神经网络包括多个层，并且多个层中的每个层包括多个节点并且由脸部验证设备的一个或多个处理器实现。例如，可存在输入层、至少一个隐藏层和输出层。基于神经网络的架构，可根据各个训练的连接权重选择性地连接包括在相邻的层中的节点。例如，神经网络可由这样的处理器（S卩，脸部验证设备的一个或多个处理器来实现:被配置为生成具有均包括多个节点的这样的多个层的神经网络结构架构，并被配置为在神经网络结构的相邻的层中的相邻的节点之间应用这样的加权的连接以解释应用到诸如由图6至图7D的不同的各个特征提取器表示的）神经网络结构的输入数据。仅作为示例，这里诸如输入数据的“解释”可包括诸如针对图像、脸部或对象识别或验证以及各个层、层的集合和或整个神经网络的任何其他训练目标执行的特征提取、识别、验证或拒绝。在一个示例中，诸如在聚类示例（例如，在从这样的聚类中生成一个或多个集album中，图像、脸部或对象识别还可包括在多个登记图像、脸部或对象之中识别或匹配图像、脸部或对象。因此，基于训练数据和期望的解释目标，可在训练期间改变架构、相邻节点之间的选择性连接和对应的连接权重直到神经网络被训练到期望的解释目标的期望的接受度为止。例如，在神经网络被训练用于图像验证或拒绝的示例中，神经网络可包括卷积层或表示卷积神经网络CNN，因此例如用于通过特征内核改变特征提取的各个卷积连接权重可被训练到诸如由图14的训练设备1400执行的特征提取和或脸部验证或拒绝操作的原始期望的接受度。神经网络还可以是不同类型的神经网络并且仅包括用于其他目标例如，用于选择性的特征提取）的一个或多个卷积层。返回神经网络的训练，训练的神经网络的作为结果得到的连接权重可被称为例如，如示例CNN的卷积层或操作的至少训练的内核值所示的神经网络的参数。例如，可诸如通过考虑反向传播或模拟退火算法的损失，基于标记的输入图像信息或期望的对应的输出图像、分类或几何参数来训练神经网络。例如，神经网络可被训练用于提取训练数据的特征。因此，例如，在训练中，递归地调节不同隐藏层的节点之间的连接权重或用于卷积层的内核的连接权重，直到对应的神经网络模型被训练为具有期望的准确率或低于最大错误率为止。训练的神经网络可被存储在训练或识别设备的存储器例如，在此讨论的多个脸部验证设备中的任何脸部验证设备）中。在示例中，训练的神经网络可以以训练的向量、矩阵或多个矩阵或其他格式被存储，例如，仅作为示例，向量、多个矩阵或其他格式的元素表示或表明对应神经网络结构的对应的训练的加权连接和或内核的训练的参数。存储的训练的神经网络还可包括可定义对应的神经网络的特定的结构或架构的超参数信息，其中，示例存储的训练的参数对应于所述对应的神经网络。仅作为示例，超参数可定义输入层和输出层的架构或结构以及存在多少隐藏层和各个隐藏层的功能和结构架构，诸如，各I布置以及哪些是全连接层或致密层、循环层、卷积层、去卷积层或池化层。超参数还可包括神经网络中的任何偏差和或上下文节点的配置和值的信息、节点的对应的激活函数、节点的类型（诸如，长短时记忆节点），并定义神经网络的可根据实施例和训练的神经网络的解释目标而改变的任何循环结构或任何另外的循环结构。[0137]因此，仅作为示例，在图6至图7D的操作之前或在图6至图7D的操作期间，脸部验证设备可获取这样的训练的参数，并且，仅作为示例，将脸部图像和合成脸部图像如在此讨论的那样输入到使用获取的训练的参数来专门配置的如描述的那样的多个提取器中的任何提取器，以执行如针对图6至图7D的各种提取器描述的对应的描述的操作。[0138]此外，仅作为非限制性示例，还可仅通过专门配置的硬件模块来实现或者通过硬件和例如在脸部验证设备的非暂时性介质中上或者脸部验证设备的外部的非暂时性介质中上存储的指令来实现在图6的操作635和680以及图7A至图"7D的特征提取器740、750、752、754、756、758、760、762、764、766、768、770、772、774、780、782和784中实施并由图6的操作635和680以及图"7A至图7D的特征提取器740、750、752、754、756、758、760、762、764、766、768、770、772、774、780、782和784表示的特征提取器中的一个或多个特征提取器，其中，例如，当所述指令被所述硬件的一个或多个处理器执行时使处理器执行在此描述的操作的任何操作、操作的任何组合或者全部操作。此外，虽然这里己经针对图6至图"7D讨论了训练的神经网络实现的特征提取器，但是实施例不限于此。[0139]此外，虽然在一个示例中，可根据示例提供至少一个局部脸部类型以基于局部脸部生成登记特征，但是局部脸部类型的数量不限于在图7A、图7B和图7C中示出的示例。图"7D示出单个局部脸部类型的示例。[0140]参照图7D，在脸部登记处理中，提取特征以登记出现在登记图像615中的脸部。可从登记图像615生成与全脸对应的归一化图像705,并且可基于登记图像615或归一化图像705和参考信息例如，参考图像620来生成合成脸部图像710。在图7D中示出的示例中，通过将登记图像615或归一化图像705的其余的非下部部分和与下部部分对应的示例参考图像620的图像信息进行组合来合成脸部的下部区域，以生成合成脸部图像710。归一化图像705与参考图像620之间的差图像可被输入到公共特征提取器780,并且公共特征提取器780可输出与归一化图像705对应的中间特征。输出的与归一化图像705对应的中间特征还可被输入到第一特征提取器782,并且第一特征提取器782可基于输入的与归一化图像705对应的中间特征输出与全脸对应的第一特征。此外，合成脸部图像710与参考图像620之间的差图像可被输入到公共提取器780,并且公共特征提取器780可输出与合成脸部图像710对应的中间特征。输出的与合成脸部图像710对应的中间特征可被输入到第二特征提取器784,并且第二特征提取器784可基于输入的与合成脸部图像710对应的中间特征来输出与局部脸部对应的第二特征。与图7C中示出的示例类似，公共特征提取器780以及特征提取器782和784还可在脸部验证设备中被配置为单个训练的神经网络，或者可在脸部验证设备中被配置为分开训练的神经网络。[0141]如上所述，在一个示例中，参照图7A至图7D描述的各个示例配置和示例特征提取器还可被类似地包括在脸部验证处理中实现或用于脸部验证处理。这里，特征提取器的结构可在脸部验证设备中被配置为用于脸部验证设备的脸部登记处理和或脸部验证处理的至少一个神经网络。此外，如上面讨论的和下面针对图14讨论的，脸部验证设备还可被配置为训练各个特征提取器，还基于训练数据生成或确定参考信息或参考图像。可选择地，执行各个特征提取器的训练以及示例参考信息或参考图像的可用的生成或确定的一个或多个脸部验证设备可以与使用这样的训练的特征提取器执行全脸特征和局部脸部特征的登记和或也使用示例训练的特征提取器执行对输入的验证图像的验证的脸部验证设备不同。[0142]因此，在脸部登记处理中使用图7A中示出的特征提取器740来提取登记的特征的示例中，可基于示例特征提取器74〇来执行脸部验证处理。可选地，在图7B的示例中，各个特征提取器750、752、754、756、758和760可用于脸部登记处理，并且特征提取器750、752、754、756、758和760还用于脸部验证处理。这里，在脸部验证处理期间，虽然这样的另外的示例特征提取器752、754、756、758和76〇也可用于脸部验证处理中，但是当包括在脸部图像中的输入脸部被确定为包括全脸信息时，脸部验证设备可仅将脸部图像的图像信息输入到示例第一特征提取器750,并且基于由第一特征提取器750提取的特征例如，针对在登记处理期间提取的相似的全脸登记特征执行脸部验证。相反，当脸部验证设备确定包括在脸部图像中的输入脸部仅包括局部脸部信息时，由脸部验证设备基于包括在脸部图像中的局部脸部信息的确定的局部脸部类型来从第二至第六特征提取器752、754、756、758和760而不是第一特征提取器750选择将被使用的特征提取器，并且局部脸部信息例如，连同与局部脸部信息对应的参考信息可被发送提供给选择的特征提取器，并基于由选择的特征提取器提取的特征来执行脸部验证。在这个示例中，被提供给选择的特征提取器的局部脸部信息和与局部脸部信息对应的参考信息可以是与上面针对图4至图6和图7B讨论的对应的合成脸部图像的前述示例图像信息对应的信息的组合，或者可以是对应的合成脸部图像和参考图像的这样的图像信息之间的差的差信息。作为另一个示例，选择的特征提取器可仅针对相同的局部脸部区域提供局部脸部信息与参考图像的对应的图像信息之间的差。在另外的示例中，参考图像信息可被单独提供给或者使其可用于选择的特征提取器和仅提供包括在脸部图像中的局部脸部信息的特征提取器，并且该特征提取器可被配置为针对局部脸部信息考虑参考图像信息以提取与局部脸部信息对应的特征。[0143]此外，在用于脸部登记处理的图7D的公共特征提取器780以及第一特征提取器782和第二特征提取器784的示例中，可基于同一公共特征提取器780以及第一特征提取器782和第二特征提取器784来执行脸部验证处理。例如，在脸部验证处理中，公共特征提取器780可接收脸部图像作为输入以向第一特征提取器782和第二特征提取器784输出中间特征。第一特征提取器782可用于提取与全脸对应的特征，第二特征提取器784可用于提取与局部脸部对应的特征。响应于脸部验证设备确定脸部图像包括用户的全脸信息，脸部验证设备可仅控制第一特征提取器782从公共特征提取器780接收中间特征，或者仅实现第一特征提取器782,从而提取将被用于脸部验证的特征。响应于脸部验证设备确定脸部图像仅包括用户的局部脸部信息，脸部验证设备可仅控制第二特征提取器784从公共特征提取器780接收中间特征，或者仅实现第二特征提取器784,从而提取将被用于脸部验证的特征。仅作为非限制性示例，公共特征提取器780可包括一个或多个卷积层和或全连接层或致密层，仅作为非限制性示例，第一特征提取器782和第二特征提取器784中的每个特征提取器包括至少一个或更多另外的训练的全连接层或致密层。被配置为提取与局部脸部对应的特征的第二特征提取器784可对应于如在图7C中示出的多个训练的特征提取器766、768、770、772和774中的任何特征提取器诸如，从示例可用的训练的特征提取器766、768、770、772和774被选择性地配置为基于局部脸部的确定的局部脸部类型来执行这样的选择的对应的特征提取的特征提取器）。这里，在示例中，诸如下面针对图14进一步描述的，可分别或共同地训练特征提取器766、768、770、772和774，诸如，来提取将被用于脸部验证的不同局部脸部类型的局部脸部图像的不同特征。[0144]图8A和图8B是示出脸部验证处理中生成合成脸部图像的方法的示例的示图。此夕卜，上面关于在登记处理期间的合成脸部图像的生成的描述在脸部验证处理期间也是适用和可用的，因此为了简洁的目的，仅简要地呈现下面关于在脸部验证处理中的合成脸部图像的生成的讨论。[0145]因此，参照图從，响应于输入图像810被输入到脸部验证设备，脸部验证设备检测输入图像810中的脸部区域815。[0146]在一个示例中，脸部验证设备基于脸部区域815是否包括输入图像810的边界的部分或者脸部区域815是否不是完整的检测的脸部区域，来确定包括在输入图像810中的输入脸部是否是局部脸部。在图8A中示出的示例中，脸部区域815包括输入图像810的边界并且可用于定义或标识检测的脸部区域815的位置值的一部分从输入图像810缺失，因此脸郃验证设备确定输入脸部为局部脸部。在另一个示例中，诸如在脸部区域815的检测期间，脸部验证设备检测脸部区域815中的脸部标志点820,并基于检测脸部标志点820的结果来确定输入脸部是否是局部脸部。在图8A中示出的示例中，与脸部区域815的嘴唇区域对应的标志点未被检测到，因此，脸部验证设备确定输入脸部为局部脸部。[0147]脸部验证设备还可基于检测的脸部标志点820的位置对输入图像810进行归一化。这样的归一化处理可包括从输入图像810提取脸部区域815,并将脸部标志点820的位置与预定义的参考位置诸如，与参考图像850对应的确定的参考脸部标志点位置进行匹配。[0148]响应于确定包括在脸部图像840中的输入脸部是局部脸部，脸部验证设备例如通过使用局部脸部的方面和参考图像850的方面或其他参考信息生成合成脸部图像860来执行填充局部脸部的方法830。在此，例如，局部脸部的填充可对应于考虑、包括或添加另外信息以使用参考图像使局部脸部朝着全脸趋于更完整或充分完整，或者仅向局部脸部中对应的缺失的脸部区域或方面未被包括在局部脸部区域中或在图像诸如，在登记和或验证处理期间捕捉的图像的视野FoV之外之处包括或添加另外的参考信息或参考图像信息。在一个示例中，可在诸如训练图像和或登记图像包括全脸的训练和或登记中执行全脸的这样的填充，和或在训练图像、登记图像和或验证图像仅包括局部脸部的训练、登记和或验证处理中，执行全脸的这样的填充。此外，这里，在填充的上下文中的对这样的全脸或局部脸部的引用具有与也在此讨论的诸如在图3的操作340中对输入图像的关于输入图像是包括全脸还是仅包括局部脸部的考虑相似的含义。如上面讨论的，参考图像850可以是用于训练在脸部验证处理以及登记处理中使用的特征提取器的训练图像的平均图像。在一个示例中，脸部验证设备基于检测的脸部区域815的位置或检测脸部标志点820的结果来确定出现在脸部图像840中的指示检测的脸部区域815的局部脸部的类型。基于确定的类型，可确定将与脸部图像840组合的参考图像850的部分。脸部验证设备通过将脸部图像840的图像信息和与未包括在脸部图像840中的脸部区域845即，缺失部分845对应的参考图像850的部分855的图像信息进行组合，来生成合成脸部图像860。这里，虽然缺失部分845或参考图像850的选择的对应的部分855被表示为矩形或者要不然被表示为具有执行合成所使用的各个直线边界，但是缺失部分845和或参考图像的部分855还可具有不规则形状，从而可不需要具有这样的矩形或直线边界。例如，任一边界的形状可以是曲线、多边形或其他不规则的形状。因此得到的合成脸部图像860包括与脸部图像840的图像信息对应的区域865和与参考图像850的图像信息对应的区域870。[0149]在一个示例中，当合成脸部图像部0被生成时，合成脸部图像860与参考图像850之间的差图像可被输入到用于特征提取的特征提取器。反之，如果仅从参考图像850与仅包括局部脸部的脸部图像840之间的差图像提取一个或多个特征，则差图像的与缺失的脸部区域845对应的部分可通过经由参考图像850的图像信息而当作噪声，因此脸部验证的准确度可由于这样的噪声而降低。然而，如上所述，当从合成脸部图像860与参考图像850之间的差图像提取特征时，差图像的与脸部区域845对应的部分的图像信息可在在合成脸部图像860与参考图像850之间进行区分的处理中被抵消，因此噪声可不被引入到提取处理。因此，在这样的另外的示例中，尽管输入局部脸部，脸部验证设备仍可通过从合成脸部图像860与参考图像850之间的示例差图像提取特征，来保持脸部验证的更高准确度。[0150]在一个示例中，参考图像850可以是如图8A中示出的训练图像的平均图像，或者可选地，是如图8B中示出的训练图像的平均值图像或所有像素具有相同的像素值的图像。此夕卜，可使用单个参考值而不是参考图像。图8B示出基于作为示例平均值图像的参考图像880生成合成脸部图像890的方法的示例。在这样的示例中，诸如下面将针对图14进一步讨论的，参考图像880可以是通过将用于训练特征提取器的训练图像的所有像素的像素值的平均值分配给所有像素而生成的图像。脸部验证设备通过将脸部图像840的图像信息和参考图像880的与在脸部图像840中缺失的脸部区域845对应的部分885的图像信息进行组合来生成合成脸部图像890。[0151]图9是示出基于局部脸部类型的合成脸部图像的示例的示图。[0152]参照图9,在验证处理期间，基于局部脸部的哪个不同类型被确定为包括在输入图像中来生成不同的合成脸部图像。如在示例不同的输入图像912、914、916、918和920中所示，各种局部脸部类型被示出。例如，在输入图像912的输入脸部中未检测到嘴唇区域，或者在输入图像914的输入脸部未检测到眉毛上方的脸部区域。脸部验证设备在这样的局部脸部类型之间进行区分，并基于对应的确定的局部脸部类型通过将参考图像910的对应的图像信息分别与输入图像912、914、916、918和920的图像信息进行组合来生成合成脸部图像922、924、926、928和930中的一个或多个。此外，基于每个局部脸部类型和或分别确定的缺失的脸部部分或区域来确定将被组合成合成脸部图像922、924、926、928和930中的每个合成脸部图像的参考图像910的合适的部分。输入图像可缺失多于一个可确定的（例如，如从未在输入图像中检测到的多个多元的、不同的或不相似的标志点确定的）脸部区域或部分，在这种情况下可使用参考图像910的各个合适的多个部分来产生合成图像。然后得到的提取的特征可与从包括参考图像910的这样的或相似的多个部分的登记合成图像提取的登记特征进行比较。[0153]因此，在脸部验证处理中，与这样的局部脸部信息对应的合成脸部图像的合成形式不限于在图9中示出的示例或者在此讨论的示例，并且可应用单个合成形式或者多个合成形式来生成合成脸部图像。此外，仅将如在合成脸部图像922中所示的通过从参考图像的图像信息添加下部的脸部区域来生成合成脸部图像的合成形式的情况用作示例，当包括在输入图像中的输入脸部被确定为局部脸部时，脸部验证设备可通过将包括在输入图像的输入脸部的上部区域的图像信息与参考图像的图像信息进行组合来生成合成脸部图像，而不管确定的局部脸部类型或者不管是否执行局部脸部类型的确定。类似地，还可执行与不同的局部脸部类型对应的其他讨论的合成脸部图像中的任何或任何组合，而不管确定的局部脸部类型或者不管是否执行局部脸部类型的确定。[0154]图10是示出脸部验证方法的示例的流程图。[0155]还应注意，在一些可选的实现中，示出的功能动作可不按附图中示出的顺序发生。例如，可基本同时执行将要参照图10描述的两个连续的操作，或者可根据涉及的功能或动作以相反的顺序或者其他顺序执行所述操作。[0156]在一个示例中，在脸部验证处理中，脸部验证设备还使用或考虑包括在输入图像中的遮挡区域或者确定的遮挡区域）。遮挡区域表示包括在输入图像中的输入脸部被例如眼镜、太阳镜、口罩或发带遮挡的区域。这样的遮挡区域可阻碍从包括在输入图像中的输入脸部提取用户的独特特征，并且还降低脸部验证的准确度。脸部验证设备确定在输入图像中是否存在遮挡区域。响应于存在遮挡区域，除了考虑局部脸部之外，脸部验证设备还以参考图像的图像信息替换遮挡区域的图像信息来执行脸部验证。[0157]因此，参考图10，示出的操作340可对应于图3的操作340，因此，在此也应用和实现上面参照图3提供的操作310至操作340的描述。因此，在操作340中，脸部验证设备确定包括在脸部图像中的输入脸部是否是局部脸部。在操作1〇1〇中，响应于确定输入脸部为局部脸部，脸部验证设备确定在包括在脸部图像中的输入脸部中是否存在遮挡区域。[0158]在操作1020中，响应于确定存在遮挡区域，脸部验证设备通过将脸部图像的图像信息、参考图像的与确定的局部脸部类型对应的第一部分的图像信息以及参考图像的与遮挡区域对应的第二部分的图像信息进行合成来生成合成脸部图像。在一个示例中，脸部验证设备通过将脸部图像与参考图像的第一部分的图像信息进行组合，并以参考图像的第二部分的图像信息替换在脸部图像中检测到的遮挡区域的图像信息来生成合成脸部图像。根据示例，第一部分和第二部分可彼此重叠或者可以是分离的。[0159]在操作1030中，响应于确定不存在遮挡区域，脸部验证设备通过将脸部图像的图像信息和参考图像的与确定的局部脸部类型对应的第一部分的图像信息进行组合来生成合成脸部图像。例如，这样的操作与参照图3描述的操作350相同，并且还作为示例，与如在图6至图9中示出的示例中描述的生成合成脸部图像的操作相同，注意，实施例不限于此。[0160]在操作1040中，响应于在操作340中确定输入脸部不是局部脸部，脸部验证设备确定在包括在脸部图像中的输入脸部中是否存在遮挡区域。在操作1〇5〇中，响应于确定存在遮挡区域，脸部验证设备通过将脸部图像的图像信息和参考图像的与遮挡区域对应的第二部分的图像信息进行组合来生成合成脸部图像。脸部验证设备通过以参考图像的第二部分的图像信息替换脸部图像中的遮挡区域的图像信息来生成合成脸部图像。[0161]在操作1060中，当在操作1020、操作1030或操作1050中生成合成脸部图像时，脸部验证设备基于合成脸部图像确定验证是否成功。例如，操作1060与上面参照图3描述的操作360相同，也要注意，实施例不限于此。[0162]在操作1070中，响应于确定不存在遮挡区域，并且是在操作340中确定输入脸部不是局部脸部之后，脸部验证设备例如在不生成任何合成脸部图像的情况下基于脸部图像确定验证是否成功。在这样的情况下，全脸被包括在输入图像中而没有遮挡区域，因此操作1070与上面参照图3描述的操作370相同，注意，实施例不限于此。[0163]如上所述，可以通过执行脸部验证方法基于遮挡区域的进一步存在或不存在来防止识别率的降低。例如，对应于图10中示出的示例，在操作1060中考虑的提取登记特征值的脸部验证处理还包括检测登记图像中的遮挡区域，响应于存在遮挡区域通过以参考图像的图像信息替换遮挡区域来生成合成登记脸部图像，从生成的合成登记脸部图像提取这样的登记特征。根据示例，虽然在登记图像中可不存在遮挡区域，但是该脸部验证处理仍可生成与遮挡区域的不同类型对应的多个合成脸部图像，因此，可从生成的合成脸部图像提取登记特征，以用于针对包括或不包括类似的遮挡元素对象或区域的输入验证图像例如，不管它们的包含物进行脸部验证。[0164]图11是进一步示出响应于在具有局部脸部的输入图像中存在遮挡区域而生成合成脸部图像的方法的示例的示图。[0165]参照图11，例如，在包括在脸部图像1110中的输入脸部是局部脸部的情况下，脸部验证设备将参考图像1120的与原先未被包括在脸部图像1110中的脸部区域1114对应的第一部分1124的图像信息1145应用到脸部图像1110。例如，如示出的，脸部图像110还包括被眼镜1112遮挡的遮挡区域。在脸部验证设备检测到脸部图像1110中的示例眼镜1112的情况下，脸部验证设备应用参考图像1120的与包括示例眼镜1112的遮挡区域对应的第二部分1122的图像信息1140。通过前述而生成的合成脸部图像1130包括脸部图像1110的图像信息II35、参考图像112〇的第一部分1124的图像信息1145以及参考图像1120的第二部分1122的图像信息1140。这里，虽然讨论了诸如眼镜的遮挡对象元素，但是实施例不限于此。[0166]图12是示出脸部验证设备的示例的示图。脸部验证设备1200可被配置为执行上述操作中的任何一个或组合或全部，注意，实施例也不限于此。[0167]参照图12,脸部验证设备1200接收用于脸部验证的输入图像。脸部验证设备1200基于将从输入图像提取的特征与存储在数据库ra1230中的登记特征进行比较的结果例如，基于得到的确定的相似度值和该相似度值是否满足最小验证阈值来确定脸部验证是否成功。有效用户可在在此讨论的脸部登记处理中的任何脸部登记处理中预先登记有效用户的脸部（例如，存储为用户的脸部的特征或图像）。这样的登记信息可被存储在DB1230中。[0168]脸部验证设备1200执行在此针对图1至图11和图13描述的处理、阶段或脸部验证和或登记操作中的一个或多个、任何组合或全部，并且可向用户提供脸部验证的结果。例如，g部验证设备1200可以以语音、振动、文字、图像或视频的形式输出脸部验证的结果。然而，示例的范围不限于在前文中描述的示例，并且脸部验证设备1200可以以各种形式输出脸部验证的结果。此外，脸部验证设备12〇0还可对应于图14的训练设备1400,因此还被配置为实现在此描述的一个或多个或所有的示例特征提取器模型或神经网络的训练，以及这样的模型、神经网络或者其他模型或神经网络的训练，以进一步提供如在此讨论的用户的脸部验证的结果或者控制脸部验证设备1200的进一步的操作。[0169]脸部验证设备1200包括至少一个处理器121〇和存储器丨220。存储器1220为连接到处理器mo的非暂时性计算机可读介质或装置，并且存储当被处理器121〇执行时使处理器mo实现在此描述的一个或多个或所有操作的指令。存储器1220还可存储将由处理器1210处理的数据或者已由处理器1210处理的数据。存储器1220还可存储当应用时如在此描述的那样配置处理器mo的一个或多个模型或神经网络的训练参数。例如，存储器1220包括高速随机存取存储器RAM和或非易失性计算机可读存储介质（例如，至少一个磁盘存储装置、闪存装置或者其他非易失性固态存储器装置）。[0170]处理器1210可被配置为执行参照图1至图u和图13至图14描述的处理、阶段或操作中的一个或多个或全部。例如，处理器1210可被配置为检测输入图像中的脸部区域，并在包括在检测的脸部区域中的输入脸部是全脸还是局部脸部之间进行确定。例如，响应于检测的脸部区域被确定为包括输入图像的边界的部分或者输入图像被确定为不包括完整的检测的脸部区域，处理器1210确定输入脸部为局部脸部。响应于检测的脸部区域被确定为不包括输入图像的这样的边界或者完整的检测的脸部区域被确定为包括在输入图像中（例如，输入图像中没有缺失的脸部部分或区域），处理器1210可确定输入脸部为全脸。对于另一个示例，响应于与预定义的脸部部分区域中的至少一个对应的标志点被确定为在检测输入图像中的脸部标志点时未被检测到，处理器1210可确定输入脸部为局部脸部。相反，响应于检测到与所有预定义的脸部部分区域中的每个预定义的脸部部分区域对应的一个或多个标志点，处理器1210可确定输入脸部为全脸。[0171]响应于确定输入脸部为局部脸部，处理器1210可通过将输入脸部的图像信息与参考图像的图像信息进行组合来生成合成脸部图像。在一个示例中，处理器1210通过将输入脸部图像的图像信息和参考图像的与在输入脸部图像中未检测到的那些脸部标志点对应的部分的图像信息进行组合来生成合成脸部图像。处理器1210还可确定输入脸部的局部脸部类型并且根据确定的局部脸部类型选择性地生成单个合成图像或比全部的局部脸部类型的数量少的合成图像，和或基于确定的局部脸部类型使用选择的特征提取器仅实现单个合成图像。在另一个示例中，处理器1210确定在包括在脸部图像中的输入脸部中是否存在遮挡区域。响应于确定存在遮挡区域，处理器1210通过将脸部图像的图像信息和参考图像的与遮挡区域对应的部分的图像信息进行组合来生成合成脸部图像。处理器1210使用特征提取器从合成脸部图像提取输入脸部的特征，将提取的特征与登记的特征进行比较，并基于比较的结果来确定验证是否成功。响应于确定输入脸部不是局部脸部例如，确定输入脸部为全脸），处理器1210使用特征提取器从脸部图像提取输入脸部的特征，将提取的特征与例如登记图像的登记特征进行比较，并基于比较的结果确定验证是否成功。在一个示例中，当脸部验证正被处理器1210执行时，处理器1210被配置为不向用户提供表示脸部区域的图像。[0172]图13是示出计算设备的示例的示图。[0173]参照图13,计算设备1300通过获得包括用户的脸部的图像并将从获得的图像提取的特征与登记特征进行比较，来执行脸部验证结果。作为非限制性示例，计算设备1300可对应于图1中示出的计算设备120、图12中示出的脸部验证设备1200以及图14的训练设备1400。[0174]计算设备13〇0包括处理器1310、存储器1320、相机1330、存储装置1340、输入装置1350、输出装置1360和网络接口1370。处理器1310、存储器1320、相机1330、存储装置1340、输入装置135〇、输出装置1360和网络接口1370可通过通信总线1380彼此通信。[0175]相机1330捕捉静止图像、视频图像或二者。处理器1310可控制相机1330通过捕捉尝试脸部验证的用户的脸部区域的图像来获得或捕捉用户的例如包括脸部区域的图像，或者可控制相机1330例如在没有用户启动的情况下自主捕捉图像并自动验证用户。此外，如上所述，相机1330还可在计算设备1300的其他功能期间（诸如，当用作个人相机时）由处理器1310控制。[0176]处理器1310可实现用于在如在此描述的计算设备1300中操作的功能和指令。例如，处理器1310可执行存储在存储器1320或存储装置1340中的指令。处理器1310被配置为执行参照图1至图I2和图14描述的操作中的一个或多个、任何组合或全部。例如，处理器1310可被配置为执行登记并通过将由相机133〇捕捉的脸部图像与登记的脸部图像或对应的登记特征进行比较来执行脸部验证。即使获得的脸部图像不包括用户的全脸信息，处理器1310也可进一步执行脸部验证。例如，响应于获得的脸部图像仅包括用户的局部脸部信息，处理器1310可例如基于局部脸部信息的确定的类型，从脸部图像的信息和预定义的参考图像的信息生成合成脸部图像，并可基于生成的合成脸部图像来执行脸部验证。此外，处理器131〇被配置为控制计算设备1300的其他功能。例如，计算设备1300可以是移动装置诸如，移动电话、平板电脑或个人计算机），因此处理器1310还被配置为实现计算设备1300的其他典型的功能。在一个示例中，处理器可被配置为实现锁定操作以仅在成功验证用户的捕捉的脸部图像时允许用户访问或实现如上所述这样的其他典型功能。[0177]存储器1320是存储将被用于脸部验证的信息的非暂时性计算机可读介质或装置。存储器1320包括计算机可读存储介质或计算机可读存储装置。此外，存储器1320还可表示多个这样类型的存储器。例如，存储器132〇包括RAM、动态RAMDRAM、静态RAMSRAM和本公开所述技术领域公知的其他类型的非易失性存储器。存储器1320存储将由处理器1310实现或执行的指令，并存储在由计算设备1300执行软件或应用期间的相关信息。[0178]存储装置1340包括计算机可读存储介质或计算机可读存储装置。存储装置1340存储包括登记特征或登记图像的DB。在一个示例中，存储装置1340与存储器1320相比存储更大数量的伯息，并将信息存储很长一段时间。例如，存储装置1340包括磁盘驱动器、光盘、闪存、可擦除可编程只读存储器EPROM、软盘或者本公开所述的技术领域中公知的其他类型的非易失性存储器。[0179]输入装置1350通过触觉、视频、音频或触摸输入从用户接收输入。例如，输入装置135〇包括键盘、鼠标、触摸屏、麦克风以及被配置为检测来自用户的输入并将检测的输入发送到计算设备1300的其他装置。[0180]输出装置1360通过视觉、听觉或触觉通道向用户提供计算设备1300的输出。例如，输出装置1360使与脸部验证相关的信息可视化并向用户提供可视化的信息。例如，可视化的信息可指示脸部验证是否成功，或者可使通过可视化的信息展示的计算设备1300的另外的功能能够访问。例如，输出装置1360包括液晶显示器LCD、发光二极管LED显示器、触摸屏、扬声器、振动生成器以及被配置为将输出提供给用户的其他装置。在一个示例中，在分别被执行的脸部登记或验证期间，计算设备1300在供用户观看的显示屏幕上显示或可视地反馈由相机1330获得的当前捕捉的脸部图像或预览图像，或其他指南，或者不显示示例脸部图像、预览图像或其他指南。示例脸部图像或预览图像可提供这样的视觉反馈或激励来引导用户向计算设备13〇〇提供全脸图像。视觉反馈可以是输入图像将被从中选择性地捕捉用于脸部识别的当前捕捉的图像帧的显示，或者可向用户提供用于脸部识别的将被捕捉的图像的期望的或优选的定位和大小的指南或覆盖图overlay。如指出的，诸如在这样的脸部验证在例如没有用户启动的情况下被自动执行的示例中，还可不提供这样的脸部图像或预览图像。在一个示例中，当由处理器mo正执行脸部验证时，输出装置1360不向用户提供表示脸部区域的图像。[0181]网络接口1370通过有线或无线网络与外部装置进行通信。例如，网络接口1370包括以太网卡、光收发器、射频收发器和被配置为发送和接收信息的其他网络接口卡。网络接口137〇使用通信方法诸如，例如，蓝牙、WiFi或第三代X、第四代4G或第五代5G通信方法）与外部装置无线通信。网络接口1370还可包括近场收发器等。例如，通过在验证用户时对处理器1310的控制，近场收发器可诸如在由近场收发器发送适当的移动支付指令的情况下将支付认证发送到外部装置。此外，例如，处理器1310可控制网络接口1370例行检查登记和或验证提取器和神经网络的更新，并且请求、接收登记和或验证提取器和神经网络的参数或系数并将其存储在存储器1320中。例如，当通过以上示例神经网络特征提取器和或脸部验证网络来实现特征提取器和脸部验证时，处理器1310可请求、接收并存储任意提取器或脸部验证网络或者所有的提取器或脸部验证网络的更新的加权矩阵。此外，能够控制或改变这样的神经网络的配置或架构的更新的超参数还可与对应的加权矩阵一起被请求、接收并存储在存储器1320和存储装置1340中的任意装置中。[0182]图14是示出训练设备的示例的示图。[0183]参照图14,仅作为非限制性示例，训练设备1400表示被配置为训练诸如，上面参照图6至图7D讨论的）用于脸部验证的特征提取器143〇的设备。例如，特征提取器1430可以是被配置为输出与输入值对应的结果值并基于多个训练图像和参考图像训练的神经网络模型。这里，参考图像可与在上述脸部登记处理和脸部验证处理中使用的参考图像相同，但是实施例不限于此。[0184]训练设备1400包括至少一个处理器1410和存储器1420。存储器1420是连接到处理器1410的非暂时性计算机可读介质或装置，并且存储可由处理器1410实现的用于实现神经网络的这样的训练的指令、将由处理器1410处理的数据和或在神经网络的训练期间由处理器1410处理的数据。存储器1420还在训练之后存储神经网络的作为结果的训练参数。[0185]当一个或多个训练图像被输入到训练设备1400时，处理器1410检测训练图像中的各个脸部区域，并确定包括在各个检测的脸部区域中的脸部是全脸还是局部脸部。例如，响应于确定脸部为局部脸部，处理器1410基于局部脸部的一个或多个预定类型通过将训练图像的图像信息与参考图像的图像信息进行组合来分别生成一个或多个合成脸部图像。例如，与图3至图13的脸部登记和脸部验证处理类似地，处理器1410使用特征提取器1430从示例合成脸部图像提取一个或多个特征，因此，针对更详细的描述，可参考在此提供的这样的对登记和脸部验证处理的上面的描述。在一个示例中，处理器1410计算可由特征提取器1430提取的特征与预期的特征之间的差引起的损失，并如上面结合图6至图7D的描述讨论的，通过调节包括在特征提取器1430中的参数来训练特征提取器1430以减少计算的损失。[0186]例如，诸如上面结合图6至图7D的描述讨论的，训练设备1400对多个训练图像中的每个训练图像重复执行在前面描述的处理以便将特征提取器1430的参数调节为逐渐符合期望，诸如，通过递归地调节不同隐藏层的节点之间的连接权重直到特征提取器1430的对应的神经网络被训练为具有期望的准确率或低于最大错误率为止。因此，关于登记和脸部验证处理的所有上面的描述也适用于训练设备1400。此外，处理器1410可被配置为执行各个训练以根据以上特征提取器示例包括图6至图7D的示出的示例，其中，图6至图7D的描述可应用于示例特征提取器1430的作为结果的训练结构和操作）中的任何特征提取器来训练特征提取器1430。训练的特征提取器1430然后可用于以上针对图1至图13描述的脸部登记处理和脸部验证处理。[0187]通过硬件组件来实现执行在本申请中描述的操作的图1-14中的计算设备120、相机130、敁不器150、特征提取器635和680、确定器685、特征提取器740、750、752、754、756、758、760、762、764、766、768、770、772、774、780、782和784、脸部验证设备1200、处理器1210、存储器1220、数据库1230、计算设备1300、处理器1310、存储器1320、相机1330、存储装置1340、输入装置1350、输出装置1360和网络接口1370、训练设备1400、处理器1410、存储器142〇和特征提取器143〇,其中，硬件组件被配置为执行在本申请中描述的由硬件组件执行的操作。可用于执行在本申请中的适当位置描述的操作的硬件组件的示例包括:控制器、传感器、生成器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器以及被配置为执行本申请中描述的操作的任何其他电子组件。在其他示例中，通过计算硬件例如，通过一个或多个处理器或计算机来实现执行在本申请中描述的操作的硬件组件中的一个或多个硬件组件。可通过一个或多个处理元件诸如，逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器或被配置为以限定的方式响应并执行指令以实现期望的结果的任何其他装置或装置的组合来实现处理器或计算机。在一个示例中，处理器或计算机包括或连接到存储由处理器或计算机执行的指令或软件的一个或多个存储器。由处理器或计算机实现的硬件组件可执行用于执行在本申请中描述的操作的指令或软件诸如，操作系统OS和在0S上运行的一个或多个软件应用）。硬件组件还可响应于指令或软件的执行来访问、操控、处理、创建和存储数据。为了简单起见，单数术语“处理器”或“计算机”可用于本申请中描述的示例的描述，但是在其他的示例中，多个处理器或计算机可被使用，或者一个处理器或计算机可包括多个处理元件或多种类型的处理元件或二者。例如，单个硬件组件或者两个或更多个硬件组件可通过单个处理器，或者两个或更多个处理器，或者一个处理器和一个控制器来实现。一个或多个硬件组件可通过一个或多个处理器，或者一个处理器和一个控制器来实现，一个或多个其他硬件组件可通过一个或多个其他处理器，或者另一处理器和另一控制器来实现。一个或多个处理器或者一个处理器和一个控制器可实现单个硬件组件或者两个或更多个硬件组件。硬件组件可具有任何一个或多个不同的处理配置，其中，一个或多个不同的处理配置的示例包括:单个处理器、独立处理器、并行处理器、单指令单数据SISD多处理、单指令多数据SIMD多处理、多指令单数据MISD多处理以及多指令多数据MIMD多处理。[0188]图1至14中示出的执行在本申请中描述的操作的方法通过计算硬件例如，通过一个或多个处理器或计算机来执行，其中，计算硬件被实现为如上所述地执行用于执行在本申请中描述的通过该方法执行的操作的指令或软件。例如，单个操作或者两个或更多个操作可通过单个处理器或者两个或更多个处理器或者一个处理器和一个控制器来执行。一个或多个操作可通过一个或多个处理器或者一个处理器和一个控制器来执行，并且一个或多个其他操作可通过一个或多个其他处理器或者另一处理器和另一控制器来执行。一个或多个处理器或者一个处理器和一个控制器可执行单个操作或者两个或更多个操作。[0189]用于控制计算硬件例如，一个或多个处理器或计算机实现硬件组件并执行如上所述的方法的指令或软件可被编写为计算机程序、代码段、指令或它们的任何组合，以单独地或共同地指示或配置一个或多个处理器或者计算机作为机器或专用计算机进行操作，以执行由硬件组件执行的操作和如上所述的方法。在一个示例中，指令或软件包括由一个或多个处理器或者计算机直接执行的机器代码诸如，由编译器产生的机器代码）。在另一个示例中，指令或软件包括由一个或多个处理器或者计算机使用解释器执行的高级代码。可基于附图中所示的框图和流程图以及说明书中的对应描述，使用任何编程语言来编写指令或软件，其中，附图中所示的框图和流程图以及说明书中的对应描述公开了用于执行由硬件组件执行的操作和如上所述的方法的算法。[0190]用于控制计算硬件例如，一个或多个处理器或者计算机实现硬件组件并执行如上所述的方法的指令或软件以及任何相关联的数据、数据文件和数据结构可被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中，或者可被记录、存储或固定在一个或多个非暂时性计算机可读存储介质上。非暂时性计算机可读存储介质的示例包括：只读存储器ROM、随机存取存储器（RAM、闪存、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-RLTH、BD-RE、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其它装置，其中，该任何其它装置被配置为：以非暂时性方式存储指令或软件以及任何相关联的数据、数据文件和数据结构，并且向一个或多个处理器或者计算机提供指令或软件以及任何相关联的数据、数据文件和数据结构，使得一个或多个处理器或者计算机能够执行指令。在一个示例中，指令或软件以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得指令和软件以及任何相关联的数据、数据文件和数据结构由一个或多个处理器或者计算机以分布式方式存储、访问和执行。[0191]虽然本公开包括特定的示例，但是在理解本申请的公开之后将清楚，在不脱离权利要求和它们的等同物的精神和范围的情况下，可在这些示例中做出形式上和细节上的各种改变。在此描述的示例将被认为仅是描述性的，而不是为了限制的目的。每一示例中的特征或方面的描述将被认为可适用于其他示例中的相似特征或方面。如果描述的技术以不同的顺序被执行，和或如果描述的系统、架构、装置或电路中的组件以不同方式被组合，和或被其他组件或它们的等同物替换或补充，则可实现合适的结果。因此，本公开的范围不是由具体实施方式限定，而是由权利要求和它们的等同物限定，并且在权利要求和它们的等同物的范围内的所有变化将被解释为包括在本公开内。

权利要求：1.一种脸部验证方法，包括：检测输入图像中的脸部区域；确定检测的脸部区域是否表示局部脸部；响应于确定检测的脸部区域表示局部脸部，通过将检测的脸部区域的图像信息与参考图像信息进行组合，来生成合成图像；针对合成图像和预定的第一登记信息，执行验证操作；基于执行的验证操作的结果，指示输入图像的脸部验证是否成功。2.根据权利要求1所述的脸部验证方法，其中，执行验证操作的步骤还包括：当检测的脸部区域被确定为表示全脸时，针对检测的脸部区域和预定的第二登记信息来执行验证。3.根据权利要求2所述的脸部验证方法，其中，针对检测的脸部区域和第二登记信息执行验证的步骤包括：基于检测的脸部区域的图像信息与包括参考图像信息的参考图像的图像信息之间的差，来提取输入图像的特征；基于将提取的特征与多个登记特征之中的与全脸对应的选择的登记特征进行比较的结果，来确定脸部验证是否成功，其中，所述多个登记特征包括在第二登记信息中。4.根据权利要求1所述的脸部验证方法，其中，确定检测的脸部区域是否表示局部脸部的步骤基于至少一个确定的检测的脸部区域的位置或者基于根据多个参考脸部部分的预定位置的至少一个确定的缺少的脸部部分。5.根据权利要求4所述的脸部验证方法，其中，确定检测的脸部区域是否表示局部脸部的步骤包括:响应于确定检测的脸部区域包括输入图像的边界的一部分，确定检测的脸部区域表示局部脸部。6.根据权利要求4所述的脸部验证方法，其中，生成合成图像的步骤包括：通过将检测的脸部区域的图像信息与参考图像的作为参考图像信息的选择的图像信息进行组合，来生成合成图像，其中，参考图像的选择的图像信息是参考图像的被确定为与全脸的和检测的脸部区域所表示的局部脸部不同的另一区域对应的部分的图像信息，其中，参考图像的所述部分是被确定从检测的脸部区域缺失的全脸的其余部分。7.根据权利要求1所述的脸部验证方法，其中，确定检测的脸部区域是否表示局部脸部的步骤包括:响应于确定检测的脸部区域不包括与多个预定义的脸部部分区域中的至少一个脸部部分区域分别对应的一个或多个参考脸部标志点，确定检测的脸部区域表示局部脸部。8.根据权利要求7所述的脸部验证方法，还包括:检测在检测的脸部区域中的多个脸部标志点，确定检测的脸部区域不包括所述一个或多个参考脸部标志点的步骤包括:将检测的所述多个脸部标志点与所述一个或多个参考脸部标志点进行比较，来确定检测的脸部区域是否包括所述一个或多个参考脸部标志点。9.根据权利要求7所述的脸部验证方法，其中，生成合成图像的步骤包括：通过将检测的脸部区域的图像信息和参考图像的作为参考图像信息的与所述多个预定义的脸部部分区域中的所述至少一个脸部部分区域对应的部分的图像信息进行组合，来生成合成图像。10.根据权利要求9所述的脸部验证方法，其中，基于所述多个预定义的脸部部分区域中的所述至少一个脸部部分区域来确定用于与检测的脸部区域的图像信息进行组合的参考图像的所述部分的位置和形状。11.根据权利要求1所述的脸部验证方法，其中，针对合成图像和第一登记信息的验证操作包括：使用特征提取器提取合成图像的特征；基于将提取的特征和多个登记特征之中的与检测的脸部区域的确定的局部脸部类型对应的登记特征进行比较的结果，来确定输入图像的脸部验证是否成功，其中，所述多个登记特征包括在第一登记信息中。12.根据权利要求11所述的脸部验证方法，还包括:基于针对一个或多个参考脸部部分区域对检测的脸部区域中的多个检测的脸部标志点进行的分析，来确定检测的脸部区域的局部脸部类型。13.根据权利要求11所述的脸部验证方法，其中，提取合成图像的特征的步骤包括：向特征提取器提供合成图像与包括参考图像信息的参考图像之间的差图像的图像信息，来提取合成图像的特征。14.根据权利要求11所述的脸部验证方法，其中，特征提取器是包括与多个局部脸部类型分别对应的多个输出层的神经网络。15.根据权利要求11所述的脸部验证方法，其中，所述多个登记特征包括针对多个不同的局部脸部类型中的每个局部脸部类型的至少一个登记特征。16.根据权利要求1所述的脸部验证方法，其中，参考图像信息从参考图像获得，参考图像是基于多个训练图像确定的图像，其中，所述多个训练图像用于训练在验证操作中使用的用于从合成图像提取用于与第一登记信息进行比较的特征的特征提取器。17.根据权利要求16所述的脸部验证方法，其中，特征提取器包括训练的神经网络，并且所述脸部验证方法还包括:使用所述多个训练图像训练用于提取脸部图像特征的神经网络，从所述多个训练图像确定参考图像。18.根据权利要求1所述的脸部验证方法，还包括：确定检测的脸部区域中是否存在遮挡区域，其中，响应于确定检测的脸部区域中存在遮挡区域，还通过将检测的脸部区域的图像信息中的遮挡区域的部分替换为参考图像的与遮挡区域对应的部分的图像信息来执行合成图像的生成，其中，参考图像包括参考图像信息。19.根据权利要求1所述的脸部验证方法，其中，当所述脸部验证方法正被执行时，不向用户提供表示脸部区域的图像。20.—种脸部验证设备，包括：处理器，被配置为：检测输入图像中的脸部区域；确定检测的脸部区域是否表示局部脸部；响应于检测的脸部区域被确定为表示局部脸部，通过将检测的脸部区域的图像信息与参考图像信息进行组合，来生成合成图像；针对合成图像和预定的第一登记信息，执行验证操作；基于执行的验证操作的结果，指示输入图像的脸部验证是否成功。21.根据权利要求20所述的脸部验证设备，其中，处理器还被配置为：当检测的脸部区域被确定为表示全脸时，针对检测的脸部区域和预定的第二登记信息执行验证。22.根据权利要求20所述的脸部验证设备，其中，处理器被配置为:通过将检测的脸部区域的图像信息与参考图像的作为参考图像信息的选择的图像信息进行组合，来生成合成图像，其中，参考图像的选择的图像信息是参考图像的由处理器确定为与全脸的和检测的脸部区域所表示的局部脸部不同的另一区域对应的部分的图像信息，其中，参考图像的所述部分是由处理器确定为从检测的脸部区域缺失的全脸的其余部分。23.根据权利要求20所述的脸部验证设备，其中，处理器被配置为：响应于由处理器确定检测的脸部区域不包括与多个预定义的脸部部分区域中的至少一个脸部部分区域分别对应的一个或多个参考脸部标志点，确定检测的脸部区域表示局部脸部。24.根据权利要求23所述的脸部验证设备，其中，处理器被配置为:通过将检测的脸部区域的图像信息和参考图像的与所述多个预定义的脸部部分区域中的所述至少一个脸部部分区域对应的部分的图像信息进行组合，来生成合成图像。25.根据权利要求20所述的脸部验证设备，其中，处理器被配置为:使用特征提取器提取合成图像的特征，并基于由处理器将提取的特征和多个登记特征之中的与检测的脸部区域的确定的局部脸部类型对应的登记特征进行比较的结果，来确定输入图像的脸部验证是否成功，其中，所述多个登记特征包括在第一登记信息中。26.根据权利要求20所述的脸部验证设备，其中，处理器还被配置为：确定检测的脸部区域中是否存在遮挡区域，并且响应于确定检测的脸部区域中存在遮挡区域，对于合成图像的生成，处理器还被配置为:将检测的脸部区域的图像信息中的遮挡区域的部分替换为参考图像的与遮挡区域对应的部分的图像信息，其中，参考图像包括参考图像信息。27.根据权利要求20所述的脸部验证设备，还包括：相机，被配置为捕捉包括所述脸部区域的输入图像，其中，处理器还被配置为：当包括所述脸部区域的检测的脸部验证处理正被执行时，不显示捕捉的脸部图像。28.—种计算设备，包括：相机，被配置为获得用户的脸部图像；显示器，被配置为在获得所述脸部图像期间能够被用户观察到；处理器，被配置为通过将获得的脸部图像与登记的脸部图像进行比较来执行脸部验证，其中，在脸部验证正被处理器执行时，显示器被配置为不显示获得的脸部图像。29.根据权利要求28所述的计算设备，其中，处理器被配置为：当获得的脸部图像包括用户的全脸信息时以及当获得的脸部图像仅包括用户的局部脸部信息时，执行脸部验证。30.根据权利要求28所述的计算设备，其中，响应于获得的脸部图像仅包括用户的局部脸部信息，处理器被配置为:基于确定的局部脸部信息的类型来生成获得的脸部图像与预定义的参考图像的合成图像，并基于合成图像来执行脸部验证。

百度查询： 三星电子株式会社 脸部验证方法、设备以及计算设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD