申请/专利权人：巽腾(广东)科技有限公司

申请日：2018-12-26

公开（公告）日：2023-09-08

公开（公告）号：CN109886697B

主分类号：G06Q20/40

分类号：G06Q20/40;G06V40/16;G06V40/40

优先权：

专利状态码：有效-授权

法律状态：2023.09.08#授权;2019.07.09#实质审查的生效;2019.06.14#公开

摘要：本发明提供了一种基于表情组别的操作确定方法、装置及电子设备，涉及图像处理的技术领域，该方法由电子设备执行，该方法包括：获取目标对象的当前人脸图像；基于当前人脸图像对目标对象进行活体人脸识别，根据识别结果判断目标对象的身份是否合法；活体人脸识别包括活体识别和人脸识别；如果合法，获取当前人脸图像的当前表情组别；确定当前表情组别对应的待执行指令；执行与待执行指令对应的操作。本发明采用了人脸识别技术，在延续了人脸识别的身份鉴权功能的同时，加上用户自定义的表情动作，可以确保用户在工作、睡眠、昏迷等无意识的状态下不会展现这些动作，大大保护了用户人脸的使用安全，提升了电子设备确定操作的安全性和可靠性。

主权项：1.一种基于表情组别的操作确定方法，其特征在于，所述方法由电子设备执行，所述方法包括：当用户注册时，获取所述用户的用户账号，并采集所述用户的预存人脸图像，确定所述预存人脸图像的第二表情特征模型，存储所述用户账号与所述第二表情特征模型的对应关系；并存储所述用户账号与所述预存人脸图像的对应关系，基于各所述第二表情特征模型，确定各所述人脸图像的表情组别，存储所述用户设置的所述表情组别与待执行指令的对应关系；获取目标对象的当前人脸图像；基于所述当前人脸图像对目标对象进行活体人脸识别，根据识别结果判断所述目标对象的身份是否合法；所述活体人脸识别包括活体识别和人脸识别；如果合法，获取所述当前人脸图像的当前表情组别，所述当前人脸图为一幅图像；确定所述当前表情组别对应的待执行指令；执行与所述待执行指令对应的操作；所述获取所述当前人脸图像的当前表情组别的步骤，包括：基于所述当前人脸图像和所述预存人脸图像列表，确定所述当前人脸图像的当前表情组别；所述基于所述当前人脸图像和所述预存人脸图像列表，确定所述当前人脸图像的当前表情组别的步骤，包括：获取所述当前人脸图像对应的第一表情特征模型；并获取所述预存人脸图像列表中各预存人脸图像对应的第二表情特征模型；将所述第一表情特征模型和各所述第二表情特征模型进行比对，确定所述当前人脸图像与各所述预存人脸图像的相似值；根据所述相似值，确定所述当前人脸图像对应的目标人脸图像；获取与所述目标人脸图像对应的用户账号；根据所述用户账号，确定所述当前人脸图像对应的当前表情组别，其中，包括在预先建立的组别数据库中查找与所述用户账号对应的多个表情组别，获取与所述当前人脸图像对应的表情组别，将与所述当前人脸图像对应的表情组别，确定为当前表情组别；其中，所述当前表情组别由一幅当前人脸图像确定，在表情组别生成过程中，对于同一个面部表情，采集最少一个人脸图像，并列入同一表情组别，其中，每个人脸图像和一个表情组别对应，在将人脸图像归入到对应的表情组别时，包括判断该人脸图像对应的表情特征是否与该用户的其他表情组别的面部表情相似的步骤。

全文数据：基于表情组别的操作确定方法、装置及电子设备技术领域本发明涉及图像处理技术领域，尤其是涉及一种基于表情组别的操作确定方法、装置及电子设备。背景技术随着科技发展，电子设备能够提供很多符合用户需求的业务应用，比如手机转账、银行ATM机能够根据用户指令而为用户提供转账、存取现金等服务。通常情况下，手机转账或银行ATM机根据用户ID和用户输入的密码确定用户身份的合法性，进而遵从用户下发的各种指令，执行与指令对应的操作。在现有技术中，为了保障操作执行的安全性和可靠性，大多需要在确认用户身份，确保该用户为合法用户时才会执行指令对应的操作，然而，现有的操作确定方式非常简单，大多仅采用数字文字密码、口令、指纹或人脸方式确定用户身份，进而执行该用户下发的指令所对应的操作。但这种仅简单采用密码或口令等方式安全性和可靠性仍旧较低，易被不法分子盗取，而用指纹或人脸方式则容易被复制和攻击，使得电子设备直接执行不法分子下发的指令所对应的操作，从而给合法用户带来一定的损失。发明内容有鉴于此，本发明的目的在于提供基于人脸识别及表情组别的操作确定方法、装置及电子设备，可以有效地提升电子设备确定操作的安全性和可靠性。为了实现上述目的，本发明实施例采用的技术方案如下：第一方面，本发明实施例提供了一种基于表情组别的操作确定方法，该方法包括：获取目标对象的当前人脸图像；基于当前人脸图像对目标对象进行活体人脸识别，根据识别结果判断目标对象的身份是否合法；活体人脸识别包括活体识别和人脸识别；如果合法，获取当前人脸图像的当前表情组别；确定当前表情组别对应的待执行指令；执行与待执行指令对应的操作。结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，基于当前人脸图像对目标对象进行活体人脸识别，包括：对当前人脸图像进行活体识别，判断当前人脸图像信息是否直接来源于真实活体；当当前人脸图像信息直接来源于真实活体时，对当前人脸图像进行人脸识别，判断当前人脸图像是否与预存的人脸图像列表中各预存人脸图像匹配；如果是，确认目标对象的身份合法。结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，获取人脸图像的当前表情组别的步骤，包括：基于当前人脸图像和预存人脸图像列表，确定人脸图像的当前表情组别。结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，基于当前人脸图像和预存人脸图像列表，确定人脸图像的当前表情组别的步骤，包括：获取当前人脸图像对应的第一表情特征模型；并获取预存人脸图像列表中各预存人脸图像对应的第二表情特征模型；将第一表情特征模型和各第二表情特征模型进行比对，确定当前人脸图像与各预存人脸图像的相似值；根据相似值，确定当前人脸图像对应的目标人脸图像；获取与目标人脸图像对应的用户账号；根据用户账号，确定当前人脸图像对应的当前表情组别。结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，获取当前人脸图像对应的第一表情特征模型；并获取预存人脸图像列表中各预存人脸图像对应的第二表情特征模型的步骤，包括：根据当前人脸图像确定多个面部关键特征点在当前人脸图像上的第一位置坐标集；将第一位置坐标集作为当前人脸图像对应的第一表情特征模型；根据预存人脸图像列表中各预存人脸图像的多个面部关键特征点的各第二位置坐标集；将各第二位置坐标集作为预存人脸图像列表中各预存人脸图像对应的第二表情特征模型。结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，获取当前人脸图像对应的第一表情特征模型；并获取预存人脸图像列表中各预存人脸图像对应的第二表情特征模型的步骤，还包括：将当前人脸图像输入至表情识别神经网络，以使表情特征识别网络确定当前人脸图像对应的第一表情特征模型；将人脸图像列表中各人脸图像输入至表情识别神经网络，以使表情识别神经网路确定预存人脸图像列表中各预存人脸图像对应的第二表情特征模型。结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，根据用户账号，确定当前人脸图像对应的当前表情组别的步骤，包括：在预先建立的组别数据库中查找与用户账号对应的多个表情组别；获取与当前人脸图像对应的表情组别；将与当前人脸图像对应的表情组别，确定为当前表情组别。结合第一方面，本发明实施例提供了第一方面的第七种可能的实施方式，其中，确定当前表情组别对应的待执行指令的步骤，包括：在预先建立的指令数据库中查找与当前表情组别对应的待执行指令；其中，指令数据库中存储有表情组别与待执行指令的对应关系；待执行指令对应至少一个表情组别。结合第一方面的第七种可能的实施方式，本发明实施例提供了第一方面的第八种可能的实施方式，其中，指令数据库至少包括通过指令、支付指令和或报警指令；其中，报警指令包括至少一种报警指令；每种报警指令对应一种报警方式；不同种的报警指令对应的表情组别不同；支付指令包括至少一种支付指令；每种支付指令对应一种支付额度；不同种的支付指令对应的表情组别不同。结合第一方面，本发明实施例提供了第一方面的第九种可能的实施方式，其中，方法还包括：当用户注册时，获取用户的用户账号，并采集用户的预存人脸图像；确定预存人脸图像的第二表情特征模型，存储用户账号与第二表情特征模型的对应关系；并存储用户账号与预存人脸图像的对应关系；基于各第二表情特征模型，确定各人脸图像的表情组别；存储用户设置的表情组别与待执行指令的对应关系。第二方面，本发明实施例还提供了一种基于表情组别的操作确定装置，该装置由电子设备执行，该装置包括：人脸图像获取模块，用于获取目标对象的当前人脸图像；活体识别模块，用于判断当前人脸图像是否直接来源于真实活体；人脸识别模块，用于基于当前人脸图像对目标对象进行人脸识别，根据识别结果判断目标对象的身份是否合法；表情特征获取模块，用于在人脸识别模块的识别结果为身份合法时，获取当前人脸图像的当前表情组别；指令确定模块，用于确定当前表情组别对应的待执行指令；操作执行模块，用于执行与待执行指令对应的操作。第三方面，本发明实施例提供了一种电子设备，包括：图像采集装置、处理器和存储装置；图像采集装置用于采集图像信息；存储装置上存储有计算机程序，计算机程序在被处理器运行时执行如第一方面至第一方面的第九种可能的实施方式任一项的方法。第四方面，本发明实施例提供了一种芯片，芯片上存储有程序，程序被处理器运行时执行上述第一方面至第一方面的第九种可能的实施方式任一项的方法的步骤。本发明实施例提供了一种基于表情组别的操作确定方法、装置及电子设备，能够获取目标对象的人脸图像，并基于该人脸图像对目标对象进行活体人脸识别，进而判断目标对象的身份是否合法，如合法，则确定与获取的目标对象的当前表情特征对应的待执行指令，进而执行与该待执行指令对应的操作。这种基于表情组别确定待执行指令，并执行相应操作的方式，与现有技术中仅采用密码、口令等简单验证方式相比，安全性和可靠性更强，能够有效避免不法分子盗取密码而给合法用户带来经济损失。另外，采用了人脸识别技术，在延续了人脸识别的身份鉴权功能的同时，加上用户自定义的表情动作，可以确保用户在工作、睡眠、昏迷等无意识的状态下不会展现这些动作，大大保护了用户人脸的使用安全。本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了本发明实施例所提供的一种基于表情组别的操作确定方法的流程图；图2示出了本发明实施例所提供的另一种基于表情组别的操作确定方法的流程图；图3示出了本发明实施例所提供的一种终端设备的结构示意图；图4示出了本发明实施例所提供的一种基于表情组别的操作装置的结构示意图；图5示出了本发明实施例所提供的另一种基于表情组别的操作装置的结构示意图；图6示出了本发明实施例所提供的另一种基于表情组别的操作装置的结构示意图；图7示出了本发明实施例所提供的另一种基于表情组别的操作确定装置的结构示意图；图8示出了本发明实施例所提供的一种电子设备的结构示意图。具体实施方式为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。目前的人脸支付技术，由于使用了人脸识别作为支付手段，因此，可以通过照片、视频等手段冒充用户身份进行支付转账或某种认证行为，危害用户的利益；另外，由于使用了端正人脸姿态作为支付的手段，因此，用户很容易在不知不觉中被盗用了的人脸信息进行支付转账或某种认证行为，极大危害了用户的利益，因此考虑到现有电子设备的指令操作确认方式的安全性和可靠性均较低，易被不法分子利用，为改善此问题，本发明实施例提供的一种基于表情组别的操作确定方法、装置及电子设备，能够确认用户为真实本人并且通过用户不同表情确认用户预设的不同操作指令，进而较大程度上提升电子设备确定操作的安全性和可靠性。另外，由于使用活体人脸技术，必须用户本人操作才可以认证通过，极大保护了用户的利益；并且，由于要做表情才可以完成指定的指令动作，通常用户在工作、娱乐、睡觉、昏迷、醉酒、日常生活中或不知情的情况下极少会展现这些表情，因此，能有效防止人脸信息被盗用。以下对本发明实施例进行详细介绍。参见图1所示的一种基于表情组别的操作确定方法的流程图，该方法可由电子设备执行，其中，电子设备可以为摄像头、活体人脸摄像头、银行ATM机、自助终端机、带有摄像头的U盾、带有摄像头的银行U盾、带有摄像头的税控盘、手机、智能电视、个人电脑、笔记本电脑、平板电脑、连接有摄像头设备的个人电脑、连接有摄像头设备的工控机、PDA、手持设备、智能腕表、智能眼镜、智能POS机、智能扫描枪、智能机器人、智能汽车、智能家居、智能缴费终端和带摄像头的智能电视等，该方法包括以下步骤：步骤S102，获取目标对象的当前人脸图像。具体的，通过图像采集设备采集目标对象的人脸图像。其中，图像采集设备包括摄像头、活体人脸摄像头等摄像头设备，以及手机、带有摄像头的U盾、带有摄像头的税控盘等带有摄像头的设备。步骤S104，基于当前人脸图像对目标对象进行活体人脸识别，根据识别结果判断目标对象的身份是否合法。为了判读目标对象的身份是否合法，需要对当前人脸图像进行活体人脸识别，通过结合活体识别与人脸识别，进一步提高判断身份是否合法的准确性和安全性。具体应用时，首先采用活体识别判断当前人脸图像是否直接来源于真实活体，再采用人脸识别技术对采集的人脸图像进行人脸识别，具体可把当前人脸图像与预先存储的人脸图像进行一一比对，判断当前人脸图像是否与至少一个预先存储的人脸图像匹配的匹配人脸图像，判断目标对象的身份信息是否合法。其中，预先存储的人脸图像，可以是指定某一用户的人脸图像或人脸图像集，可以是若干个用户的人脸图像集，也可以是所有用户的人脸图像集。优选的，在进行人脸识别之前，可以进行活体识别，以防止他人通过照片等物品冒用用户的人脸信息。步骤S106，如果合法，获取当前人脸图像的当前表情组别。当目标对象的身份合法时，需要进一步获取当前人脸图像的当前表情组别，以基于当前表情组别完成相应操作。具体的，可以首先将当前人脸图像与预存人脸图像列表中的各预存人脸图像进行一一比对，得到当前人脸与各预存人脸图像之间的相似值，基于相似值确定当前人脸图像对应的目标人脸图像，便可以通过目标人脸图像获取与当前人脸图像对应的当前表情组别。其中，可以预设一个相似阈值，当相似值大于预设的相似阈值时，即可确定目标人脸图像。步骤S108，确定当前表情组别对应的待执行指令。具体的，可以在预先建立的指令数据库中查找与表情组别对应的待执行指令；该指令数据库中存储有表情组别与待执行指令的对应关系；其中，待执行指令至少包括认证通过指令、支付指令或报警指令。在实际应用中，认证通过指令可以是身份认证完成指令，或者是电子设备的权限开放指令等；支付指令可以包括多种支付指令，每种支付指令对应一种支付额度，不同种的支付指令对应的表情组别不同，支付额度可以具体分为：小额度、大额度和超大额度等；报警指令包括多种报警指令，每种报警指令对应一种报警方式，不同种的报警指令对应的表情组别不同，报警方式可以分为冻结资金账号并报警、虚假转账并报警、真实转账并报警等，通过设置报警指令对应的表情组别，可以在不惊动非法人员的前提下进行报警操作，有效地保障了用户的人身安全及财产安全。基于关键点位置差异的对应关系可确定目标对象的表情组别，将表情组别信息输入预先建立的指令数据库，可查找到与表情组别对应的待执行指令。步骤S110，执行与待执行指令对应的操作。诸如，待执行指令为认证通过指令时，认证通过指令对应的操作为权限开放操作，具体的，该权限开放操作可以包括允许用户指定界面、允许用户使用电子设备的特定功能等；待执行指令为大额度支付指令时，对应的操作可以为准许小额度转账、小额度存取款等交易操作；待执行指令为短信报警指令时，对应的操作可以为电子设备向关联终端发送短信报警信息等。本发明实施例提供了一种基于表情组别的操作确定方法，该方法可以获取目标对象的人脸图像，并基于该人脸图像对目标对象进行人脸识别，进而判断目标对象的身份是否合法，如合法，则获取当前人脸图像对应的当前表情组别，进而确定与获取的目标对象的当前表情组别对应的待执行指令，进而执行与该待执行指令对应的操作。这种根据表情特征确定对应的待执行指令，并执行相应指令操作的方式，能够较好地提升电子设备确定操作的安全性和可靠性，有效避免不法分子盗取密码而给合法用户带来经济损失。另外，采用了人脸识别技术，在延续了人脸识别的身份鉴权功能的同时，加上用户自定义的表情动作，可以确保用户在工作、睡眠、昏迷等无意识的状态下不会展现这些动作，大大保护了用户人脸的使用安全。为便于理解，下面提出一种具体的实施方式，如下所示：1当A用户注册时，电子设备可以指示A用户做不同的自定义表情，从而通过摄像头采集A用户呈现的不同的自定义表情的人脸图像；A用户可以自行设定表情特征与待执行指令的对应关系，诸如，睁左眼且闭右眼的表情与登陆账户的待执行指令相对应，闭双眼且皱眉的表情与小额度转账的待执行指令相对应；张嘴且闭左眼的表情与短信报警的待执行指令相对应。具体实施时，在采集用户的人脸图像时，电子设备对人脸外轮廓、眉部、眼部、鼻部、嘴部等人脸部位设置关键点。具体地，关键点个数和位置优选体现出用户人脸的表情特征，例如：眼部特征点至少包括眼睛内外眼角、上下端、眼球中心等标记点，眉部特征点至少包括眉部两端和中间位置三个标记点，鼻部特征点至少包括上端、下部左右两端、鼻翼突出点等标记点，嘴部至少包括上嘴唇上下左右四个点和下嘴唇上下左右四个点等标记点，通过上述表情特征，即可确定用户的表情组别。电子设备可以记录用户设置的与表情组别对应的待执行指令，从而建立指令数据库，并存储表情组别与待执行指令的对应关系。2当A用户在图像采集设备前做出诸如睁左眼且闭右眼表情、闭双眼且皱眉表情或张嘴且闭左眼等特定表情时，电子设备通过摄像头采集A用户的当前人脸图像，将当前人脸图像与预存人脸图像列表中的各预存人脸图像进行比对，确定用户A对应的目标人脸图像，并基于目标人脸图像确定人脸图像的表情组别。3在预先建立的指令数据库中查找与A用户当前的表情组别对应的待执行指令，并执行指令对应的操作，诸如，如果确定A用户的表情组别为张嘴且闭左眼，则可通过指令数据库确定A用户发出了短信报警的待执行指令，从而可执行相应的操作，向A用户预先设置的关联终端发短信报警。另外，考虑到人脸图像会受到采集角度、光照环境、脸部肌肉控制差异等多种因素的影响，这些影响将会造成同一个面部表情的不同采集结果，因此可以将同一面部表情列入同一表情组别，通过表情组别确定待执行指令，从而减少上述因素对待执行指令确定的影响。例如，对于采集角度的因素，可能出现采集设备位置过高、过低、偏左或偏右等情况，进而导致出现低头、抬头、右转头或左转头等采集效果。例如，对于脸部肌肉控制差异的因素，可能出现用户在做张嘴表情的时候，由于张嘴的力度不同，造成嘴巴张开的大小不一样的情况。另外，受采集角度影响，进一步影响嘴巴张开的采集效果。因此，对于同一个面部表情，采集最少一个人脸图像，并列入同一表情组别，提高确定待执行指令的准确性。优选的，在将人脸图像归入到对应的表情组别时，应先判断该表情特征是否与该用户的其他表情组别的面部表情相似，以防止因面部表情相似导致误判表情组别，进一步提高确定待执行指令的准确性和安全性。通过表情组别确定待执行指令的方式，能够防止不法分子盗取合法用户的账户密码而操控电子设备，给合法用户带来损失。而且合法用户通过表情方式发指令的方式也难以使不法分子察觉，诸如，在不法分子胁迫合法用户在ATM机上进行转账时，合法用户做出报警表情，可暗中使ATM机发短信或者后台联网报警，进而保障自身财产安全。为便于理解，以下给出基于本实施例提供的另一种基于表情组别的操作确定方法的一种具体实施方式，参见图2所示的另一种基于表情组别的操作确定方法的流程图，该方法包括以下步骤：步骤S202，获取目标对象的当前人脸图像。在一种具体的实施方式中，通过摄像头采集目标对象的人脸图像，图像采集设备的摄像头距离目标人脸预设距离区间内，在预设距离区间内，摄像头的图像采集效果较佳，更有助于进行图像采集。步骤S204，基于当前人脸图像对目标对象进行活体识别，判断当前人脸图像信息是否直接来源于真实活体。如果是，执行步骤S206；如果否，结束。通过进行活体识别，可以进一步防范他人冒用目标对象的身份信息。步骤S206，当前人脸图像信息直接来源于真实活体时，对当前人脸图像进行人脸识别，判断当前人脸图像是否与预存人脸图像列表中各预存人脸图像匹配。如果是，执行步骤S208；如果否，结束。在一种实施方式中，可以预先存储基准人脸图像，当获取目标对象的人脸图像后，将目标对象的人脸图像与各基准人脸图像进行匹配，如果匹配到与目标对象对应的基准人脸图像，则可以确定目标对象的身份合法。步骤S208，确认目标对象的身份合法。步骤S210，比对当前人脸图像和预存人脸图像列表，确定当前人脸图像的当前表情组别。具体的，可以分别获取当前人脸图像的第一表情特征模型，和预存人脸图像列表中每个预存人脸图像对应的第二表情特征模型，然后对比第一表情模型和各第二表情特征模型，以得到当前人脸图像与各预存人脸图像之间的相似值，进而基于相似值确定当前人脸图像对应的目标人脸图像，然后获取与目标人脸图像对应的用户账号，以确定当前人脸图像对应的当前表情组别。通过当前表情组别，即可确定待执行指令。通过确定当前人脸图像对应的表情组别，可以有效缓解因当前人脸图形采集角度不同导致的待执行指令确认失败的问题。假设目标对象需要进行支付操作，在采集目标对象的当前人脸图像时，由于每次采集的角度均存在一定差异，因此通过上述确定当前表情组别的方法，将同一支付操作面部表情各角度的当前人脸图像均确定为对应支付操作的当前表情组别。通过增加确定当前表情组别的不同角度的预存人脸图像的数量，可以有效提高确定当前表情组别的准确度。为了便于对上述实施例提供的方法进行理解，本发明实施例还提供了一种获取所述当前人脸图像对应的第一表情特征模型；并获取所述预存人脸图像列表中各预存人脸图像对应的第二表情特征模型的方法，该方法包括以下步骤：1根据当前人脸图像确定多个面部关键特征点在当前人脸图像上的第一位置坐标集。首先确定多个预设关键点，将这些预设关键点作为面部关键特征点，然后确定多个面部关键特征点在当前人脸图像上的位置坐标，得到第一位置坐标集。具体的，预设关键点的设置优选为面部一些具有代表性的特征点，具体举例为：眼部特征点、唇部特征点、鼻部特征点和眉部特征点等；其中每个部位特征点选取个数可以灵活设置，特征点选取个数最终能够体现人脸面部整体特征。通过第一位置坐标集，可以确定当前人脸图像的第一表情特征模型。例如，读取当前人脸图像中唇部特征点的位置坐标信息，读取当前人脸图像中眼部特征点的坐标位置信息，并将上述唇部特征点的坐标位置信息和眼部特征点的坐标位置信息确定为第一位置坐标集。当然，以上仅为唇部特征点和眼部特征点为例进行说明，在实际应用中，可以对脸部的全部预设关键点进行逐一比对分析。2将第一位置坐标集作为当前人脸图像对应的第一表情特征模型。3根据预存人脸图像列表中各预存人脸图像的多个面部关键特征点的各第二位置坐标集。具体的，可以采用上述确定第一位置坐标集的方法来确定各第二位置坐标集。4将各所述第二位置坐标集作为所述预存人脸图像列表中各预存人脸图像对应的第二表情特征模型。另外，随着深度学习神经网络等技术的不断发展，还可以通过深度学习神经网络对表情特征进行训练、识别，具体的，将当前人脸图像输入至预先训练得到的表情识别神经网络，然后通过表情识别模型识别当前人脸图像对应的第一表情特征模型，另外，还需将预存人脸图像列表中各预存人脸图像输入至表情识别神经网络，以得到各预存人脸图像对应的第二表情特征模型。通过训练数据对神经网络模型进行训练，进而得到上述可以识别表情特征模型的表情识别神经网络。通过深度学习对表情特征模型进行识别，可以进一步提高确定表情特征模型的准确性。步骤S212，确定当前表情组别对应的待执行指令。通过预先建立的指令数据库，查找与当前表情组别对应的待执行指令。该指令数据库中存储有表情组别与待执行指令的对应关系。步骤S214，执行与待执行指令对应的操作。本发明实施例提出的上述方法，电子设备对采集到的用户人脸图像进行人脸识别，并通过多种方式确认当前人脸图像与预存人脸图像对应的表情特征模型，通过比对各表情特征模型以确定当前人脸图像对应的目标人脸图像，进而确定当前表情组别，并确定目标对象的当前表情组别和其对应的待执行指令，从而执行与待执行指令对应的操作。这种通过确定用户的表情当前人脸图像，确定用户对应的当前表情组别，能够较好地提升电子设备确定操作的安全性和可靠性。在一种实施方式中，可以由终端设备完成上述基于表情组别的操作方法，具体的，本发明实施例还提供了一种终端设备的结构示意图，如图3所示，该终端设备可以为手机或电脑等个人设备或者芯片，该终端设备包括摄像头、人脸识别模块、活体识别模块、表情识别模块，以及用于存储用户的基准人脸图像和特定人脸图像列表的数据库。通过摄像头采集用户的当前人脸图像，由人脸识别模块对用户的当前人脸图像进行人脸识别；由活体识别模块对用户的当前人脸图像是否直接来源与真实活体进行活体识别；由表情识别模块对用户的当前人脸图像中的表情特征进行识别。值得注意的是，对于上述人脸识别、活体识别和表情识别的顺序不做限定，可以有多种排序方式，例如依次进行人脸识别、活体识别和表情识别，或者依次进行活体识别、表情识别和人脸识别等。另外，可以由终端设备和服务器进行交互，进而完成基于表情组别的操作方法。其中，终端设备与服务器之间的交互过程不做具体的限定。为便于理解，本发明实施例提供了终端设备与服务器之间的交互过程，例如如图4所示的一种基于表情组别的操作装置的结构示意图，其中，可以由终端设备通过摄像头完成用户的当前人脸图像的采集，将当前人脸图像发送至服务器，由服务器基于数据库完成人脸识别、表情识别或者活体识别。例如图5所示的另一种基于表情组别的操作装置的结构示意图，其中，由终端设备通过摄像头完成用户的当前人脸图像的采集工作，以及对当前人脸图像进行活体识别，在活体识别结果为当前人脸图像直接来源于真实活体时，将当前人脸图像发送至服务器，由服务器基于数据库完成人脸识别和表情识别。例如图6所示的另一种基于表情组别的操作装置的结构示意图，其中，由终端设备通过摄像头完成用户的当前人脸图像的采集工作，对当前人脸图像进行活体识别，还对用户的表情特征进行初次识别；然后将表情特征识别结果和当前人脸图像发送至服务器，由服务器基于数据库完成人脸识别，以及通过表情识别进一步确定当前人脸图像对应的表情特征。其中，上述终端设备可以为手机、电脑、自助办理终端或ATM机等。本发明实施例提供了一种基于表情组别的操作确定装置，参见图7示出的一种基于表情组别的操作确定装置的结构框图，该装置包括以下部分：人脸图像获取模块702，用于获取目标对象的当前人脸图像。判断模块704，用于基于当前人脸图像对目标对象进行活体人脸识别，根据识别结果判断目标对象的身份是否合法。表情获取模块706，用于在判断模块的判断结果为是时，获取目标对象的当前表情特征。指令确定模块708，用于确定当前表情特征对应的待执行指令。操作执行模块710，用于执行与待执行指令对应的操作。本发明实施例提供了一种基于表情组别的操作确定装置，该方法可以由人脸图像获取模块获取目标对象的人脸图像，并基于该人脸图像对目标对象进行人脸识别，进而由判断模块判断目标对象的身份是否合法，如合法，表情获取模块则获取当前人脸图像对应的当前表情组别，进而通过指令确定模块确定与获取的目标对象的当前表情组别对应的待执行指令，以使操作执行模块执行与该待执行指令对应的操作。这种根据表情特征确定对应的待执行指令，并执行相应指令操作的方式，能够较好地提升电子设备确定操作的安全性和可靠性，有效避免不法分子盗取密码而给合法用户带来经济损失。另外，采用了人脸识别技术，在延续了人脸识别的身份鉴权功能的同时，加上用户自定义的表情动作，可以确保用户在工作、睡眠、昏迷等无意识的状态下不会展现这些动作，大大保护了用户人脸的使用安全。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的一种基于表情组别的操作确定装置具体工作过程，可以参考前述实施例中的对应过程，在此不再赘述。本发明实施例提供了一种电子设备，参见图8所示的一种电子设备的结构示意图，该电子设备包括：图像采集装置80、处理器81、存储装置82和总线83；图像采集装置80包括摄像头；存储装置82上存储有计算机程序，计算机程序在被处理器运行时执行如前述实施例任一项的方法。其中，存储装置82可能包含高速随机存取存储器RAM，RandomAccessMemory，也可能还包括非易失存储器non-volatilememory，例如至少一个磁盘存储器。总线83可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。其中，存储装置82用于存储程序，处理器81在接收到执行指令后，执行程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器81中，或者由处理器81实现。处理器81可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器81中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器81可以是通用处理器，包括中央处理器CentralProcessingUnit，简称CPU、网络处理器NetworkProcessor，简称NP等；还可以是数字信号处理器DigitalSignalProcessing，简称DSP、专用集成电路ApplicationSpecificIntegratedCircuit，简称ASIC、现成可编程门阵列Field-ProgrammableGateArray，简称FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储装置82，处理器81读取存储装置82中的信息，结合其硬件完成上述方法的步骤。本发明实施例还提供了一种芯片，该芯片上存储有程序，其中，程序被处理器运行时执行前述实施例任一项的方法的步骤。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统具体工作过程，可以参考前述实施例中的对应过程，在此不再赘述。在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备可以是个人计算机，服务器，或者网络设备等执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器ROM，Read-OnlyMemory、随机存取存储器RAM，RandomAccessMemory、磁碟或者光盘等各种可以存储程序代码的介质。在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

权利要求：1.一种基于表情组别的操作确定方法，其特征在于，所述方法由电子设备执行，所述方法包括：获取目标对象的当前人脸图像；基于所述当前人脸图像对目标对象进行活体人脸识别，根据识别结果判断所述目标对象的身份是否合法；所述活体人脸识别包括活体识别和人脸识别；如果合法，获取所述当前人脸图像的当前表情组别；确定所述当前表情组别对应的待执行指令；执行与所述待执行指令对应的操作。2.根据权利要求1所述的方法，其特征在于，所述基于所述当前人脸图像对目标对象进行活体人脸识别，包括：对所述当前人脸图像进行活体识别，判断所述当前人脸图像信息是否直接来源于真实活体；当所述当前人脸图像信息直接来源于真实活体时，对所述当前人脸图像进行人脸识别，判断所述当前人脸图像是否与预存人脸图像列表中各预存人脸图像匹配；如果是，确认所述目标对象的身份合法。3.根据权利要求2所述的方法，其特征在于，所述获取所述当前人脸图像的当前表情组别的步骤，包括：基于所述当前人脸图像和所述预存人脸图像列表，确定所述当前人脸图像的当前表情组别。4.根据权利要求3所述的方法，其特征在于，所述基于所述当前人脸图像和所述预存人脸图像列表，确定所述当前人脸图像的当前表情组别的步骤，包括：获取所述当前人脸图像对应的第一表情特征模型；并获取所述预存人脸图像列表中各预存人脸图像对应的第二表情特征模型；将所述第一表情特征模型和各所述第二表情特征模型进行比对，确定所述当前人脸图像与各所述预存人脸图像的相似值；根据所述相似值，确定所述当前人脸图像对应的目标人脸图像；获取与所述目标人脸图像对应的用户账号；根据所述用户账号，确定所述当前人脸图像对应的当前表情组别。5.根据权利要求4所述的方法，其特征在于，所述获取所述当前人脸图像对应的第一表情特征模型；并获取所述预存人脸图像列表中各预存人脸图像对应的第二表情特征模型的步骤，包括：根据所述当前人脸图像确定多个面部关键特征点在所述当前人脸图像上的第一位置坐标集；将所述第一位置坐标集作为所述当前人脸图像对应的第一表情特征模型；根据所述预存人脸图像列表中各预存人脸图像的多个面部关键特征点的各第二位置坐标集；将各所述第二位置坐标集作为所述预存人脸图像列表中各预存人脸图像对应的第二表情特征模型。6.根据权利要求4所述的方法，其特征在于，所述获取所述当前人脸图像对应的第一表情特征模型；并获取所述预存人脸图像列表中各预存人脸图像对应的第二表情特征模型的步骤，还包括：将所述当前人脸图像输入至表情识别神经网络，以使所述表情特征识别网络确定所述当前人脸图像对应的第一表情特征模型；将所述人脸图像列表中各人脸图像输入至所述表情识别神经网络，以使所述表情识别神经网络确定所述预存人脸图像列表中各预存人脸图像对应的第二表情特征模型。7.根据权利要求4所述的方法，其特征在于，所述根据所述用户账号，确定所述当前人脸图像对应的当前表情组别的步骤，包括：在预先建立的组别数据库中查找与所述用户账号对应的多个表情组别；获取与所述当前人脸图像对应的表情组别；将与所述当前人脸图像对应的表情组别，确定为当前表情组别。8.根据权利要求1所述的方法，其特征在于，所述确定所述当前表情组别对应的待执行指令的步骤，包括：在预先建立的指令数据库中查找与所述当前表情组别对应的待执行指令；其中，所述指令数据库中存储有所述表情组别与所述待执行指令的对应关系；所述待执行指令对应至少一个所述表情组别。9.根据权利要求8所述的方法，其特征在于，所述指令数据库至少包括通过指令、支付指令和或报警指令；其中，所述报警指令包括至少一种报警指令；每种所述报警指令对应一种报警方式；不同种的所述报警指令对应的表情组别不同；所述支付指令包括至少一种支付指令；每种所述支付指令对应一种支付额度；不同种的所述支付指令对应的表情组别不同。10.根据权利要求1所述的方法，其特征在于，所述方法还包括：当用户注册时，获取所述用户的用户账号，并采集所述用户的预存人脸图像；确定所述预存人脸图像的第二表情特征模型，存储所述用户账号与所述第二表情特征模型的对应关系；并存储所述用户账号与所述预存人脸图像的对应关系；基于各所述第二表情特征模型，确定各所述人脸图像的表情组别；存储所述用户设置的所述表情组别与所述待执行指令的对应关系。11.一种基于表情组别的操作确定装置，其特征在于，所述装置由电子设备执行，所述装置包括：人脸图像获取模块，用于获取目标对象的当前人脸图像；活体识别模块，用于判断所述当前人脸图像是否直接来源于真实活体；人脸识别模块，用于基于所述当前人脸图像对目标对象进行人脸识别，根据识别结果判断所述目标对象的身份是否合法；表情特征获取模块，用于在所述人脸识别模块的识别结果为身份合法时，获取所述当前人脸图像的当前表情组别；指令确定模块，用于确定所述当前表情组别对应的待执行指令；操作执行模块，用于执行与所述待执行指令对应的操作。12.一种电子设备，其特征在于，包括图像采集装置、处理器和存储装置；所述图像采集装置用于采集图像信息；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至10任一项所述的方法。13.一种芯片，所述芯片上存储有程序，其特征在于，所述程序被处理器运行时执行上述权利要求1至10任一项所述的方法的步骤。

百度查询： 巽腾(广东)科技有限公司 基于表情组别的操作确定方法、装置及电子设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD