申请/专利权人：大湾区大学(筹)

申请日：2023-12-20

公开（公告）日：2024-03-22

公开（公告）号：CN117746503A

主分类号：G06V40/20

分类号：G06V40/20;G06N3/0455;G06N3/042;G06V40/16;G06V10/82

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.09#实质审查的生效;2024.03.22#公开

摘要：本申请涉及面部表情分析和情感计算技术领域，公开了一种面部动作单元检测方法、电子设备及存储介质，其方法包括：通过将位置编码后的图像特征输入至连续的多个Transformer块中进行特征变换，其中，特征变换包括：基于多个包括多感受野算子及上下文感知算子的混合知识专家构成混合知识专家组，混合知识专家组通过学习所述面部动作单元的个性化特征得到全面的专家知识，将全面的专家知识输入多个所述Transformer块中，得到了更为鲁棒且有效的混合知识特征，通过提取最后一个混合知识专家组和最后一个Transformer块输出的特征中的类令牌，并将类令牌输入线性层，对面部动作单元进行辅助预测及最终预测，进一步提高了面部动作单元检测的鲁棒性和有效性。

主权项：1.一种面部动作单元检测方法，其特征在于，所述方法包括：获取原始人脸图像，对所述原始人脸图像进行预处理，将预处理之后的人脸图像分割为多个图像块，将多个所述图像块通过线性映射层得到第一图像特征；基于所述第一图像特征引入类令牌，并对所述第一图像特征及所述类令牌进行位置编码得到第二图像特征；将所述第二图像特征输入至连续的多个Transformer块中进行第一特征变换，得到第三图像特征，其中，所述第一特征变换包括：基于多个混合知识专家构成混合知识专家组，所述混合知识专家组通过学习所述面部动作单元的个性化特征得到全面的专家知识，将所述全面的专家知识输入多个所述Transformer块中，其中，所述混合知识专家包括多感受野算子及上下文感知算子；提取最后一个所述混合知识专家组输出的所述第三图像特征中的所述类令牌，并将所述类令牌输入线性层，对所述面部动作单元进行辅助预测；提取最后一个所述Transformer块输出的所述第三图像特征中的所述类令牌，并将所述类令牌输入线性层，对所述面部动作单元进行预测。

全文数据：

权利要求：

百度查询： 大湾区大学(筹) 一种面部动作单元检测方法、电子设备及存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD