申请/专利权人：上海理工大学

申请日：2022-05-17

公开（公告）日：2024-04-02

公开（公告）号：CN114918935B

主分类号：B25J11/00

分类号：B25J11/00;B25J9/16

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2022.09.06#实质审查的生效;2022.08.19#公开

摘要：本发明提出基于网络推理与电机驱动的表情识别与模拟系统，包括视觉模块、控制模块、推理模块和驱动模块，视觉模块采集人脸信息，并将人脸信息传输给控制模块，控制模块控制推理模块对人脸信息进行识别，获得对应的微表情特征，控制模块根据微表情特征控制驱动模块进行模拟表情的变换；推理模块为基于U‑Net网络的深度学习模型；驱动模块包括设于机器人头部的至少8个控制组。在本申请中,通过表情识别与模拟系统使机器人赋予人的动态特征，让机器人跟人交流更加自然，交流体验更好。基于U‑Net网络的构建深度学习模型，并不依赖于传统的传感器，图像处理等方法，在利用构建的深度学习模型进行人脸表情模仿的情况下，能极大的减少了对硬件系统的依赖。

主权项：1.一种基于网络推理与电机驱动的表情识别与模拟系统，其特征在于，包括视觉模块、控制模块、推理模块和驱动模块，所述视觉模块采集人脸信息，并将所述人脸信息传输给所述控制模块，所述控制模块控制所述推理模块对所述人脸信息进行识别，获得对应的微表情特征，所述控制模块根据所述微表情特征控制所述驱动模块进行模拟表情的变换；所述推理模块为基于U-Net网络的深度学习模型；所述深度学习模型的构建方法，包括以下步骤：A1：建立人脸表情的标准数据库；所述标准数据库至少包括皱眉、睁眼、闭眼、张嘴、闭嘴、翘嘴角、瘪嘴角、点头、歪头和摇头的表情数据；A2：构建深度卷积神经网络模型；A3：利用所述标准数据库在所述网络模型内进行识别训练，生成的人脸表情识别模型即为所述深度学习模型；所述驱动模块包括设于机器人头部的至少8个控制组，各所述控制组分别控制所述机器人头部的左眉、右眉、左眼、右眼、左嘴角、右嘴角、嘴巴和脖颈；所述控制模块通过所述深度学习模型对所述人脸信息进行识别，并通过所述驱动模块进行模拟表情的变换，包括以下步骤：B1：所述深度学习模型将所述人脸信息的图像进行调节处理；B2：处理后的图像通过所述U-Net网络提取图像特征，生成多尺度的特征图像，即获得不同尺寸的所述特征图像；B3：所述特征图像通过Keypointmatch进行人脸关键点的匹配；B4：所述特征图像通过Offsetcalculation进行偏移量计算，并根据所述标准数据库的人脸信息，对所述人脸关键点的信息进行对齐矫正，获得识别后的表情信息；B5：所述控制模块根据识别后的所述表情信息，向所述驱动模块发出对应的驱动信号，驱动各所述控制组对应进行模拟表情的变换，完成表情模仿。

全文数据：

权利要求：

百度查询： 上海理工大学 基于网络推理与电机驱动的表情识别与模拟系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD