申请/专利权人：青岛海尔科技有限公司;海尔智家股份有限公司

申请日：2021-06-29

公开（公告）日：2024-03-22

公开（公告）号：CN113435518B

主分类号：G06F18/25

分类号：G06F18/25;G06V40/16;G10L25/63;G10L13/033

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2021.12.24#实质审查的生效;2021.09.24#公开

摘要：本发明公开了一种特征融合基于多模态的交互方法及装置。该发明包括：获取用户的图像特征和语音特征；依据图像特征与语音特征进行特征融合，得到多模态特征信息；依据多模态特征信息，生成并推送智能推荐信息。通过本发明，解决了相关技术中智能设备与用户交互时，智能设备无法捕捉用户情感信息的技术问题。

主权项：1.一种特征融合基于多模态的交互方法，其特征在于，包括：获取用户的图像特征和语音特征；依据所述图像特征与所述语音特征进行特征融合，得到多模态特征信息；依据所述多模态特征信息，生成并推送智能推荐信息；其中，依据所述图像特征与所述语音特征进行特征融合，得到多模态特征信息包括：识别所述图像特征与所述语音特征以获得所述用户的健康状态信息；识别所述语音特征以获取所述用户的情绪，所述情绪为以下任意一种：积极情绪、消极情绪；识别所述语音特征以获取所述用户的基本信息，其中，所述用户的基本信息至少包括以下信息：所述用户的性别、所述用户所属的年龄段；将所述用户的所述健康状态信息、所述用户的情绪以及所述用户的基本信息进行融合以得到所述多模态特征信息；其中，依据所述多模态特征信息，生成并推送智能推荐信息包括：依据所述用户的基本信息和所述用户的情绪，构建虚拟数字人；通过所述虚拟数字人推送所述智能推荐信息给所述用户。

全文数据：

权利要求：

百度查询： 青岛海尔科技有限公司;海尔智家股份有限公司 特征融合基于多模态的交互方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD