申请/专利权人：达闼机器人股份有限公司

申请日：2022-01-28

公开（公告）日：2024-03-19

公开（公告）号：CN114464179B

主分类号：G10L15/22

分类号：G10L15/22;G10L15/26;G10L15/01;G06V40/16;G06V10/771

优先权：

专利状态码：有效-授权

法律状态：2024.03.19#授权;2022.06.03#实质审查的生效;2022.05.10#公开

摘要：本申请实施例提供一种语音交互方法、系统、装置、设备及存储介质。在该语音交互系统中，终端设备可获取用户的语音数据和面部特征数据，云端服务器可根据面部特征数据对备用语音引擎进行排序。云端服务器可在第一语言类型对应的语音识别引擎与语音数据不匹配时，从备用语音识别引擎中选择出目标语音识别引擎，并根据目标语音识别引擎对语音数据的第二语音识别结果，生成语音数据的答复信息。通过这种实施方式，当用户使用的语言类型不同时，终端设备可较为准确地对用户输入的语音数据进行语音识别，进而，可为用户提供与该语音信息较为匹配的答复。

主权项：1.一种基于图像的语音交互方法，其特征在于，包括：获取用户针对设备发出的语音数据以及所述用户的面部特征数据；所述面部特征数据是通过对预先采集的用户面部图像进行特征提取来获取的；所述面部特征数据用于识别用户所属的语言类型群体；根据所述面部特征数据，对至少一种备用语音识别引擎进行排序；所述至少一种备用语音识别引擎，分别与至少一个语言类型对应；判断预设的第一语言类型对应的第一语音识别引擎与所述语音数据是否匹配；若为否，则按照所述至少一种备用语音识别引擎的排序，从至少一种备用语音识别引擎中，选择出与所述语音数据匹配的目标语音识别引擎；根据所述目标语音识别引擎对所述语音数据的第二语音识别结果，生成所述语音数据的答复信息；判断预设的第一语言类型对应的第一语音识别引擎与所述语音数据是否匹配，包括：通过预设的第一语言类型对应的第一语音识别引擎，对所述语音数据进行语音识别，得到第一语音识别结果；获取所述第一语音识别结果中的文本信息；计算所述文本信息的识别准确率；若所述识别准确率小于设定准确率阈值，则确定所述语音数据与所述第一语音识别引擎不匹配；若所述识别准确率大于或等于所述设定准确率阈值，则采用问答匹配模型对所述文本信息进行问答匹配，得到答复信息以及所述答复信息的置信度；若所述答复信息的置信度小于预设的置信度阈值，则确定所述语音数据与所述第一语音识别引擎不匹配。

全文数据：

权利要求：

百度查询： 达闼机器人股份有限公司 语音交互方法、系统、装置、设备及存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD