买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉深圳市贝铂智能科技有限公司申请的专利基于大模型的多模态语音交互方法、电子设备和存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119559946B 。

龙图腾网通过国家知识产权局官网在2025-06-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510026491.5，技术领域涉及：G10L15/22；该发明授权基于大模型的多模态语音交互方法、电子设备和存储介质是由车建波设计研发完成，并于2025-01-08向国家知识产权局提交的专利申请。

本基于大模型的多模态语音交互方法、电子设备和存储介质在说明书摘要公布了：本发明提供了一种基于大模型的多模态语音交互方法、电子设备和存储介质，包括：对用户输入的第一语言的语音数据进行语音识别，得到第一语言文本；对所述第一语言文本进行语言翻译，将其翻译为第二语言文本；对所述第二语言文本进行语义分析，得到语义分析结果；基于预设的大模型对所述语义分析结果进行多模态知识图谱构建，得到增强语义理解结果；其中，所述多模态知识图谱融合了与所述第二语言文本相关的多模态信息；生成所述增强语义理解结果的对话策略；基于所述对话策略进行语音合成，生成以所述第一语言表达的回复语音数据。在本发明中，实现了采用多语言进行交互，同时融合了多种模态信息。

本发明授权基于大模型的多模态语音交互方法、电子设备和存储介质在权利要求书中公布了：1.一种基于大模型的多模态语音交互方法，其特征在于，包括以下步骤： 对用户输入的第一语言的语音数据进行语音识别，得到第一语言文本； 对所述第一语言文本进行语言翻译，将其翻译为第二语言文本；对所述第二语言文本进行语义分析，得到语义分析结果； 基于预设的大模型对所述语义分析结果进行多模态知识图谱构建，得到增强语义理解结果；其中，所述多模态知识图谱融合了与所述第二语言文本相关的多模态信息； 生成所述增强语义理解结果的对话策略； 基于所述对话策略进行语音合成，生成以所述第一语言表达的回复语音数据； 基于预设的大模型对所述语义分析结果进行多模态知识图谱构建，得到增强语义理解结果，包括： 基于所述大模型中的文本编码器对所述语义分析结果进行编码，得到文本向量； 针对与所述第二语言文本相关的多模态信息，利用相应的图像编码器、视频编码器分别对图像数据和视频数据进行特征提取与编码，得到图像特征向量和视频特征向量； 将所述图像特征向量和视频特征向量中融合至所述文本向量中，构建初始知识图谱；其中，所述文本向量为核心节点，将融合后的多模态特征作为周边节点和边，形成初始知识图谱； 基于语义关系模型对所述初始知识图谱进行优化，得到增强语义理解结果；其中，所述语义关系模型基于多模态语料库进行无监督学习，能够识别和补充知识图谱中的语义关系，通过不断迭代调整节点间的连接关系和语义标注，完善知识图谱的结构和内容。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人深圳市贝铂智能科技有限公司，其通讯地址为：518000 广东省深圳市龙华区大浪街道陶元社区元芬工业区F栋201；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。