申请/专利权人：三维通信股份有限公司

申请日：2020-09-30

公开（公告）日：2021-01-08

公开（公告）号：CN112199375A

主分类号：G06F16/22(20190101)

分类号：G06F16/22(20190101);G06F16/2455(20190101);G06K9/62(20060101);G06N3/04(20060101)

优先权：

专利状态码：在审-实质审查的生效

法律状态：2021.01.26#实质审查的生效;2021.01.08#公开

摘要：本发明实施例提供了一种跨模态的数据处理方法、装置、存储介质以及电子装置，该方法包括：获取第一模态的查询数据，分别确定第一模态的查询数据与第二模态的检索数据集合中每个第二模态的检索数据之间的目标参数，以得到多个目标参数，根据多个目标参数将一个或多个第二模态的检索数据确定为与第一模态的查询数据对应的目标数据，利用对象特征数据作为桥梁，将第一模态和第二模态有效地关联起来，进而可以缓解不同模态之间的语义鸿沟，能够解决相关技术中存在的难以有效地实现跨模态的数据处理，用于进行跨模态数据处理的方法的性能较差的技术问题，达到提高跨模态数据处理的效率，优化跨模态的数据处理性能的技术效果。

主权项：1.一种跨模态的数据处理方法，其特征在于，包括：获取第一模态的查询数据；分别确定所述第一模态的查询数据与第二模态的检索数据集合中每个第二模态的检索数据之间的目标参数，以得到多个目标参数，其中，所述第二模态的检索数据集合中包含多个所述第二模态的检索数据，所述第二模态的检索数据为将第二模态的原始数据输入目标神经网络模型后得到的数据，所述目标参数用于指示所述第一模态的查询数据与所述第二模态的检索数据的相似性，所述目标神经网络模型是使用一组样本对对初始神经网络模型进行训练得到的神经网络模型，所述目标神经网络模型包括基于初始注意力模型训练得到第一模态注意力网络模型和第二模态注意力网络模型，以及用于保持第一模态和第二模态间数据一致性的模态一致性模型，所述一组样本对中每个样本对包括样本数据以及对象特征数据，所述对象特征数据为通过图像对象检测方式得到的对象特征数据；根据所述多个目标参数将一个或多个所述第二模态的检索数据确定为与所述第一模态的查询数据对应的目标数据。

全文数据：

权利要求：

百度查询： 三维通信股份有限公司 跨模态的数据处理方法、装置、存储介质以及电子装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD