申请/专利权人：北京尚博信科技有限公司

申请日：2024-03-28

公开（公告）日：2024-05-03

公开（公告）号：CN117972359A

主分类号：G06F18/20

分类号：G06F18/20;G06F18/23;G06F18/22;G06F18/25;G06V10/762;G06V10/74;G06V10/80;G06F16/35;G06F40/30

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.21#实质审查的生效;2024.05.03#公开

摘要：本申请涉及数据处理技术领域，提出了基于多模态数据的智能数据分析方法，包括：基于词向量、目标区域构成的无向图获取聚类结果；基于目标区域对应的类别标签确定单模态数据描述子；基于元素在投影矩阵中投影结果之间差异确定公共语义基相似度；基于元素间的上下文语义信息相似度、公共语义基相似度确定双模语义可拓展重叠度；基于双模语义可拓展重叠度确定模态上下文融合性；根据词语与不同目标区域语义信息的可融合性确定融合筛选权重；基于融合筛选权重确定融合分割上限值；采用多模态融合模型基于融合分割上限值获取数据融合结果。本申请通过降低文本数据与图像数据语义上下文信息中语义密度不一致的影响，提高多模态数据融合的效果。

主权项：1.基于多模态数据的智能数据分析方法，其特征在于，该方法包括以下步骤：分别从不同数据源获取文本数据、图像数据；采用聚类算法分别基于词语的词向量、目标区域构成的无向图获取词向量、目标区域的聚类结果；基于每个目标区域在识别模型中对应的类别标签确定每个目标区域的单模态数据描述子；基于聚类结果中每个聚类簇内不同元素在每个聚类簇的语义非负矩阵分解所得投影矩阵中投影结果之间差异确定每个元素的公共语义基相似度；基于两个两种模态下聚类簇中元素之间的上下文语义信息相似度以及元素之间的公共语义基相似度确定每个词语与每个目标区域之间的双模语义可拓展重叠度；基于两个两种模态下聚类簇中元素在不同模态下的一致性矩阵上投影结果的差异性以及元素之间对应的双模语义可拓展重叠度确定每个词语与每个目标区域之间的模态上下文融合性；根据每个词语与所有目标区域聚类簇中不同目标区域之间的模态上下文融合性以及语义信息的可融合性确定每个词语的融合筛选权重；基于每个文本数据序列中每个词语的融合筛选权重以及每个词语的语义共基偏差稳定度确定每个文本数据序列的融合分割上限值；采用多模态融合模型基于每个文本数据序列的融合分割上限值获取每个文本数据序列对应的数据融合结果。

全文数据：

权利要求：

百度查询： 北京尚博信科技有限公司 基于多模态数据的智能数据分析方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD