申请/专利权人：暨南大学

申请日：2024-03-07

公开（公告）日：2024-05-10

公开（公告）号：CN118013372A

主分类号：G06F18/241

分类号：G06F18/241;G06N3/0455;G06F18/213;G06F16/35;G06V10/40;G06V10/764;G06V10/82;G06F18/22;G06F18/25;G06N3/047;G06F18/2415;G06N3/0895

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.28#实质审查的生效;2024.05.10#公开

摘要：本发明公开了一种基于多模态数据异构Transformer资产识别方法、系统及设备，该方法包括下述步骤：采集资产各个模态的信息，包括文本信息和图像信息；构建ALBERT模型、ViT模型和CLIP模型；基于ALBERT模型进行文本信息特征提取；基于ViT模型进行图像信息特征提取；基于CLIP模型进行图像文本匹配信息特征提取；对不同模态的信息进行不同通道的资产类型识别，输出不同通道的分类信息，基于CLIP模型对资产缺失信息进行生成；将不同通道的分类信息与CLIP模型得到的图像信息与文本信息的匹配度进行判别融合，输出最终的资产类别信息。本发明能从多个模态进行综合判断，提高资产识别的准确率。

主权项：1.一种基于多模态数据异构Transformer资产识别方法，其特征在于，包括下述步骤：采集资产各个模态的信息，包括文本信息和图像信息；构建ALBERT模型、ViT模型和CLIP模型；基于ALBERT模型进行文本信息特征提取，通过多层的Transformer编码器学习文本序列中的上下文关系，将ALBERT模型的输出连接到全连接层并输出最终的分类信息；基于ViT模型进行图像信息特征提取，将图像信息划分成令牌，经过Transformer编码器对图像信息划分后的内容信息进行捕捉学习，经过分类头将图像特征映射成类别信息；基于CLIP模型进行图像文本匹配信息特征提取，构造图像及与其匹配的文字描述样本对，将图像和文本信息进行编码后得到图像和文本的特征表示向量，图像和文本的特征表示向量线性投影到多模态空间中，计算两种模态的相似度，得到图像信息与文本信息的匹配度；对不同模态的信息进行不同通道的资产类型识别，输出不同通道的分类信息，基于CLIP模型对资产缺失信息进行生成；将不同通道的分类信息与CLIP模型得到的图像信息与文本信息的匹配度进行判别融合，输出最终的资产类别信息。

全文数据：

权利要求：

百度查询： 暨南大学 基于多模态数据异构Transformer资产识别方法、系统及设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD