申请/专利权人：中日友好医院(中日友好临床医学研究所)

申请日：2024-02-01

公开（公告）日：2024-04-19

公开（公告）号：CN117911785A

主分类号：G06V10/764

分类号：G06V10/764;G06V10/72;G06V10/74;G06V10/77;G06V10/774;G06V10/80;G06V10/82

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.07#实质审查的生效;2024.04.19#公开

摘要：基于缺失模态的异构多模态图像分类方法及装置，通过挖掘类别原型样本与训练样本之间的特征相似性，有效地建模了目标样本与原型样本之间的相关性；此外提出了一种基于原型的特征补全模块，并通过对原型样本在隐空间中进行组合从而实现缺失模态补全，最后通过新颖的自适应交叉模态注意融合模块进一步有效地融合了来自异构模态数据的特征。本发明方法的优势在于，通过计算与原型样本的特征相似性并构建相似性矩阵从而对缺失模态的特征进行补全，解决了多模态分类任务模态严重缺失的问题，同时也充分利用了多种模态特征相关性信息，并按照特征的重要性动态分配权重，进一步促进了特征的融合，提高了分类准确率。

主权项：1.基于缺失模态的异构多模态图像分类方法，其特征在于：其包括以下步骤：步骤S1、对多模态图像数据进行样本划分，得到原型样本和目标样本；步骤S2、对多种模态的训练图像分别进行预处理操作，获得预处理后的训练图像；步骤S3、构建多个特征提取网络，将训练图像的多种模态分别输入网络进行特征提取；步骤S4、对于原型样本执行多模态的特征学习，将原型样本数据转换为特征空间中针对不同模态的隐表示；步骤S5、在得到步骤S3、S4的特征的隐表示后，采用相似性度量方法计算不同样本之间的特征的相似性，并最终得到训练样本与原型样本的总体相似度矩阵；步骤S6、根据S5中得到的相似性矩阵以及S3、S4中得到的隐表示，构建相似性图以建模不同样本之间的关系，并通过执行图卷积神经网络获得增强后的特征；步骤S7、利用步骤S6所计算出的增强特征，根据原型样本与目标样本的相似性实现样本中缺失模态的特征补全，对样本中模态完整的特征进行增强；步骤S8、利用步骤S7中所得到的补全后的不同模态特征和一个跨模态交互模块，来加强和改善不同模态之间隐表示的交互；步骤S9、在得到步骤S8中跨模态交互后的特征表示后，利用一个自适应注意力多模态融合模块，并根据不同模态重要性的不同为每个增强特征表示分配动态权重，并得到融合后的特征；步骤S10、最后通过应用softmax激活功能，将特征输入分类器，利用训练样本中的类别标签监督分类器预测结果，训练模型；步骤S11、将待分类的多模态数据输入训练好的分类模型中，得到最终的输出分类结果。

全文数据：

权利要求：

百度查询： 中日友好医院(中日友好临床医学研究所) 基于缺失模态的异构多模态图像分类方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD