申请/专利权人：苏州大学

申请日：2023-05-16

公开（公告）日：2023-08-11

公开（公告）号：CN116258946B

主分类号：G06V10/98

分类号：G06V10/98;G06V10/44;G06N5/04;G06V10/80;G06V10/82;G06N3/0499;G06N3/084

优先权：

专利状态码：有效-授权

法律状态：2023.08.11#授权;2023.06.30#实质审查的生效;2023.06.13#公开

摘要：本发明涉及一种基于前提的多粒度跨模态推理方法及装置，方法包括：对文本前提和文本选项进行文本拼接后作为文本输入，原始图像作为图像输入；提取图像和文本对齐后的粗粒度多模态特征和细粒度多模态特征；融合粗粒度多模态特征和细粒度多模态特征，得到融合的多粒度特征；基于融合的多粒度特征得到最终的预测结果，使用粗粒度特征提取模块和细粒度特征提取模块分别提取图像和文本对齐后的粗粒度多模态特征和细粒度多模态特征。本发明能够充分利用图像模态和文本前提之间的多粒度关系，通过粗细两种粒度的对齐，模型的判别能力大大提升，显著提高了预测结果的精确性。

主权项：1.一种基于前提的多粒度跨模态推理方法，其特征在于：包括：对文本前提和文本选项进行文本拼接后作为文本输入，原始图像作为图像输入；提取所述图像和所述文本对齐后的粗粒度多模态特征和细粒度多模态特征；融合所述粗粒度多模态特征和细粒度多模态特征，得到融合的多粒度特征；基于融合的多粒度特征得到最终的预测结果；其中，使用粗粒度特征提取模块和细粒度特征提取模块分别提取所述图像和所述文本对齐后的粗粒度多模态特征和细粒度多模态特征；所述粗粒度特征提取模块包括图像编码器、文本编码器和多模态编码器，所述文本编码器包括6层文本转换器，所述图像编码器包括12层视觉转换器，所述多模态编码器包括6层多模态转换器；使用粗粒度特征提取模块提取所述图像和所述文本对齐后的粗粒度多模态特征的方法，包括：通过图像编码器和文本编码器分别提取整体文本特征和整体视觉特征，并通过多模态编码器将整体视觉特征和整体文本特征对齐，输出粗粒度多模态特征；所述细粒度特征提取模块包括目标检测器和多模态融合器，所述目标检测器包括快速区域卷积神经网络，所述多模态融合器包括12层转换器；使用细粒度特征提取模块提取所述图像和所述文本对齐后的细粒度多模态特征的方法，包括：通过目标检测器提取所述图像中的局部实体特征，并将提取的局部实体特征和文本输入共同作为多模态融合器的输入，输出细粒度多模态特征。

全文数据：

权利要求：

百度查询： 苏州大学 基于前提的多粒度跨模态推理方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD