申请/专利权人：云南大学;云南览易网络科技有限责任公司

申请日：2024-02-21

公开（公告）日：2024-04-12

公开（公告）号：CN117876698A

主分类号：G06V10/40

分类号：G06V10/40;G06V10/56;G06V10/74;G06V10/764;G06V10/774

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.30#实质审查的生效;2024.04.12#公开

摘要：本发明涉及图像处理技术领域，且基于注意力提示的视觉语言模型图像特征提取方法，使用预训练CLIP网络提取图像特征，构建图像类名嵌入和可训练的提示向量，并通过CLIP网络提取文本特征，使用多层感知机处理图像特征，将图像特征、图像类名嵌入、可训练提示向量通过交叉注意力进行提示优化，使用余弦相似度方法计算提示向量特征和图像特征之间的相似度，计算图像分类概率。该基于注意力提示的视觉语言模型图像特征提取方法通过设置了可训练的提示组来代替固定英文句子的提示模板，这提高了模型正常图像分类的能力，并设置了交叉注意力网络来根据视觉模态信息和具体类别信息进行信息交互，提高了模型在少样本图像分类任务下的分类能力。

主权项：1.基于注意力提示的视觉语言模型图像特征提取方法，其特征在于：包括以下步骤：S1、使用预训练CLIP网络提取图像特征；S2、构建图像类名嵌入和可训练的提示向量，并通过CLIP网络提取文本特征；S3、使用多层感知机处理图像特征；S4、将图像特征、图像类名嵌入、可训练提示向量通过交叉注意力进行提示优化；S5、使用余弦相似度方法计算提示向量特征和图像特征之间的相似度，计算图像分类概率。

全文数据：

权利要求：

百度查询： 云南大学;云南览易网络科技有限责任公司 基于注意力提示的视觉语言模型图像特征提取方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD