申请/专利权人：电子科技大学

申请日：2022-05-24

公开（公告）日：2024-04-26

公开（公告）号：CN114998653B

主分类号：G06V10/764

分类号：G06V10/764;G06V10/77;G06V10/80;G06V20/13

优先权：

专利状态码：有效-授权

法律状态：2024.04.26#授权;2022.09.20#实质审查的生效;2022.09.02#公开

摘要：本发明属于图像分类技术领域，具体涉及一种基于ViT网络的小样本遥感图像分类方法。本发明基于ViT的小样本SAR图像分类方法将多模态特征融合机制引入到Transformers编码器中，通过将图像特征进行融合，解决了因为数据集量小而导致模型获取信息量变少的情况。此外，由于序列模型难以对层次信息进行有效表达，因此将多头自注意力机制引入到Transformers编码器中，在可以并行计算的同时，还提高了对长距离依赖关系的捕捉能力。采用本发明技术方案后，利用多模态特征融合技术以及多头自注意力机制解决ViT网络模型参数冗杂且训练时间过长难以落地的问题。

主权项：1.一种基于ViT网络的小样本遥感图像分类方法，其特征在于，包括以下步骤：步骤1：采用用于地标识别和图像恢复实验的数据集作为训练集，并对训练集中的图像数据进行预处理；步骤2：将经过预处理的图像数据输入到Transformers编码器中的多模态特征融合机制，并在多模态特征融合中将步骤1中经过预处理的图像数据通过多层感知机进行处理，再将多层感知机处理后的图像数据进行concat操作，concat操作完成后，对图像数据进行一次PCA降维处理，使所有的图像数据的维度保持一致；步骤3：将经过步骤2处理的图像数据送入多头自注意机制处理，得到特征信息；步骤4：基于步骤3中的特征信息得到图像数据的分类结果，输出图像数据的分类结果；所述多模态特征融合机制将图像嵌入图像块嵌入分别输入到不同的多层感知机中，再对图像块嵌入进行特征融合操作；所述特征融合操作为将下层输入的三个向量特征进行concat操作，再将三个向量通过多层感知机映射成同一个维度相加再还原，得到还原后的三个向量维度；所述步骤3中将还原后的三个向量维度包含在并行的自注意力层中，每个向量经过多层感知机模块输入到自注意力层，再通过concat操作将三个向量连接在一起，经过最后一层多层感知机模块的网络得到特征信息。

全文数据：

权利要求：

百度查询： 电子科技大学 一种基于ViT网络的小样本遥感图像分类方法、介质及设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD