申请/专利权人：西安电子科技大学

申请日：2023-11-23

公开（公告）日：2024-02-27

公开（公告）号：CN117609530A

主分类号：G06F16/532

分类号：G06F16/532;G06F18/25;G06N3/045;G06N3/09

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.03.15#实质审查的生效;2024.02.27#公开

摘要：本发明公开了一种基于空间环境参数跨模态的极光亚暴图像检索方法，可用于通过空间环境参数检索极光亚暴图像。本发明的实施步骤为：生成由空间环境参数和极光图像组成的亚暴事件训练集；构建具有交叉注意力机制的深度监督跨模态检索网络；训练跨模态检索网络；使用空间环境参数检索极光亚暴图像。本发明使用多头交叉注意力机制和深度监督学习算法训练网络，可以避免全局特征的冗余信息带来的干扰，提取更准确的图像特征和参数特征。本发明使用空间物理参数信息对极光亚暴图像进行检索，可以调整不同的空间物理参数组合来检索亚暴事件，提高检索效率。

主权项：1.一种基于空间环境参数跨模态的极光亚暴图像检索方法，其特征在于，利用注意力机制和深度监督学习将图像特征和参数特征进行跨模态的特征提取和融合，利用空间环境参数检索极光亚暴图像；该检索方法的步骤包括如下：步骤1，生成由空间环境参数和极光图像组成的亚暴事件训练集：选择至少2000张北极LBHL波段的紫外极光图像，其中含有亚暴事件的图像至少1000张；选择与每张紫外极光图像对应时间的空间环境参数；对所选图像和参数分别进行预处理，将预处理后的每张图像与其对应的参数组成一个样本对，并对每个样本对标记类别标签；将所有样本对及其对应的类别标签组成训练集；所述的预处理是将每张图像以70MLAT,21MLT坐标为中心裁剪为224×224大小，并将裁剪后的每张图像均分成36个区域块，得到预处理后的图像数据；将每张图像对应的空间参数进行分组，将其中行星际磁场和太阳风参数延迟14min，得到预处理后的参数数据；步骤2，构建由二维图像特征提取子网络与一维参数特征提取子网络并联后，再与跨模态特征融合子网络和深度监督学习子网络依次串联组成的基于交叉注意力机制的深度监督跨模态检索网络；步骤3，训练具有交叉注意力机制深度监督的跨模态检索网络：按批次将训练集输入到跨模态检索网络中，计算网络的输出与样本的类别标签之间的判别损失值，将判别损失值、图像特征和参数特征的相似性识别损失值、模态不变性损失值进行加权求和，得到跨模态检索网络的总损失值，通过反向传播算法，迭代更新网络的参数，直到网络的总损失值收敛为止，得到训练好的跨模态检索网络；步骤4，利用空间环境参数检索极光亚暴图像：采用与步骤1相同的方法，对待检索的图像和对应的空间环境参数进行预处理，将预处理后的待检索图像和参数输入到训练好的跨模态检索网络中，计算每一张图像和每对参数的特征相似度，选择每对参数与其相似度最高的图像作为检索极光亚暴图像的结果。

全文数据：

权利要求：

百度查询： 西安电子科技大学 基于空间环境参数跨模态的极光亚暴图像检索方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD