申请/专利权人：中国海洋大学

申请日：2023-12-21

公开（公告）日：2024-03-15

公开（公告）号：CN117435764B

主分类号：G06F16/583

分类号：G06F16/583;G06F16/532;G06F16/383;G06F16/332;G06V20/10;G06V10/30;G06V10/36;G06V10/44;G06V10/46;G06V10/52;G06V10/80

优先权：

专利状态码：有效-授权

法律状态：2024.03.15#授权;2024.02.09#实质审查的生效;2024.01.23#公开

摘要：本发明属于图像处理技术领域，特别涉及基于频域空间域双重感知的海洋遥感图文检索方法及系统，所述方法包括提取图像文本特征；基于频域空间域双重感知建模特征：在频域中抽取图像显著性特征，在空间域中抽取图像和文本显著性特征；最后将频域和空间域显著性融合，生成最终的有效图像特征。通过本发明实现跨模态海洋遥感图文检索的可靠性。

主权项：1.基于频域空间域双重感知的海洋遥感图文检索方法，其特征在于，包括以下步骤：步骤1、提取图像文本特征：对于输入的图像数据I和文本数据T，提取图像特征V和文本特征U；步骤2、基于频域空间域双重感知建模特征，具体如下：步骤21、在频域中抽取图像显著性特征：对图像特征V分两通道分别提取显著性特征并融合生成图像频域显著性特征Vf；将生成的频域特征Vf与图像特征V进行差异计算，获得频域标识掩码bvf；频域标识掩码bvf通过以下方法获得：生成的图像频域显著性特征Vf与图像特征V进行差异计算，生成差异值γ，公式如下： 其中，d为特征Vf和V的通道数，D为通道总数；若γ值小于指定值ε，则认为特征变化小，即未被过滤掉，也就是有效特征，此时将bvf中的值置为1，否则为0； 步骤22、在空间域中抽取图像和文本显著性特征：首先获取图像和文本的边界和通过评估机制判断数据的有效区域，并生成图像和文本的可信度掩码avs和aus，再经过二值筛选获得最终的图像和文本的空间标识掩码bvs和bus，若掩码中的数值大于0，则判断对应的区域表示为有效特征，否则为噪声；然后将空间标识掩码bvs和bus分别与图像特征V和文本特征U结合，最终生成图像空间域显著性特征VS和文本空间域显著性特征US；具体来说，首先利用采样策略以及分布最大化机制获取图像和文本的边界和然后在此基础上，通过图像和文本的评估机制和判断数据的有效区域，并生成可信度掩码avs和aus，以图像评估机制进行说明： Sij＝V×UT9；其中，i和j分别是矩阵的行和列的序号，m为矩阵的总列数，Sij是图像特征V和文本特征U之间的相似度，×表示矩阵相乘，T为转置操作；Si表示取Sij的所有列的最大值；avs在经过二值筛选sign+获得最终的空间标识掩码bvs，若掩码中的数值大于0，则判断对应的区域表示为有效特征，否则为噪声；bvs＝sign+avs10；同样地，文本的空间标识掩码bus获取方式与图像的同理；步骤23、频域和空间域显著性融合：利用标识掩码bvf和bvs将频域和空间域图像特征融合，若bvf＝bvs，则直接将图像频域显著性特征Vf和图像空间域显著性特征VS相加，生成最终的有效图像特征VO；若bvf≠bvs，则进行可信度评估，选择频域和空间域中可信度高的特征作为最终的有效图像特征VO。

全文数据：

权利要求：

百度查询： 中国海洋大学 基于频域空间域双重感知的海洋遥感图文检索方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD