申请/专利权人：北京科技大学

申请日：2023-10-26

公开（公告）日：2024-02-09

公开（公告）号：CN117131214B

主分类号：G06F16/53

分类号：G06F16/53;G06N3/0464;G06N3/08;G06F16/55

优先权：

专利状态码：有效-授权

法律状态：2024.02.09#授权;2023.12.15#实质审查的生效;2023.11.28#公开

摘要：本发明提供一种基于特征分布对齐与聚类的零样本草图检索方法及系统，涉及图像检索技术领域，包括：获取带标签的基础图像数据构建数据集；对数据集进行训练集和测试集的划分；构建特征提取神经网络，对特征提取神经网络进行训练；将待检索图像输入至特征提取神经网络，获得待检索图像的图像特征；对图像特征进行后处理获得检索所需特征；输入用户手绘图像并检索。本发明所提出的上述技术能够有效缓解自然图像的多样性为草图检索带来的挑战，提升检索性能。提出的特征分布对齐损失函数能够以很小的开销减小自然图像和手绘图像两个域间的距离，从而使草图检索中的跨域距离度量更加准确，进一步提升检索性能。

主权项：1.一种基于特征分布对齐与聚类的零样本草图检索方法，其特征在于，方法步骤包括：S1、获取带标签的基础图像数据，根据所述基础图像数据构建数据集；对所述数据集进行训练集和测试集的划分；所述步骤S1中，获取带标签的基础图像数据，根据所述基础图像数据构建数据集；对所述数据集进行训练集和测试集的划分，包括：获取带标签的基础图像数据，根据所述基础图像数据构建数据集；其中，所述基础图像数据包括：自然图像和手绘图像；将所述数据集划分为训练集和测试集；其中，所述训练集和所述测试集中均包含自然图像和手绘图像；S2、构建特征提取神经网络，对所述特征提取神经网络进行初始化；所述步骤S2中，构建特征提取神经网络，对所述特征提取神经网络进行初始化，包括：构建特征提取神经网络；获取ImageNet预训练模型，通过所述ImageNet预训练模型对所述特征提取神经网络的权重进行初始化；S3、将所述训练集输入至所述特征提取神经网络，获得训练好的特征提取神经网络；述步骤S3中，将所述训练集输入至所述特征提取神经网络，获得训练好的特征提取神经网络，包括：将所述训练集输入至所述特征提取神经网络；通过分类损失对所述特征提取神经网络进行训练；通过知识蒸馏损失对所述特征提取神经网络进行训练；通过特征分布对齐损失对所述特征提取神经网络进行训练；获得训练好的特征提取神经网络；所述通过分类损失对所述特征提取神经网络进行训练，包括：分别获取自然图像域和手绘图像域的图像数据，通过下述公式（1）的交叉熵损失函数，引导所述特征提取神经网络将自然图像和手绘图像进行分类，将两个域的图像投影到同一特征空间中： （1）其中，为交叉熵损失函数；训练特征批次；为样本编号，为第个图片样本经神经网络提取得到的特征，为模型输出层分类器的权重；为模型输出层分类器的偏置参数；分类器权重与偏置参数的下标代表参数对应的类别编号，代表第个样本对应的标签类别编号；为训练类别集合；所述通过知识蒸馏损失对所述特征提取神经网络进行训练，包括：基于所述ImageNet预训练模型构建教师模型，通过知识蒸馏的方式，使所述特征提取神经网络保留在ImageNet预训练模型中学习到的通用特征；所述教师模型如下述公式（2）所示： （2）其中，所述教师模型的参数与所述初始化后的特征提取网络参数一致；为教师模型输出层分类器权重，下标代表参数对应的类别编号；为教师模型输出层偏置参数，下标代表参数对应的类别编号，,；为教师模型预测输出的分类标签,即ImageNet数据集中的1000个类别；为教师模型预测第个样本属于类别k的概率；所述通过特征分布对齐损失对所述特征提取神经网络进行训练，包括：使用分类损失和知识蒸馏损失训练后的特征提取网络，对一个训练批次的图像进行特征提取，得到特征，从正态分布中采样一个随机特征，特征分布对齐损失函数如下述公式（3）所示： （3）KL散度如下述公式（4）所示： （4）其中，代表第个特征通道的数值；代表与第个特征通道的数值；S4、获取测试集中的待检索图像，将所述待检索图像输入至所述训练好的特征提取神经网络进行特征提取，获得待检索图像的图像特征；S5、将所述图像特征进行子空间聚类、聚类簇原型提取和特征融合，获得检索所需特征；所述步骤S5中，将所述图像特征进行子空间聚类、聚类簇原型提取和特征融合，获得检索所需特征，包括：获取所述图像特征；将所述图像特征输入所述训练好的特征提取神经网络，通过所述训练好的特征提取神经网络的特征通道进行子空间划分，获得个子空间，所述图像特征的每个特征向量如下述公式（5）所示： （5）其中，表示属于第个子空间的子向量；在每个子空间中通过KMeans聚类方法对所述图像特征进行聚类，将所述图像特征的每个子向量分配给对应子空间中最接近的簇中心，使用簇中心代替原始特征，获得原型化特征；将所述原始特征和所述原型化特征进行加权融合，获得检索所需特征；S6、输入用户手绘图像至所述训练好的特征提取神经网络，获得所述用户手绘图像特征；将所述用户手绘图像特征与所述待检索图像的检索所需特征进行距离计算，获得计算结果，完成基于特征分布对齐与聚类的零样本草图检索。

全文数据：

权利要求：

百度查询： 北京科技大学 基于特征分布对齐与聚类的零样本草图检索方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD