申请/专利权人：杭州电子科技大学

申请日：2021-11-23

公开（公告）日：2024-04-05

公开（公告）号：CN114140645B

主分类号：G06V10/764

分类号：G06V10/764;G06V10/774;G06N3/0895;G06N3/0442

优先权：

专利状态码：有效-授权

法律状态：2024.04.05#授权;2022.03.22#实质审查的生效;2022.03.04#公开

摘要：本发明公开了一种基于改进自监督特征学习的摄影图像美学风格分类方法，首先对AVA美学数据集进行预处理；然后建立改进自监督特征学习神经网络，用二分类的AVA美学数据集对改进自监督特征学习神经网络进行预训练；再提取出预训练完成的改进自监督特征学习神经网络的特征提取网络部分，并连接一个SoftMax分类器，建立分类网络模型；最后采用LSTM神经网络结构输出具体的数据增强策略，得到分类精度最佳的摄影图像美学分类模型。本发明采用改进自监督特征学习模型进行预训练，学习到更好的美学特征，从数据集中寻找最佳数据增强策略，得到最佳的摄影图像美学分类模型。

主权项：1.一种基于改进自监督特征学习的摄影图像美学风格分类方法，其特征在于，步骤如下：步骤1：对AVA美学数据集进行预处理；步骤2：建立改进自监督特征学习神经网络；构建由特征提取网络、投影网络、改进自监督对比学习损失函数构成的神经网络模型；步骤3：用二分类的AVA美学数据集对改进自监督特征学习神经网络进行预训练；步骤4：提取出步骤3中预训练完成的改进自监督特征学习神经网络的特征提取网络部分，并连接一个SoftMax分类器，建立分类网络模型；步骤5：摄影图像美学分类数据集是一个标注摄影属性的数据集，一共有14个摄影属性，采用LSTM神经网络结构输出具体的数据增强策略，并应用于摄影图像美学分类数据集的训练集部分，再训练步骤4中的分类网络模型，以该模型在摄影图像美学分类数据集的验证集中达到的分类精度作为奖励信号更新LSTM神经网络的参数，直到搜索到最佳的数据增强策略，同时得到分类精度最佳的摄影图像美学分类模型；步骤2具体方法如下：所述的改进自监督特征学习神经网络由特征提取网络、投影网络、改进自监督对比学习损失函数构成；具体过程如下：2-1.建立特征提取网络；针对每个输入样本x，将ResNet50作为特征提取网络得到表征向量进行归一化到超球面；2-2.建立投影网络；获得表征向量r后，通过投影网络获得向量投影网络为一个多层感知器网络，包括一个2048维度的隐层和一个DP＝128的输出层；将向量z再次归一化到超球面；2-3.建立改进的自监督对比学习损失函数；对于给定容量为N的随机采样的数据标签对{xk,yk}k＝1…N进行数据增强，获得数据容量为2N的数据标签对用于训练，其中和是xk经过两次不同的数据增强生成的，且标签在同一批次训练数据中，任意选取索引的数据作为基准数据，则ji是与索引i的数据来源于同一个源数据样本进行数据增强得到的另一个数据索引，Ai表示其余数据的集合；自监督对比学习损失函数公式如下： 其中，符号·表示内积运算，表示温度系数zi表示数据经过特征提取网络Enc与投影网络Proj得到的特征向量，表示该特征向量的维度；则zji与za表示索引为ji与索引为a∈Ai的数据经过特征提取网络与投影网络得到的特征向量；在对比学习中，公式1不能覆盖到一种情况，即由于数据有标签的存在，属于同一类别的不止一个数据样本；为了应对这种情况，对公式1进行改进，得到改进的自监督对比学习损失函数如下： 其中，表示所有与索引i的数据样本属于同一标签的正样本索引集合，|Pi|表示这个集合中的数据样本个数。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 基于改进自监督特征学习的摄影图像美学风格分类方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD