申请/专利权人：西北大学

申请日：2021-07-28

公开（公告）日：2024-02-13

公开（公告）号：CN113610128B

主分类号：G06F16/58

分类号：G06F16/58;G06V10/74;G06V10/764;G06V10/40;G06V10/82;G06N3/0464;G06N3/0455;G06N3/096;G06F40/211;G06F16/215;G06F18/25

优先权：

专利状态码：有效-授权

法律状态：2024.02.13#授权;2021.11.23#实质审查的生效;2021.11.05#公开

摘要：本发明属于图片美学质量评价技术领域，公开了一种基于美学属性检索的图片美学描述建模、描述方法及系统。本发明使用检索网络给出美学描述，并得到美学分数，这是检索网络首次应用于图像美学评价领域。利用迁移学习提取图像特征和文本特征，将它们映射到相同的特征空间，然后优化NLLLoss，使具有对应关系的图像和文本向量点积得到的分数最大化。实验结果表明，与生成模型相比，该网络生成的美学描述具有更好的多样性。

主权项：1.一种基于美学属性检索的图片美学描述建模方法，其特征在于，包括如下步骤：步骤1：获取图片数据集，对图片数据集进行数据清洗和预处理，获得每张图片的图片ID、图片美学属性和图片评论信息；步骤2：建立检索网络，所述检索网络包括特征提取单元、美学评论池、特征融合单元、相似度评分单元和美学评分单元；所述的特征提取单元用于分别对图片数据集中所有图片的图片ID、所有图片的图片美学属性和所有图片的图片评论信息进行特征提取，获得每张图片的图片特征、美学属性特征和文本特征；所述的美学评论池用于存储所有图片的文本特征；所述的特征融合单元用于将图片特征、美学属性特征和文本特征分别转化为图片特征向量、美学属性特征向量和文本特征向量，并将图片特征向量和美学属性特征向量相加，获得上下文特征向量；所述的特征融合单元的处理如下子步骤：步骤d1：将图片特征FI通过两层全连接层转化为向量I：I＝WI⊙FI+bI，WI为FI的权重矩阵，bI为FI的偏置矩阵；步骤d2：将图片美学属性特征FA通过线性层转化为向量A：A＝WA⊙FA+bA，WA为FA的权重矩阵，bA为FA的偏置矩阵；步骤d3：将文本特征FT通过两层全连接层，转化为向量T：T＝WT⊙FT+bT，WT为FT的权重矩阵，bT为FT的偏置矩阵；步骤d4：将向量A和向量I相加，获得上下文特征向量C；所述的相似度评分单元用于将上下文特征向量与文本特征向量进行点乘，获得相似性得分矩阵；所述的美学评分单元用于通过上下文特征向量计算美学预测概率分布；步骤3：将图片数据集中每张图片的图片ID、图片美学属性和图片评论信息作为训练集，对检索网络进行训练，其中，对相似度评分单元采用NLLLoss损失函数进行训练，对美学评分单元采用EMDLoss损失函数进行训练，将训练好的检索网络作为美学描述模型；所述的损失函数NLLLoss的表达式如式1所示： 其中，N为批处理batch大小；所述的损失函数EMDLoss的表达式如式2所示： 其中，p为预测分布，q为真实分布，CDF为累积概率分布函数。

全文数据：

权利要求：

百度查询： 西北大学 基于美学属性检索的图片美学描述建模、描述方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD