申请/专利权人：云南师范大学

申请日：2021-11-29

公开（公告）日：2024-04-12

公开（公告）号：CN114022716B

主分类号：G06V10/764

分类号：G06V10/764;G06V10/82;G06V10/40;G06N3/0464;G06V10/80;G06N3/0455

优先权：

专利状态码：有效-授权

法律状态：2024.04.12#授权;2022.02.25#实质审查的生效;2022.02.08#公开

摘要：本发明涉及一种基于注意力机制与图关系网络的服饰属性预测方法，属于多任务图像分类领域。本发明利用双分支注意力网络模块与图关系网络来对服饰属性的特征进行学习和识别分类，利用卷积神经网络编码器对服饰图像信息进行特征初步提取，将提取的结果输入到双分支注意力模块中的任务注意力模型和空间注意力模型进行特征的进一步提取和学习、增强，再使用增强后的特征输入任务图上下文推理模块，模块会基于特征来建立模型，输出有用的相关信息。最后依赖于模块输出的相关信息，多任务服饰属性分类器会输出最终的分类结果。本发明能够有效的对服饰特征信息进行提取，实现服饰特征的提取、增强、预测和分类。

主权项：1.一种基于注意力机制与图关系网络的服饰属性预测方法，其特征在于：Step1：服饰特征提取阶段；Step1.1：向卷积神经网络编码器中输入具体的服饰图像，利用卷积神经编码器对服饰进行初步的特征提取，得到初步提取后的相关服饰特征；Step1.2：将Step1.1中得到的初步提取的服饰特征先输入到双分支注意力网络模块中的任务注意力网络模型中，利用任务注意力网络模型中的任务注意力核心单元对特征进行特征提取，得到多任务的服饰特征；Step1.3：将Step1.1中得到的初步提取的服饰特征与Step1.2中得到的多任务的服饰特征进行线性操作，得到线性操作后的中间特征信息；Step1.4：将Step1.1中得到的初步提取的服饰特征与Step1.3中的中间特征信息进行按元素相加操作，得到任务注意力单元特征结果；Step1.5：将Step1.1中得到的初步提取的服饰特征输入到双分支注意力网络模块中的空间注意力网络模型中，利用空间注意力网络模型中的空间注意力单元对特征进行特征提取，学习各个任务之间关于空间的重要性，得到具有空间性的服饰特征；Step1.6：将Step1.1中得到的初步提取的服饰特征与Step1.5得到的具有空间性的服饰特征进行矩阵相乘操作，得到矩阵相乘后的相关特征信息；Step1.7：将Step1.1中得到的初步提取的服饰特征与Step1.6中得到的矩阵相乘后的相关特征信息进行按元素相加操作，得到空间注意力单元特征结果；Step2：服饰特征学习与属性识别阶段；Step2.1：利用双分支注意力网络模块，将模块中的两个模型各自学习到的特征进行特征融合；Step2.2：将Step2.1中得到的融合后的服饰特征输入到一个具有两层结构的全连接层中，得到相关特征；Step2.3：将Step2.2中得到的相关特征重复输入到任务图上下文推理模块中三次，首先经过两个一维卷积层，然后再对两个卷积层的输出结果进行矩阵相乘，得到矩阵相乘后的特征；Step2.4：将Step2.3中矩阵相乘的特征结果输入softmax函数中进行计算，得到softmax函数计算结果；Step2.5：将Step2.2中全连接层输出的结果经过一个一维卷积层，将Step2.4得到的结果与这个卷积层的输出进行矩阵相乘操作，得到矩阵相乘后的相关特征；Step2.6：将Step2.2中全连接层的输出结果与Step2.5的相关特征进行按元素相加，得到按元素相加后的相关特征；Step2.7：使用Step2.6最终得到的特征结果，对服饰的特征属性进行预测和分类，得到预测分类后的结果。

全文数据：

权利要求：

百度查询： 云南师范大学 一种基于注意力机制与图关系网络的服饰属性预测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD