申请/专利权人：江西师范大学

申请日：2022-04-18

公开（公告）日：2024-04-09

公开（公告）号：CN114937182B

主分类号：G06V10/774

分类号：G06V10/774;G06V10/82;G06N3/0464;G06V10/764

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2022.09.09#实质审查的生效;2022.08.23#公开

摘要：本申请涉及一种基于情感轮和卷积神经网络的图像情感分布预测方法，它包括如下步骤：选取图像数据集并将图像数据集划分为测试集和训练集；构建图像情感分布学习模型；将训练集的图片输入模型进行训练；将测试集输入至训练后的模型，得到情感分布预测输出，用于情感分布预测任务和情绪分类任务；采用十折交叉验证方式重复十次上述过程，并对每次训练的模型性能取均值，作为模型的最终性能。本发明将Mikel's情感轮心理学先验知识引入情感分布学习，基于Mikel's情感轮计算成对情绪之间的相关性，采用多任务卷积神经网络以端到端的方式进行训练，有效利用情绪之间的相关性，同时优化情感分布预测与情绪分类任务。

主权项：1.一种基于情感轮和卷积神经网络的图像情感分布预测方法，其特征在于，包括如下步骤：S1：选取图像数据集，将图像数据集中的图片按照情绪种类进行分类，将每种情绪的图片随机均分成十份，再从每种情绪的十份数据中随机抽取一份数据，将从各种情绪中随机抽取出的一份数据合并作为测试集使用一次，将其余数据合并作为训练集；S2：构建图像情感分布学习模型，所述图像情感分布学习模型包括图像特征提取层、情感轮先验知识层和多任务损失层；图像特征提取层用于提取图片中的特征信息，并将图片中的特征信息映射到目标情绪；情感轮先验知识层基于Mikel's情感轮计算成对情绪间的相关程度，将图像特征提取层的输出转换为情感分布；多任务损失层用于实现情绪分类和情感分布预测两个任务；S3：对图像情感分布学习模型的参数和超参数进行初始化设置，随后将训练集原始图片随机裁剪至224*224*3的形状并进行标准化，将训练集随机均分为若干个批量，每次输入一个批量的样本图片对图像情感分布学习模型的网络参数进行训练，直至每个批量的样本图片都已参与模型训练；将样本图片输入至图像特征提取层，得到图像信息表征向量其中C为目标情绪的数量，vC为图像在第C种目标情绪的表达程度；S4：将图像信息表征向量输入情感轮先验知识层，根据每种情绪在Mikel's情感轮上的位置关系，为每个情绪μ生成一个先验情感分布其中μ∈{1,2,…,C}，C为目标情绪的数量，代表情绪j在先验情感分布fμ上的表达程度；并使用先验情感分布fμ对图像特征提取层输出的图像信息表征向量进行加权计算，得到包含心理学先验知识的情感分布向量情感分布向量的具体表达式如下： S5：将情感分布向量输入多任务损失层，采用交叉熵损失函数和KL损失函数分别度量情绪分类任务和情感分布预测任务；通过加权的方式，将两种损失函数综合起来，作为多任务损失层的损失函数，对情绪分类和情感分布预测任务同时进行优化，多任务损失层的损失函数L具体表达式如下：L＝1-λLclsx,y+λLsdlx,d其中，Lcls表示情绪分类损失函数，即交叉熵损失函数；Lsdl表示情感分布预测损失函数，即KL损失函数；x为图片，y为图片对应的情绪标签，d为图片对应的真实情感分布；λ为多任务损失函数中情感分布预测损失函数的权重系数；采用随机梯度下降SGD来最小化损失函数L，完成对图像情感分布学习模型网络参数的训练；S6：将测试集中的原始图片随机裁剪至224*224*3的形状并进行标准化，输入至训练后的图像情感分布学习模型，得到情感分布预测输出将情感分布预测输出用于情感分布预测任务，取情感分布预测输出中最大值对应的情绪作为图片的主导情绪用于情绪分类任务；S7：采用十折交叉验证方式从S1中重新选取测试集和训练集，并重复S3～S6十次，使图像数据集中的每张图片都作为测试集被使用一次；分别对十次训练过程中图像情感分布学习模型在情感分布预测任务和情绪分类任务上的性能取均值，作为图像情感分布学习模型在情感分布预测任务和情绪分类任务上的最终性能。

全文数据：

权利要求：

百度查询： 江西师范大学 一种基于情感轮和卷积神经网络的图像情感分布预测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD