申请/专利权人：哈尔滨工程大学

申请日：2021-11-03

公开（公告）日：2024-04-26

公开（公告）号：CN113988201B

主分类号：G06F18/2415

分类号：G06F18/2415;G06F18/243;G06F18/25;G06V10/44;G06N3/0455;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.26#授权;2022.02.18#实质审查的生效;2022.01.28#公开

摘要：一种基于神经网络的多模态情感分类方法，具体涉及一种基于多模态情感分类的神经网络模型的分类方法，本发明为了解决传统的情感分类方法大多针对单一类型的数据，并不能处理社交网络坏境下多模态的混合信息的问题，它包括提取待预测情感图片中的多模态数据；提取多模态数据中各单模态的原始向量；根据各模态的原始向量计算各模态的指导向量；获得各模态的重构特征向量；利用注意力机制对得到的各模态的重构特征向量进行加权平均，生成融合特征向量；将得到的融合特征向量输入至情感分类模型中，输出分类结果。本发明用于对社交网络坏境下多模态的混合信息进行情感分类，属于自然语言处领域。

主权项：1.一种基于神经网络的多模态情感分类方法，其特征在于：它包括以下步骤：S1、提取待预测情感图片中的多模态数据，多模态数据包括图片模态、图片对应的标签词模态和文本模态；S2、分别提取S1中图片模态、图片对应的标签词模态和文本模态的原始向量；S3、根据S2得到的各模态的原始向量分别计算各模态的指导向量；S4、分别对S3中得到的各模态的指导向量进行表征混合，获得各模态的重构特征向量；S5、利用注意力机制对S4中得到的各模态的重构特征向量进行加权平均，生成融合特征向量；S6、将S5中得到的融合特征向量输入至情感分类模型中，输出分类结果；所述S2中，分别提取S1中图片模态、图片对应的标签词模态和文本模态的原始向量的方法为：利用ResNet50V2模型提取图片模态的原始向量 Ii表示图片上任意一个区域，i＝1、2、…Nr；利用Bert模型提取图片对应的标签词模态的原始向量eafeaf＝Bertaf公式2af表示任意一个标签词，f＝1、2、…Na；利用Bert模型提取文本模态的原始向量rthrth＝Bertth公式3th表示任意一条文本信息，h＝1,2…L；所述S4包括：分别对S3中得到的各模态的指导向量进行表征混合，获得的各模态权重值总和的平均值 m表示任意一个模态；n表示除模态m外的其他模态； 表示任意一个模态的权重值；利用公式7获得各模态的重构特征向量vm，各模态的重构特征向量vm相等： 表示模态m下的第j个原始向量；Lm表示序列的长度；所述S5中，利用注意力机制对S4中得到的各模态的重构特征向量进行加权平均，生成融合特征向量vfused： 表示每个模态m下的注意力机制权重；v′m表示固定长度的重构特征向量；text表示文本模态；image表示图片模态；attr表示图片对应的标签词模态。

全文数据：

权利要求：

百度查询： 哈尔滨工程大学 一种基于神经网络的多模态情感分类方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD