买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉福州大学申请的专利融合多粒度视觉与文本特征的多模态情感分析方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116776287B 。

龙图腾网通过国家知识产权局官网在2025-06-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310794745.9，技术领域涉及：G06F18/25；该发明授权融合多粒度视觉与文本特征的多模态情感分析方法及系统是由陈羽中;石丽湲;陈子阳设计研发完成，并于2023-06-30向国家知识产权局提交的专利申请。

本融合多粒度视觉与文本特征的多模态情感分析方法及系统在说明书摘要公布了：本发明涉及一种融合多粒度视觉与文本特征的多模态情感分析方法及系统，该方法包括：A、初始化图节点文本表示并提取图片特征表示；B、依据句法依赖关系、成分树结构确定图注意力网络中边关系邻接矩阵；使用多模态注意力机制分别获得单词级、短语级、句子级的联合文本视觉特征表示，最终获得多粒度文本‑视觉融合特征表示；根据多层图注意力网络输出的文本‑视觉联合特征表示预测方面词位置并形成方面词表示；依据方面词位置使用ANP解析器解析出最相关的ANP对，并依据方面词在句法依赖关系中的邻接关系构建方面图；C、根据方面图的输出作为方面词情感表示，预测该方面词对应的情感极性。该方法及系统有利于提高情感极性预测精度。

本发明授权融合多粒度视觉与文本特征的多模态情感分析方法及系统在权利要求书中公布了：1.一种融合多粒度视觉与文本特征的多模态情感分析方法，其特征在于，包括以下步骤： 步骤A：使用预训练模型初始化图节点文本表示，并且使用ResNet初步提取图片特征表示； 步骤B：依据句法依赖关系、成分树结构确定图注意力网络中边关系邻接矩阵；使用多模态注意力机制，分别获得单词级、短语级、句子级的联合文本视觉特征表示；借助多层图注意力网络融合单词级、短语级、句子级的联合文本视觉特征表示，最终获得多粒度文本-视觉融合特征表示；根据多层图注意力网络输出的文本-视觉联合特征表示，预测方面词位置并形成方面词表示；依据方面词位置使用ANP解析器解析出最相关的ANP对，并依据方面词在句法依赖关系中的邻接关系，构建方面图； 步骤C：根据方面图的输出作为方面词情感表示，预测该方面词对应的情感极性； 所述步骤B具体包括以下步骤： 步骤B1：将数据集文本进行句法依赖解析，获得不同节点之间的句法依赖关系A1；借助成分树解析构建基于文本的成分树结构A2，获得不同子句的文本划分，具体表现在于单词级、中间层的短语级、句子级文本使用句法依赖关系A1和成分树结构A2融合获得图注意力网络不同层的边关系邻接矩阵 步骤B2：利用步骤B1获得的多层图注意力网络的边关系邻接矩阵，获得不同粒度的文本表示逐层输入多模态注意力网络获得特定于该层的联合文本视觉特征表示完成多粒度的文本特征和图片特征的交互；最终输出多粒度文本-视觉融合特征表示 步骤B3：使用步骤B2获得的多粒度文本-视觉融合特征表示分别计算每个位置是方面词的起始和结束位置的概率pstart、pend，根据概率选择最大概率的方面词起始和结束位置indexstart,indexend； 步骤B4：根据步骤B3标记的方面词位置indexstart,indexend和步骤B2获得的多粒度文本-视觉融合特征表示得到最终的方面词表示ai； 步骤B5：使用步骤B1得到的单词级邻接矩阵以步骤B3获得的方面词位置indexstart,indexend为中心，取直接相连的边作为方面图Ga的边关系，基于此构建方面图Ga的邻接矩阵 步骤B6：根据步骤A中获得的图片特征表示，由ANP解析器解析出与图片最相关的Top-K个名词N，形容词adja对，根据步骤B4获得的方面词表示ai及其直接相连的单词表示，分别计算与ANP中的名词之间的余弦相似度；并选择余弦相似度最高的K个名词N，形容词adja对作为方面图Ga的补充节点，增强步骤B4中的邻接矩阵 步骤B7：使用图注意力网络，获得方面图Ga的融合特征表示sentia；建立Mask矩阵，应用方面图Ga的融合特征表示sentia，保留方面词的情感表示aspectw；基于获得的方面词的情感表示aspectw，计算该方面词的情感极性； 所述步骤B1具体包括以下步骤： 步骤B11：将数据集文本进行句法依赖解析，获得不同节点之间的句法依赖关系A1；借助成分树解析构建基于文本的成分树结构A2，获得不同子句的文本划分，具体表现在于单词级、中间层的短语级、句子级 其中，是句法依赖关系A1中位置i,j的数值，是成分树结构A2中位置i,j的数值；Dep.Tree表示句法依赖关系；Con.Tree表示成分树结构； 步骤B12：以步骤B11得到的成分树子句划分策略为标准，剔除句法依赖关系中跨子句的依赖关系，实现依赖关系降噪； 步骤B13：将步骤B12得到的降噪后的句法依赖关系A1和成分树各层的邻接关系A2融合，作为图注意力网络的边关系邻接矩阵 其中，表示图注意力网络的边关系邻接矩阵中位置i,j的数值； 所述步骤B2具体包括以下步骤： 步骤B21：使用预训练模型获得的单词表示T和图片做交互，使用多模态注意力网络完成文本特征和图片特征的交互，以此获得单词粒度的联合文本视觉特征表示 其中，Q为当前计算的节点i的单词表示，K和V为ResNet输出的图片表示，MH·是多头注意力； 其中，Q为当前计算的节点i的单词表示T，Mimage是文本对应的图片表示，LN·是层归一化，FFN·是前馈神经网络； 步骤B22：借助步骤B1中图注意力网络的边关系邻接矩阵和步骤B21中提取的单词粒度的联合文本视觉特征表示初步构建第一层的图注意力网络，输出词粒度文本-视觉融合表示 其中，是步骤B1中word粒度的边关系邻接矩阵中的邻接节点，是图注意力网络第一层的最终输出，FC是全连接层，是词节点经过掩蔽自注意力机制后的结果，||表示向量拼接，Z是注意力头的数量，б是激活函数；是第Z个注意力头的第l层的可训练参数，f·是衡量两个词的相关性的函数；通过堆叠多个GAT层，将上一层作为下一层的输入，并在层与层中间融合图片信息； 步骤B23：将步骤B1中划分的短语分组以及步骤B22中输出的词粒度文本-视觉融合表示做平均池化，结果作为短语级别多模态交互的文本输入，使用多模态注意力机制完成短语级文本特征和图片特征的交互 其中，Q为步骤B22中输出的词粒度文本-视觉融合表示按照步骤B1中划分的短语分组做平均池化的结果，Mimage是文本对应的图片表示，LN·是层归一化，FFN·是前馈神经网络； 步骤B24：使用步骤B23输出的短语级文本特征和图片特征的交互和步骤B22的词粒度文本-视觉融合表示融合，基于步骤B1中获得的图注意力网络的边关系邻接矩阵做图注意力输出短语粒度文本-视觉融合表示 步骤B25：重复步骤B24直到到达句子级文本划分级别； 步骤B26：将步骤B25得到的顶层短语粒度文本-视觉融合表示平均池化，作为句子粒度级别的文本特征，并且输入多模态注意力机制模块，完成句子级文本特征和图片特征的交互，获得其融合表示 其中，Q为步骤B22中输出的短语粒度文本-视觉融合表示按照步骤B1中句子分组做平均池化的结果，Mimage是文本对应的图片表示，LN·是层归一化，FFN·是前馈神经网络； 步骤B27：将步骤B26获得句子级文本-图片特征融合表示和图注意力网络各个位置的输出词向量平均池化，得到多粒度文本-视觉融合特征表示 所述步骤B3具体包括以下步骤： 步骤B31：使用步骤B2获得的多粒度文本-视觉融合特征表示分别计算每个位置是方面词的起始和结束位置的概率pstart、pend： 其中，wstart、bstart、wend、bend均为可训练参数； 步骤B32：根据概率选择最大概率的方面词起始和结束位置indexstart,indexend： 其中，l表示句子中最大的单词下标； 所述步骤B4中，方面表示ai的计算公式如下： 其中，l表示句子中最大的单词下标； 所述步骤B5具体包括以下步骤： 步骤B51：设图为方面图Ga＝V,E，其中，V为图节点集，E为图中的边关系集合；使用步骤B1获得的单词级邻接矩阵 步骤B52：取中和方面词直接相连的边作为方面图Ga的边关系，基于此构建方面图Ga的邻接矩阵 其中，表示方面图Ga的邻接矩阵在位置i,j的数值； 所述步骤B6具体包括以下步骤： 步骤B61：根据步骤A中获得的图片特征表示，由ANP解析器解析出TOP-K个最相关的名词N，形容词adja对； 其中，Anps是TOP-K个最相关的名词N，形容词adja对的集合； 步骤B62：根据步骤B4获得的方面词表示ai及方面图Ga中直接相连的单词表示wi，分别计算与ANP对的名词之间的余弦相似度或者 其中，表示方面词ai和ANP对中名词之间的余弦相似度，表示与方面词ai直接相连的词wi和ANP对中名词之间的余弦相似度； 步骤B63：基于步骤B62获得的余弦相似度，使用Top-K算法筛选出与该单词最相关的K个名词N，形容词adja对： 其中，scorei表示步骤B61计算出的余弦相似度；是最相关的ANP对的名词集合； 步骤B64：获得步骤B63中筛选出的名词N，形容词adja对中对应的形容词adja： 其中，是最相关的在ANP对中对应的形容词； 步骤B65：将步骤B64中筛选出的作为方面图Ga中的节点，和其对应单词之间建立边关系，增强步骤B4中的邻接矩阵 其中，i和j分别表示邻接矩阵中的横坐标和纵坐标；wi表示下标为i的词，wj表示下标为j的词； 所述步骤B7具体包括以下步骤： 步骤B71：使用图注意力网络，获得方面图Ga的融合特征表示sentia； 其中，sentia l表示第l层的特征表示，当l＝1时，sentia l-1为步骤B2获得的多粒度图片信息的文本表示wl和bl是第l层的权重和偏置值，ReLu是激活函数，是步骤B6获得的方面图Ga的邻接矩阵； 步骤B72：建立Mask矩阵，应用于方面图Ga的融合特征表示sentia，保留方面词的情感表示aspectw； 基于获得的方面词的情感表示aspectw，计算该方面词的情感极性。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人福州大学，其通讯地址为：350108 福建省福州市闽侯县福州大学城乌龙江北大道2号福州大学；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。