申请/专利权人：福州大学

申请日：2021-08-11

公开（公告）日：2023-11-14

公开（公告）号：CN113642332B

主分类号：G06F40/30

分类号：G06F40/30;G06F18/25;G06V10/80;G06V10/82;G06N3/048

优先权：

专利状态码：有效-授权

法律状态：2023.11.14#授权;2021.11.30#实质审查的生效;2021.11.12#公开

摘要：本发明提出一种融合多级语义信息的多模态讽刺识别系统方法，所述方法通过融合多级语义信息来分析多模态数据，然后以讽刺识别模块来判别多模态数据中是否存在讽刺感；在生成多模态数据时，以特征提取模块提取图文数据的特征表示及图文数据的中级语义信息，以图文融合模块融合图文数据的特征表示并提取产生讽刺感的图文片段，以语义融合模块融合图文数据的中级、高级语义信息；本发明能够提取图文模态数据的特征表示及图文数据中的中级语义信息，通过注意力机制融合多模态数据，并关联图文模态的中级语义，分析多模态数据中是否存在讽刺感。

主权项：1.一种融合多级语义信息的多模态讽刺识别系统方法，其特征在于：所述方法通过融合多级语义信息来分析多模态数据，然后以讽刺识别模块来判别多模态数据中是否存在讽刺感；在生成多模态数据时，以特征提取模块提取图文数据的特征表示及图文数据的中级语义信息，以图文融合模块融合图文数据的特征表示并提取产生讽刺感的图文片段，以语义融合模块融合图文数据的中级、高级语义信息；所述特征提取模块提取不同模态数据的特征表示时，可在提取图文特征表示的同时，提取其中所包含的中级语义信息；具体方法为：方法A1、对于文本数据，采用Glove编码获取本文的词嵌入信息，文本内容经过编码后得到T＝{t1，t2，...，tn}，其中，为单词i的词嵌入表示，通过将文本特征表示输入BiLSTM网络得到文本数据的隐藏层表示：Mtext＝BiLSTMT公式一；方法A2、对于图像数据，采用RepVGG网络模型进行图像特征提取，为提升所得图像语义的丰富性，采用去除RevVGG模型中的平均池化层的方法，将RepVGG的通道输出作为图像数据的区域特征：Mregion＝RepVG6I公式二；其中，ri表示图像各个区域的特征表示；为优化图像数据与文本数据的融合，通过线性层对图像特征进行维度转化，得到图像隐藏层表示为：Mimage＝tanhW*RepVG6I+b公式四；方法A3、当提取文本数据中的话题信息及图像数据中的ANPsadjective-nounpairs作为各模态数据的中级语义信息时，采用Glove编码获取其词嵌入信息，利用tweet话题包含的前后关联，通过BiLSTM网络模型对ANPs及话题进行编码得到其上下文表示TANP、Ttopic；方法A4、当部分文本数据中不包含话题内容，同时不同的ANP对模型产生的影响也存在不同时，通过自注意力机制进一步提取TANP及Ttopic的特征表示：Ta，t＝BiLSTMANPs,Topic公式五； αa，t＝softmaxua，t公式七； 其中，a，t∈{ANPs，Topic}，通过上下文向量UT将ANPs与话题映射至同一维度空间，得到ua，t用于衡量每个ANP与话题的权重，而后通过Softmax函数得到注意力分布αa，t，最终计算得到ANPs与话题的特征表示va，vt，在此基础上，串联va，vt，经过线性层连接ANP及话题特征，得到数据的属性特征表示vattr，使用vattr对本文特征提取中所用到的BiLSTM网络编码层进行初始化，即vattr＝W[va：vt]+b公式九；当图文融合模块通过分析图文数据间的语义联系来提取产生讽刺感的关键片段时，采用实体差异注意力机制，通过将注意力权重集中于图文数据间中的差异内容，来优化识别易产生讽刺感的图文片段，包括以下方法；设提取的特征表示Mtext，Mimage分别为文本、图像较原始的低级语义特征，为提升所得到的图文语义信息的抽象度，在进行图文融合前，以自注意力机制提取图文数据的特征表示：vtext，vimage＝SelfATTMtext，Mimage 然后将vtext，vimage与图像、文本所提取的特征表示通过实体差异注意力机制进行融合，首先将图文自注意力计算的结果vtext，vimage与前文所提取的图像、文本隐藏表示进行注意力计算，而后将图文特征表示减去注意力计算的结果，从而使模型将特征提取的重点由图文间的关联信息转移至图像、文本数据中的关键词汇、关键画面，表述为：p＝tanhWpMm+bp公式十一；q＝tanhWqvn+bq公式十二；β＝softmaxp*q公式十三；Hm＝Mm-β公式十四；其中，m，n∈{text，image}表示图像、文本两种不同模态，vn即通过自注意力机制提取得到的图、文特征，Min为前文特征提取模块所得到的图像、文本数据表示，β为模态间点积注意力计算的结果，为对差异信息增强后的图文特征表示；所述语义融合模块在融合社交媒体平台图文数据的中级、高级语义信息时，其方法为：在图像情感分析任务执行，所述图像情感分析任务中，ANPs以形容词、名词组合的方式描述图像，被视为图像数据的中级语义信息；所述社交媒体平台中以话题作为对文本内容的高度概括，对文本情绪识别存在重要影响，即被视为文本数据的中级语义信息；在讽刺感受模态间的语义变化影响下，通过将属性特征vattr与图文融合结果Hm进一步的融合，形成多模态数据语义理解的过程，表述为：s＝tanhWsHm+bs公式十五；t＝tanhWtvattr+bt公式十六； 其中，m∈{text，image}为图像、文本两种不同模态，Lm为文本模态序列长度或图像区域数，vm即融合中级语义信息后的图文特征表示；当讽刺识别模块对多模态数据进行讽刺识别时，采用以下方法，通过将所提取的多级语义特征vtext,vimage，vattr串联后应用于讽刺识别中，即在经过两个线性层的维度转换后，通过Sigmod函数将模型结果用于二分类任务中，表述为ytext＝ReluWt[vtext：vattr]+bt公式十九；yimage＝ReluWi[vimage：vattr]+bi公式二十； 其中，ytext，yimage为经过线性层进行维度转换后的特征表示，为最终模型分类的结果，采用交叉熵作为模型的损失函数： 其中，yi为数据中第i个样例的标签，为模型预测结果，L2为L2范数，λ为衡量该范数的权重。

全文数据：

权利要求：

百度查询： 福州大学 一种融合多级语义信息的多模态讽刺识别系统方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD