申请/专利权人：中南大学

申请日：2023-06-21

公开（公告）日：2024-03-08

公开（公告）号：CN116702091B

主分类号：G06F18/25

分类号：G06F18/25;G06F18/2415;G06F18/2451;G06N3/0455;G06N3/047;G06N3/048;G06N3/084

优先权：

专利状态码：有效-授权

法律状态：2024.03.08#授权;2023.09.22#实质审查的生效;2023.09.05#公开

摘要：本发明公开了一种基于多视图CLIP的多模态讽刺意图识别方法、装置和设备，方法包括：对数据元组中的文本信息和图像信息均依次编码和解码；其中，采用CLIP模型编码分别得到文本和图像各自的向量表示，解码分别得到基于文本视图和图像视图的讽刺得分分布；将编码得到的文本和图像各自向量表示拼接后，喂入transformer进行模态融合，然后采用key‑less注意力机制确定其注意力权重，再解码得到基于文本与图像交互视图的讽刺得分分布；将基于文本视图、基于图像视图及基于文本与图像交互视图的3个讽刺得分分布进行聚合，并根据聚合结果获得数据元组的讽刺意图识别结果。本发明提升了讽刺意图识别准确率，且有良好的解释性。

主权项：1.一种基于多视图CLIP的多模态讽刺意图识别方法，其特征在于，包括：步骤1，获取包括文本信息和图像信息的数据元组，对数据元组中的文本信息和图像信息均依次进行编码和解码；其中，采用CLIP模型编码分别得到文本信息向量表示和图像信息向量表示，解码分别得到基于文本视图和图像视图的讽刺得分分布；步骤2，将步骤1编码得到的文本信息向量表示和图像信息向量表示进行拼接，并将拼接向量喂入transformer进行模态融合，然后采用key-less注意力机制确定其注意力权重，再解码得到基于文本与图像交互视图的讽刺得分分布；步骤3，将步骤1和2中得到的基于文本视图、基于图像视图以及基于文本与图像交互视图的3个讽刺得分分布进行聚合，并根据聚合结果获得数据元组的讽刺意图识别结果。

全文数据：

权利要求：

百度查询： 中南大学 基于多视图CLIP的多模态讽刺意图识别方法、装置和设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD