申请/专利权人：云南大学

申请日：2022-10-24

公开（公告）日：2022-12-20

公开（公告）号：CN115497105A

主分类号：G06V30/19

分类号：G06V30/19;G06V30/18;G06V10/82;G06T3/40;G06N3/08;G06N3/04

优先权：

专利状态码：在审-实质审查的生效

法律状态：2023.01.03#实质审查的生效;2022.12.20#公开

摘要：本发明公开了一种基于多任务学习网络的多模态仇恨模因检测方法，收集若干仇恨模因样本，构建包括多模态主任务和两个单模态辅助任务的多任务学习网络，其中多模态主任务的标签由人工标定，单模态辅助任务的标签基于自监督策略生成。采用仇恨模因样本训练完成多任务学习网络后，将图像处理模块、文本特征提取模块、图像特征提取模块、特征拼接模块、第一特征映射模块和第二特征映射模块组成的子网络作为仇恨模因检测网络。将检测模因图像输入仇恨模因检测网络，得到检测结果。本发明构建并训练基于自监督生成辅助标签的多任务学习网络，从中提取出仇恨模因检测网络，在缩短训练时间和降低算力要求的同时，提高仇恨模因检测的准确率。

主权项：1.一种基于多任务学习网络的多模态仇恨模因检测方法，其特征在于，包括以下步骤：S1：收集若干仇恨模因样本，每个仇恨模因样本中的模因图像为带有文本的图像，为每幅图像标注仇恨模因标签，当标签为1则表示该模因图像中存在仇恨，当标签为0则表示该模因图像中不存在仇恨；S2：构建多任务学习网络，包括模因图像预处理模块、文本特征提取模块、图像特征提取模块、特征拼接模块、第一特征映射模块、第二特征映射模块、第三特征映射模块、第四特征映射模块、文本单模态标签生成模块、第五特征映射模块、第六特征映射模块和图像单模态标签生成模块，其中：模因图像预处理模块用于从输入模因图像中提取出文本T并发送给文本特征提取模块，然后将提取得到的文本从模因图像中去除得到图像V并发送给图像特征提取模块；文本特征提取模块用于提取文本T的文本特征Ft，然后发送给特征拼接模块和第三特征映射模块；图像特征提取模块用于提取图像V的文本特征Fv，然后发送给特征拼接模块和第五特征映射模块；特征拼接模块用于将文本特征Ft和图像特征Fv进行拼接，将拼接得到的特征Fm发送至第一特征映射模块；第一特征映射模块用于将特征Fm映射为M维特征向量M的值根据实际需要确定，将M维特征向量发送给第二特征映射模块和文本单模态标签生成模块、图像单模态标签生成模块；第二特征映射模块用于将特征向量映射为输入模因图像的预测标签第三特征映射模块用于将文本特征Ft映射为M维文本特征向量Ft*，并发送给第四特征映射模块和文本单模态标签生成模块；第四特征映射模块用于将文本特征向量Ft*映射为根据文本得到的预测标签文本单模态标签生成模块用于根据输入模因图像的真实标签ym、特征向量和文本特征向量Ft*生成文本辅助标签yt；第五特征映射模块用于将图像特征Fv映射为M维图像特征向量并发送给第六特征映射模块和图像单模态标签生成模块；第六特征映射模块用于将图像特征向量映射为根据图像得到的预测标签图像单模态标签生成模块用于根据输入模因图像的真实标签ym、特征向量和图像特征向量生成图像辅助标签yv；S3：将步骤S1收集的每个仇恨模因样本中的模因图像作为多任务学习网络的输入，对应的仇恨模因标签作为真实标签，对多任务学习网络进行训练；S4：对于步骤S3训练完成的多任务学习网络，将其中图像处理模块、文本特征提取模块、图像特征提取模块、特征拼接模块、第一特征映射模块和第二特征映射模块组成的子网络作为仇恨模因检测网络；S5：对于待检测的模因图像，将其输入仇恨模因检测网络，得到检测结果。

全文数据：

权利要求：

百度查询： 云南大学 基于多任务学习网络的多模态仇恨模因检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD