申请/专利权人：北京工业大学

申请日：2023-06-15

公开（公告）日：2023-11-24

公开（公告）号：CN117115505A

主分类号：G06V10/764

分类号：G06V10/764;G06V10/82;G06V10/774;G06F16/435;G06F40/30;G06N3/0495;G06N3/082;G06N3/0895;G06N3/0455;G06N3/0464

优先权：

专利状态码：在审-实质审查的生效

法律状态：2023.12.12#实质审查的生效;2023.11.24#公开

摘要：一种结合知识蒸馏与对比学习的情感增强继续训练方法属于计算机视觉领域。首先利用现有文本情感分类模型及情感字典筛选得到大量具有明显情感倾向的图文对中组成大规模情感图文对数据集；然后应用大规模情感图文对数据集对教师网络进行训练，为了获得泛化性强的教师网络，使用情感自然语言监督方式，同时通过挖掘监督信号中的多粒度情感信息并融入到图片表征中，以增强视觉编码器的情感表达能力；将得到的教师网络视觉模块初始化学生网络同时可以为学生网络提供伪标签数据，并设计任务对学生模型进行针对训练进一步挖掘图片中细节情感信息；将学生网络应用至下游图像情感分类任务。本发明解决进行情感分析模型预测精确度较低以及适用性差的问题。

主权项：1.一种结合知识蒸馏与对比学习的情感增强继续训练方法，其特征在于，包括以下步骤：S1、获取教师网络训练数据；通过已有文本情感分类模型筛选得到CC12M数据集中具有情感极性的图文对，将文本情感作为图片伪标签，并使用情感词典对文本中情感单词进行标记；最终数据集命名为SR-CC12M；其中第一行为图片，第二行为对应的文本，第三行为图文对情感标签，第四行为文本中的标记单词具有明显情感极性；S2、教师网络训练数据预处理；对训练数据中图片以及文本进行格式统一化处理，并针对文本进行情感掩膜，得到文本原样本、文本掩膜样本以及图片样本；S3、构建教师模型；基于输入数据，对教师模型进行对比学习以及情感知识学习；学生模型由教师模型视觉编码器初始化；S4、获取学生网络训练数据；将教师网络作为图片情感分类工具，分析图片中每一小块的情感极性，记录具有明显情感极性的图片块位置以及情感类别，得到图片块原样本，并对图片块进行情感掩膜，得到图片块掩膜样本；S5、构建学生模型；基于图片块样本，对学生模型进行图片情感知识学习；将学生模型作为图像情感分析预训练模型；S6、下游任务测试：将待测数据集中的图像经过同S2一样的预处理步骤后；学生网络训练得到的图像编码器应用至下游3个常用图像情感分析数据集FI，Twitter，EmotionROI中进行情感二分类以及多分类的实验；在零样本，线性探针和有监督设置下得到对应实验结果。

全文数据：

权利要求：

百度查询： 北京工业大学 一种结合知识蒸馏与对比学习的情感增强继续训练方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD