申请/专利权人：南京理工大学

申请日：2023-12-12

公开（公告）日：2024-03-22

公开（公告）号：CN117743639A

主分类号：G06F16/783

分类号：G06F16/783;G06F16/75;G06V20/40;G06V10/764;G06V10/774;G06V10/82;G06F16/35;G06F18/214;G06F18/2415;G06F40/30;G06N3/0455;G06N3/0895

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.09#实质审查的生效;2024.03.22#公开

摘要：本发明公开了一种基于有监督对比学习的跨模态视频‑文本哈希检索方法，该方法为：使用时间一致性的空间增强方法对视频数据进行增强，使用EDA方法对文本数据进行增强，获得所有数据点对应的增强样本；分别使用双向Transformer自动编码器对视频和文本进行编码，将Transformer输出的特征输入到哈希层中得到视频和文本的哈希码；利用标签信息设计多模态对比学习，定义和锚点具有相同标签的数据点为正样本，和锚点标签不相同的数据点为负样本，分别在视频和文本模态间和模态内设计有监督多模态对比损失，并加入分类损失、量化损失和平衡损失，对模型进行训练之后，进行跨模态视频‑文本检索。本发明提高了从大数据中检索视频的效率和准确性。

主权项：1.一种基于有监督对比学习的跨模态视频-文本哈希检索方法，其特征在于，该方法包括以下步骤：步骤1、使用时间一致性的空间增强方法对视频数据进行增强，使用EDA方法对文本数据进行增强，获得所有数据点对应的增强样本；步骤2、分别使用双向Transformer自动编码器对视频和文本进行编码，将双向Transformer自动编码器输出的特征输入到哈希层中得到视频和文本的哈希码；步骤3、利用标签信息设计多模态对比学习，定义和锚点具有相同标签的数据点为正样本，和锚点标签不相同的数据点为负样本，然后设计多模态有监督对比损失，缩小锚点与正样本的距离，并扩大锚点与负样本的距离；步骤4、加入分类损失、量化损失和平衡损失，确定总体目标函数，对双向Transformer自动编码器进行训练；步骤5、使用训练好的双向Transformer自动编码器，进行跨模态视频-文本检索。

全文数据：

权利要求：

百度查询： 南京理工大学 基于有监督对比学习的跨模态视频-文本哈希检索方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD