申请/专利权人：衡阳师范学院

申请日：2024-01-09

公开（公告）日：2024-04-09

公开（公告）号：CN117854073A

主分类号：G06V30/12

分类号：G06V30/12;G06V30/14;G06V30/18;G06V30/19;G06V10/82;G06N3/0499

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.26#实质审查的生效;2024.04.09#公开

摘要：本发明公开了一种基于统一重建的多模态媒体篡改检测与定位系统，包括：图像编码器，配置为接收含有待检测图像数据和随机掩码的待检测图像数据并输出视觉特征及掩码视觉特征；文本编码器，配置为接收含有待检测文本数据和随机掩码的待检测文本数据并输出文本特征及掩码文本特征；视觉‑文本重构模块，通过自注意力和交叉注意力实现视觉引导的文本特征的对齐和重构；文本‑视觉重构模块，通过自注意力和交叉注意力实现文本引导的视觉特征的对齐和重构；重建协调器模块，利用自注意力和交叉注意力在多模态特征上进行集中推理，用于融合被篡改的特征表示；检测与分类模块，配置为基于重建协调器模块的输出来预测和定位多模态媒体数据中的篡改实例。

主权项：1.一种基于统一重建的多模态媒体篡改检测与定位系统，其特征在于，包括：图像编码器、文本编码器、视觉-文本重构模块、文本-视觉重构模块、重建协调器模块和检测与分类模块；所述图像编码器，配置为接收含有待检测图像数据和随机掩码的待检测图像数据并输出视觉特征及掩码视觉特征；所述文本编码器，配置为接收含有待检测文本数据和随机掩码的待检测文本数据并输出文本特征及掩码文本特征；所述视觉-文本重构模块，通过自注意力和交叉注意力实现视觉引导的文本特征的对齐和重构；所述文本-视觉重构模块，通过自注意力和交叉注意力实现文本引导的视觉特征的对齐和重构；所述重建协调器模块，利用自注意力和交叉注意力在多模态特征上进行集中推理，用于进一步融合被篡改的特征表示；所述检测与分类模块，配置为基于重建协调器模块的输出来预测和定位多模态媒体数据中的篡改实例。

全文数据：

权利要求：

百度查询： 衡阳师范学院 一种基于统一重建的多模态媒体篡改检测与定位系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD