申请/专利权人：安徽大学

申请日：2023-12-27

公开（公告）日：2024-03-22

公开（公告）号：CN117746200A

主分类号：G06V10/80

分类号：G06V10/80;G06V10/82

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.09#实质审查的生效;2024.03.22#公开

摘要：本发明提供基于二阶注意力的多模态自适应融合方法及方法，系统包括：本发明在注意力块上引入二阶的交叉注意力实现多模态注意力互增强，同时对注意力的不同区域采取不同的输入，将横向相邻的区域也纳入考量；在筛选背景token时，利用两个模态分支的注意力权重对所有token进行排序，按照固定比例消除背景token。本发明解决了特征融合算法计算量大导致框架模型的推理速度较低，以及候选消除的效果稳定性较差的技术问题。

主权项：1.基于二阶注意力的多模态自适应融合方法，其特征在于，所述方法包括：S1、采集并处理得到初始图像特征，以二阶注意力多模态ViT互增强融合模块作为多模态跟踪器的主干，对所述初始图像特征进行特征增强和融合操作，基于面向注意力权重的融合机制，综合不同模态分支的原始注意力权重，再进行一次Attention处理，以对原始注意力分布进行增强，以将模态融合过程嵌入到模态特征的提取过程中；S2、利用统一候选消除模块，通过所述综合多模态注意力权重，对所有特征进行排序，按预定比例筛除后序特征，据以保留前序特征。

全文数据：

权利要求：

百度查询： 安徽大学 基于二阶注意力的多模态自适应融合方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD