申请/专利权人：南京航空航天大学

申请日：2023-06-28

公开（公告）日：2023-08-08

公开（公告）号：CN116563524A

主分类号：G06V10/25

分类号：G06V10/25;G06V10/82;G06V20/70;G06V10/20;G06V10/46;G06N3/0475;G06N3/0455;G06N3/082;G06N3/084;G06N3/0499;G06N3/047;G06V10/774;G06V10/776

优先权：

专利状态码：有效-授权

法律状态：2023.09.29#授权;2023.08.25#实质审查的生效;2023.08.08#公开

摘要：本发明公开了一种基于多视觉记忆单元的扫视路径预测方法，包括构建眼动追踪数据集；提取图像不同级别语义特征图与显著图；使用显著图对特征图进行空间注意力操作；序列化特征图，生成特征向量并拼接为特征矩阵；建模特征向量间全局依赖关系；生成注视点嵌入；生成扫视路径：训练优化扫视路径预测模型；本发明提出的视觉扫描路径预测器并不融入启发式规则，极大地简化了扫视路径预测的工作流程和整体模型架构。本发明将扫描路径预测视为一个连续注视点序列生成问题，利用前一个注视点的位置初始化注视点查询，从全局视觉表示中获取场景信息，并融合历史注视点的影响来预测当前时间步的注视点，以生成更接近人类的扫视路径。

主权项：1.一种基于多视觉记忆单元的扫视路径预测方法，其特征在于，包括以下步骤：步骤S1、搜集多张图片，每张图片均由不同受试者自由观看，采集每个受试者自由观看时产生的真实人眼注视点坐标序列，其中为时间步的真实人眼注视点坐标；步骤S2、对于每张图片,利用预先训练好的显著性预测网络提取前个卷积层输出的语义特征图，得到语义特征图组，其中为显著性预测网络的第个卷积层输出的语义特征图，以及显著性预测网络最终预测输出的显著图；步骤S3、将语义特征图组中的语义特征图，上采样到步骤S1中的图片的尺寸并按通道拼接成特征图，使用显著图对得到的特征图进行空间注意力操作，得到空间位置重加权的特征图；步骤S4、将空间位置重加权的特征图划分为图像块，使用平均池化将每个图像块的区域特征图汇聚成一维特征向量，展平得到一维特征向量序列，其中为第个图像块的区域特征图汇聚成的一维特征向量，并拼接成视觉特征矩阵；步骤S5、将视觉特征矩阵输入到特征编码器中获取一维特征向量间的全局依赖关系；步骤S6、假设当前时间步为,使用时间步生成的注视点坐标初始化时间步的注视点坐标查询向量，与历史时间步的注视点坐标查询向量序列拼接成注视点坐标查询矩阵，注视点坐标查询矩阵经过扫视路径解码器生成注视点坐标嵌入向量序列，其中为时间步的注视点坐标嵌入向量，同时将注视点坐标嵌入向量序列定义为注视点坐标嵌入矩阵；步骤S7、使用混合密度网络来解码时间步的注视点坐标嵌入向量，预测时间步的注视点坐标的概率分布并采样注视点坐标，生成扫视路径；步骤S8、利用时间步的真实人眼注视点坐标优化扫视路径预测模型输出的注视点坐标概率分布，将时间步的真实人眼注视点坐标被选择概率值最大化，进行梯度反向传播，优化扫视路径预测模型参数，其中所述扫视路径预测模型包括依次串接的显著性预测网络、特征编码器、扫视路径解码器和混合密度网络。

全文数据：

权利要求：

百度查询： 南京航空航天大学 一种基于多视觉记忆单元的扫视路径预测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD