申请/专利权人：哈尔滨理工大学

申请日：2024-01-04

公开（公告）日：2024-04-12

公开（公告）号：CN117877068A

主分类号：G06V40/10

分类号：G06V40/10;G06V20/52;G06V10/26;G06V10/774;G06V10/82;G06N3/042;G06N3/045;G06N3/0455;G06N3/0464;G06N3/084;G06N3/0895

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.30#实质审查的生效;2024.04.12#公开

摘要：本发明提出一种基于掩码自监督遮挡像素重建的遮挡行人重识别方法，属于多媒体信息处理中的行人重识别领域。方法包括一个基于掩膜指导的掩码自编码器微调图像补全模型与基于动态图与图卷积的遮挡行人重识别网络。首先，所述的图像补全模型通过随机对图像块进行删除通过剩余图像块生成完整图片的方式进行自监督训练，使用均方误差损失减小其生成图片与原图差异。然后，训练所述的遮挡行人重识别网络，并使用三元组损失、ID损失与中心损失共同训练以得到鲁棒且有判别力的特征。测试过程中利用图像补全模型和掩膜指导方法对有遮挡的图像进行补全，重建图像被障碍物遮挡的部分行人身体像素。然后，将补全的行人图像输入到遮挡行人重识别网络得到行人特征，并实施行人重识别。与其他方法相比，本发明显著提高了遮挡行人重识别的准确率。

主权项：1.一种基于掩码自监督遮挡像素重建的遮挡行人重识别方法，其特征在于，所述方法包括步骤：从监控摄像装置采集训练数据A、训练数据B与测试数据。其中，训练数据A包括有遮挡的行人重识别图片与实例分割级的标注与行人编号。训练数据B包括有较为完整人体部分的行人重识别图片。测试数据中只包含原始有遮挡的行人重识别图片与行人编号。构建基于掩码指导的掩码自编码器微调图像补全模型。所述图像补全模型由一个实例分割网络和一个自监督掩码指导的图像建模网络构成。使用所述实例分割网络对输入图像的行人实例进行分割，得到每个行人的掩码。使用随机函数随机生成行人掩码图像中不同图像块的像素留存得分。使用自监督掩码指导的图像建模网络，对行人图像中像素留存得分小于60的图像块进行重建，得到去遮挡的行人图像。使用训练数据A与训练数据B将所述图像补全模型训练至收敛。使用所述的补全模型对测试数据进行预测。将测试数据输入所述的实例分割网络，得到测试数据对应的行人掩码。使用图像分块函数计算行人掩码图像中不同图像块的像素留存得分。使用自监督掩码指导的图像建模网络，对行人图像中像素留存得分小于60的图像块进行重建，得到去遮挡的行人图像。构建基于动态图与图卷积的遮挡行人重识别网络。所述行人重识别网络由ResNet-50网络、动态图结构模块与图卷积特征传播模块构成。使用ResNet-50网络提取行人图像中的特征图。使用所述的动态图结构模块构建与特征图对应的拓扑图结构。使用所述图卷积特征传播模块对拓扑图结构进行特征传播。使用训练数据B将所述遮挡行人重识别网络中训练至收敛。在所述的遮挡行人重识别网络预测过程中，将去遮挡的行人图像输入所述收敛的行人重识别模型，可得到每个行人图片的特征。对每个查询图片，按特征距离从小到大进行排序，取距离最近的10个库图片作为查询图片的查询结果。将具有相同身份标签的库图片作为该查询图匹配到的正确结果，并且计算该查询图片的平均准确率与首位命中率。

全文数据：

权利要求：

百度查询： 哈尔滨理工大学 一种基于掩码自监督遮挡像素重建的遮挡行人重识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD