申请/专利权人：青岛文达通科技股份有限公司

申请日：2021-08-26

公开（公告）日：2024-04-19

公开（公告）号：CN113807200B

主分类号：G06V40/10

分类号：G06V40/10;G06V20/40;G06V10/25;G06V10/764;G06V10/82;G06V20/52;G06N3/0464;G06N3/08;G06N5/04

优先权：

专利状态码：有效-授权

法律状态：2024.04.19#授权;2022.01.04#实质审查的生效;2021.12.17#公开

摘要：本发明公开了基于动态拟合多任务推理网络的多行人识别方法及系统，包括：获取待识别的视频流，对待识别的视频帧进行解码生成待识别的视频帧序列；将待识别的视频帧序列，输入到训练后的动态拟合多任务推理神经网络，得到行人检测结果、行人属性识别结果和行人的重识别结果。采用多任务网络将行人检测、行人属性识别、行人重识别集成为一个端到端的神经网络，在多行人属性识别任务中，大大提高了检测速度。

主权项：1.基于动态拟合多任务推理网络的多行人识别方法，其特征是，包括：获取待识别的视频流，对待识别的视频帧进行解码生成待识别的视频帧序列；将待识别的视频帧序列，输入到训练后的动态拟合多任务推理神经网络，得到行人检测结果、行人属性识别结果和行人的重识别结果；所述动态拟合多任务推理神经网络，包括：特征提取层，所述特征提取层的输入端用于输入待识别的视频帧序列；所述特征提取层的输出端分别与行人检测分支的输入端、行人属性识别分支的输入端和行人重识别分支的输入端连接；行人检测分支的输出端用于输出行人检测结果；行人属性识别分支的输出端用于输出行人属性识别结果；行人重识别分支的输出端用于输出行人重识别结果；所述行人检测分支，包括：依次连接的第一区域生成网络RPN层和第一感兴趣区域ROIAlign层；其中，第一区域生成网络RPN层与特征提取层连接；第一感兴趣区域ROIAlign层分别与第一特征分类层和第一边框回归层连接；所述行人检测分支，工作原理包括：经过第一RPN层提取候选框，经过第一ROIAlign层进行特征对齐，最后在第一特征分类层实现行人的检测，在第一边框回归层实现行人的识别；识别类别包括：步行行人、骑行行人；所述行人属性识别分支，包括：依次连接的第一特征再提取模块、第二区域生成网络RPN层和第二ROIAlign层；其中，第一特征再提取模块与特征提取层连接；第一特征再提取模块与第二ROIAlign层连接，第二ROIAlign层分别与第二特征分类层和第二边框回归层连接；所述行人属性识别分支，工作原理包括：采用第一特征再提取模块提取行人属性特征，经过第二RPN层提取候选框，经过第二ROIAlign层进行特征对齐，最后在第二特征分类层和第二边框回归层实现行人属性的识别；所述行人重识别分支，包括：依次连接的第二特征再提取模块和归一化层；其中，第二特征再提取模块与特征提取层连接；归一化模块与度量学习层连接；其中，度量学习层，其被配置为，计算特征之间的距离，以衡量特征之间的相似程度；所述行人重识别分支，工作原理包括：采用第二特征再提取模块提取行人之间的相似度特征；采用归一化层对行人之间的相似度特征进行归一化处理；最后通过度量学习计算特征之间的距离，完成行人重识别的任务；所述训练后的动态拟合多任务推理神经网络，其训练过程包括：构建训练集；所述训练集为已知行人检测标签、已知行人属性标签和已知行人轨迹标签的多行人视频帧序列；将训练集输入到动态拟合多任务推理神经网络中，对其进行训练；训练的过程中，得到第一特征分类层输出的第一损失函数值、第一边框回归层输出的第二损失函数值、第二特征分类层输出的第三损失函数值、第二边框回归层输出的第四损失函数值、度量学习层输出的第五损失函数值；采用动态拟合函数，对第一、第二、第三、第四、第五损失函数值进行处理，得到损失函数；当损失函数达到最小值时，停止训练，得到训练后的动态拟合多任务推理神经网络；动态拟合函数loss： 其中，xs表示各个任务的损失集合，x表示当前损失值，lx表示上一次迭代产生的损失，Fx表示当前损失值动态拟合之后的值。

全文数据：

权利要求：

百度查询： 青岛文达通科技股份有限公司 基于动态拟合多任务推理网络的多行人识别方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD