申请/专利权人：南京航空航天大学

申请日：2020-07-13

公开（公告）日：2024-04-16

公开（公告）号：CN111860269B

主分类号：G06V10/82

分类号：G06V10/82;G06V40/20;G06V20/56;G06V20/40;G06V10/764;G06V10/80;G06N3/0464;G06N3/045;G06N3/0442

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2020.11.17#实质审查的生效;2020.10.30#公开

摘要：本发明公开了一种多特征融合的串联RNN结构及行人预测方法，结构包括：信息采集模块、信息处理模块、串联GRU模块、全连接层模块、激活函数模块和预测模块；信息采集模块采集车辆在不同道路和人群密度的环境中驾驶时的行人和周围环境的视频图像、自车车速；信息处理模块对上述采集到的数据进行处理生成数据集；串联GRU模块中每级GRU处理数据集中的不同的信息和串联的前一级GRU的隐藏状态的输入，将不同的信息进行融合计算；全连接层模块对上述多维矩阵进行整合得到一维向量；激励函数模块对上述一维向量信息处理；预测模块得到行人轨迹的预测结果。本发明将来自多个来源的信息根据其复杂性，在不同的神经网络层逐层融合，实现行人行为理解和轨迹预测。

主权项：1.一种基于多特征融合的串联RNN结构的行人预测方法，其特征在于，包括步骤如下：步骤1：利用车载单目摄像头采集车辆在不同街道行驶时的行人和周围环境的图像数据，利用车速传感器采集自车车速；步骤2：对上述步骤1中采集到的图像数据及自车车速数据进行处理，将行人过街预测定义为一个二元分类问题来预测第i个行人在采集的时间m内的行走轨迹，对预测依赖的行人特征、周围环境特征、行人姿势特征、行人二维框、自车车速五个信息源进行信息处理；步骤3：将上述步骤2处理得到的数据分别输入到一级GRU、二级GRU、三级GRU、四级GRU、五级GRU中依次进行信息融合计算，得到多维矩阵；步骤4：对上述得到的多维矩阵进行整合，得到一维向量；步骤5：采用ReLU函数对上述一维向量进行激活处理；步骤6：采用softmax逻辑回归对上述步骤5中处理后的数据进行分类预测，得到行人轨迹的预测结果；所述步骤2具体包括：将行人特征及周围环境特征表示为{Cpi，Csi}，Cpi＝{cpi1,…,cpim},Csi＝{csi1,…,csim}，cpi、csi为第i个行人特征和周围环境的坐标表示，由数据集中的图像数据得到，行人姿势特征表示为Pi＝{pi1,…,pim}，pi为第i个行人姿势特征的坐标表示，由数据集中的图像数据得到；行人二维框用坐标Bi＝{bi1,…,bim}来表示，其中，bi是两点坐标[x1i；y1ix2i；y2i]，两点坐标x1i；y1i和x2i；y2i指的是数据集标注后的图像数据中第i个行人对应的边界框的左上角和右下角；自车车速表示为S＝{si1,…,sim}；在对行人特征、周围环境特征、行人姿势特征、行人二维框、自车车速五个信息源进行处理后分别用多维矩阵vp1:m、vb1:m、vs1:m来表示。

全文数据：

权利要求：

百度查询： 南京航空航天大学 一种多特征融合的串联RNN结构及行人预测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD