申请/专利权人：常州大学

申请日：2020-11-16

公开（公告）日：2024-01-26

公开（公告）号：CN112329682B

主分类号：G06V40/10

分类号：G06V40/10;G06V10/25;G06V10/42;G06V10/764;G06N3/0464

优先权：

专利状态码：有效-授权

法律状态：2024.01.26#授权;2021.02.26#实质审查的生效;2021.02.05#公开

摘要：本发明涉及一种基于穿越动作和交通场景上下文因素的行人穿越马路意图识别方法，首先通过faster‑RCNN进行行人检测，进一步利用行人的运动信息搜索感兴趣目标，提取感兴趣目标的运动序列、周围交通场景序列以及轨迹位置；其次设计了一种三维卷积神经网络来处理感兴趣目标的运动序列，得到与行人穿越马路意图相关的行为特征；然后本发明根据行人所处的局部交通场景的要素以及车辆行驶速度得到两个权重，来修正人‑车距离，并将修正后的距离送到多层感知机进行编码，得到与行人穿越马路意图相关的距离特征；最后将行为特征和距离特征进行信息融合，利用全连接层将融合后的特征降维，并通过softmax操作得到行人是否穿越马路的结果。

主权项：1.一种基于穿越动作和交通场景上下文因素的行人穿越马路意图识别方法，其特征是：具有以下步骤：S1、基于运动目标检测的感兴趣目标搜索；S2、基于三维卷积神经网络的穿越动作识别；S3、基于上下文因素的距离编码模块，具体包括：1、基于目标检测的交通场景上下文识别：识别出当前场景的交通要素，包括交通灯、斑马线以及行人标志；2、基于上下文因素的人-车距离编码：车辆与行人的距离很大程度上影响了行人是否会穿越马路的决策，车辆距离行人越远，行人越倾向于穿越；车辆的速度越慢，行人越倾向于穿越；感兴趣行人的局部交通场景内有交通要素，行人越倾向于穿越；针对人和车之间距离的计算，定义xdis和ydis分别表示人和车之间的横向和纵向距离，由于摄像头通常悬挂于车内，因此假设车辆处于底部中间的位置，根据检测到的感兴趣行人的中心位置cx和cy，xdis和ydis的计算如下：xdis＝abscx-W2wydis＝abscy-Hh其中，W和H分别表示图像的宽和高，w和h分别表示感兴趣行人的外接矩形框的宽和高，用来克服图像的透视畸变效应；针对车速对行人穿越决策的影响，定义车速权重wv，根据车速的不同将wv分为5个级别，具体定义如下： 结合感兴趣行人和车之间的横向和纵向距离xdis和ydis、车速权重wv以及交通场景权重wb，定义修正后的横向和纵向距离和 得到修正后的横向和纵向距离和之后，使用一个多层感知机对距离因素进行编码，抽取出能够反映行人穿越意图的特征，编码方式如下： 其中，fp表示所提取的距离特征，ψ表示采用的多层感知机，Wp表示多层感知机的可学习参数；S4、融合动作识别与上下文因素的行人穿越马路意图识别，具体包括：1、通过搭建三维卷积神经网络，从行人的动作中提取与行人穿越意图相关的编码特征fa，并根据感兴趣行人周围局部交通场景的上下文要素及人-车距离以及车的行驶速度，得到上下文因素的人-车距离编码特征fp，进一步融合这两个编码特征，从而得到能够综合反映行人穿越意图的特征并据此判断行人是否会进行穿越；2、采用直接拼接的方式融合fa与fp，并使用一个全连接层FC将融合后的特征映射成包含两个神经元的向量，最后通过softmax操作得到穿越意图的分类识别结果。

全文数据：

权利要求：

百度查询： 常州大学 一种基于穿越动作和交通场景上下文因素的行人穿越马路意图识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD