买专利,只认龙图腾
首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

【发明授权】一种行人行为检测方法和系统_广州烽火众智数字技术有限公司_201810981613.6 

申请/专利权人:广州烽火众智数字技术有限公司

申请日:2018-08-27

公开(公告)日:2023-05-23

公开(公告)号:CN109344705B

主分类号:G06V40/20

分类号:G06V40/20;G06V10/764

优先权:

专利状态码:有效-授权

法律状态:2023.05.23#授权;2019.03.12#实质审查的生效;2019.02.15#公开

摘要:本发明公开了一种行人行为检测方法和系统,其中方法包括有以下步骤:利用监控设备采集行人视频;对视频中的图像帧进行处理得到行人的骨骼信息,所述骨骼信息包括有骨骼像素和非骨骼像素;建立行人的骨骼模型;利用骨骼模型和视频图像帧的骨骼信息计算行人的行为概率;根据行人的行为概率判断行人的行为是否存在异常。本发明通过采集行人视频对图像帧中行人的骨骼像素和非骨骼像素进行分析,能够获取行人更加细微的行为动作;同时,还可结合神经网络模型对分析结果进行准确分类,基于行为概率的计算进行判断,提高判断的准确性,满足利用视频技术进行自动化侦查的能力。本发明作为一种行人行为检测方法和系统可广泛应用于视频数据处理领域。

主权项:1.一种行人行为检测方法,其特征在于,包括有以下步骤:利用监控设备采集行人视频;对视频中的图像帧进行处理得到行人的骨骼信息,所述骨骼信息包括有骨骼像素和非骨骼像素,其中,所述非骨骼像素用于辅助异常行为判断;建立行人的骨骼模型;将所述骨骼模型和所述骨骼信息输入至神经网络模型,输出行人行为的分类结果和对应的概率,其中,所述神经网络模型为LSTM循环网络模型;根据所述分类结果和对应的所述概率判断行人的行为是否存在异常。

全文数据:一种行人行为检测方法和系统技术领域本发明涉及视频数据处理领域,尤其是一种行人行为检测方法和系统。背景技术行人违法行为在城市公路、城市快速通道上经常发生,严重影响了道路交通安全管理、社会治安管理。目前,实现整治行人异常的方法,主要由治安管理人员现场站岗、现场监督,对于已经发生的违法行为只能人工的查询监控视频来寻找线索;此类方法费时费力,而且效率不高,严重制约社会治安管理,大大浪费了人力。现有技术中提供了基于卷积神经网络与支持向量机的人体行为识别方法CN108052896A,其技术方案通过人体的骨骼序列图来识别人体行为,识别过程中仅利用骨骼序列不利于对行为细节的识别,例如在不法分子实施偷窃行为时,由于动作隐蔽难以发现。发明内容为了解决上述技术问题,本发明的目的是:提供一种实现行人行为细节进行准确识别分析的检测方法。为了解决上述技术问题,本发明的另一目的是:提供一种实现行人行为细节进行准确识别分析的检测系统。本发明所采用的技术方案是:一种行人行为检测方法,包括有以下步骤:利用监控设备采集行人视频;对视频中的图像帧进行处理得到行人的骨骼信息,所述骨骼信息包括有骨骼像素和非骨骼像素;建立行人的骨骼模型;利用骨骼模型和视频图像帧的骨骼信息计算行人的行为概率;根据行人的行为概率判断行人的行为是否存在异常。进一步,所述对视频中的图像帧进行处理得到行人的骨骼信息这一步骤中,具体采用图像分析方法或深度学习方法对视频中的图像帧进行处理。进一步,所述利用骨骼模型和视频图像帧的骨骼信息计算行人的行为概率这一步骤,具体为:骨骼模型和视频图像帧的骨骼信息输入至神经网络模型,输出行人行为的分类结果和对应的概率。进一步,所述神经网络模型为LSTM循环网络模型。进一步,所述行人行为的分类结果包括有正常行为和异常行为,若异常行为的概率超过0.65,则判断行人的行为存在异常。本发明所采用的技术方案是:一种行人行为检测系统,包括有数据采集模块,用于利用监控设备采集行人视频;骨骼信息分析模块,用于对视频中的图像帧进行处理得到行人的骨骼信息,所述骨骼信息包括有骨骼像素和非骨骼像素;骨骼模型生成模块,用于建立行人的骨骼模型;行为概率计算模块,用于利用骨骼模型和视频图像帧的骨骼信息计算行人的行为概率;异常判断模块,用于根据行人的行为概率判断行人的行为是否存在异常。进一步,所述骨骼信息分析模块采用图像分析方法或深度学习方法对视频中的图像帧进行处理得到行人的骨骼信息。进一步,所述行为概率计算模块采用神经网络模型,用于将骨骼模型和视频图像帧的骨骼信息输入至神经网络模型并输出行人行为的分类结果和对应的概率。进一步,所述神经网络模型为LSTM循环网络模型。进一步,所述行人行为的分类结果包括有正常行为和异常行为,所述异常判断模块用于在异常行为的概率超过0.65时判断行人的行为存在异常。本发明的有益效果是:通过采集行人视频对图像帧中行人的骨骼像素和非骨骼像素进行分析,能够获取行人更加细微的行为动作;同时,还可结合神经网络模型对分析结果进行准确分类,基于行为概率的计算进行判断,提高判断的准确性,满足利用视频技术进行自动化侦查的能力。附图说明图1为本发明方法的步骤流程图。具体实施方式下面结合附图对本发明的具体实施方式作进一步说明:参照图1,一种行人行为检测方法,包括有以下步骤:步骤一:利用监控设备采集行人视频;步骤二:对视频中的图像帧进行处理得到行人的骨骼信息,所述骨骼信息包括有骨骼像素和非骨骼像素;进一步作为优选的实施方式,步骤二中具体采用图像分析方法或深度学习方法对视频中的图像帧进行处理。步骤三:建立行人的骨骼模型;以卷积神经网络为例,首先建立建立5阶段的卷积网络,计算第K0≤K≤4阶段感受野的大小rfk;建立侧输出层使得每阶段输出的通道数等于阶段数,对每个侧输出层sok计算它与骨骼样本的交叉熵Esok;对各侧输出层中对应通道数据进行融合,即将通道进行融合,可以得出5个单通道的融合层Fso={Fsok|k∈{0,1,..,5}};计算融合层与骨骼样本的交叉熵EFso,并与Eso进行关联得出损失函数;最后进行迭代训练,得出模型参数;根据训练好的骨骼模型,计算出融合层Fso;对融合层按通道维度总共有5通道进行归一化;对Fso0进行颜色反转,即便是物体的骨骼图片;步骤四:利用骨骼模型和视频图像帧的骨骼信息计算行人的行为概率;进一步作为优选的实施方式,所述利用骨骼模型和视频图像帧的骨骼信息计算行人的行为概率这一步骤,具体为:骨骼模型和视频图像帧的骨骼信息输入至神经网络模型,输出行人行为的分类结果和对应的概率。进一步作为优选的实施方式,所述神经网络模型为LSTM循环网络模型,采用LSTM循环网络模型可得出当前时刻段当前行人的分类行为概率,尤其是同时对骨骼像素和非骨骼像素进行分析时,能够对行人的细微动作进行分析处理。例如背景技术中提到的不法分子实施偷窃行为时,由于动作隐蔽难以发现,在本发明具体实施方式中,由于之前步骤中还输入了非骨骼像素进行分析,然后再步骤四中通过结合LSTM循环网络模型进行分类,并且获取对应行为概率,从而辅助进行异常行为的判断。步骤五:根据行人的行为概率判断行人的行为是否存在异常。进一步作为优选的实施方式,所述行人行为的分类结果包括有正常行为和异常行为,若异常行为的概率超过0.65,则判断行人的行为存在异常,必要时还可通过网络向上级平台进行报警处理。进一步作为优选的实施方式,所述异常行为还可细分为交通违章行为、扰乱治安行为、潜在危险行为、犯罪嫌疑行为等等。作为本发明第二实施例,与上述方法所对应的一种行人行为检测系统,包括有数据采集模块,用于利用监控设备采集行人视频;骨骼信息分析模块,用于对视频中的图像帧进行处理得到行人的骨骼信息,所述骨骼信息包括有骨骼像素和非骨骼像素;骨骼模型生成模块,用于建立行人的骨骼模型;行为概率计算模块,用于利用骨骼模型和视频图像帧的骨骼信息计算行人的行为概率;异常判断模块,用于根据行人的行为概率判断行人的行为是否存在异常。进一步作为优选的实施方式,所述骨骼信息分析模块采用图像分析方法或深度学习方法对视频中的图像帧进行处理得到行人的骨骼信息。进一步作为优选的实施方式,所述行为概率计算模块采用神经网络模型,用于将骨骼模型和视频图像帧的骨骼信息输入至神经网络模型并输出行人行为的分类结果和对应的概率。进一步作为优选的实施方式,所述神经网络模型为LSTM循环网络模型。进一步作为优选的实施方式,所述行人行为的分类结果包括有正常行为和异常行为,所述异常判断模块用于在异常行为的概率超过0.65时判断行人的行为存在异常。以上是对本发明的较佳实施进行了具体说明,但本发明创造并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可以作出种种的等同变换或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

权利要求:1.一种行人行为检测方法,其特征在于,包括有以下步骤:利用监控设备采集行人视频;对视频中的图像帧进行处理得到行人的骨骼信息,所述骨骼信息包括有骨骼像素和非骨骼像素;建立行人的骨骼模型;利用骨骼模型和视频图像帧的骨骼信息计算行人的行为概率;根据行人的行为概率判断行人的行为是否存在异常。2.根据权利要求1所述的一种行人行为检测方法,其特征在于:所述对视频中的图像帧进行处理得到行人的骨骼信息这一步骤中,具体采用图像分析方法或深度学习方法对视频中的图像帧进行处理。3.根据权利要求1所述的一种行人行为检测方法,其特征在于:所述利用骨骼模型和视频图像帧的骨骼信息计算行人的行为概率这一步骤,具体为:骨骼模型和视频图像帧的骨骼信息输入至神经网络模型,输出行人行为的分类结果和对应的概率。4.根据权利要求3所述的一种行人行为检测方法,其特征在于:所述神经网络模型为LSTM循环网络模型。5.根据权利要求3所述的一种行人行为检测方法,其特征在于:所述行人行为的分类结果包括有正常行为和异常行为,若异常行为的概率超过0.65,则判断行人的行为存在异常。6.一种行人行为检测系统,其特征在于:包括有数据采集模块,用于利用监控设备采集行人视频;骨骼信息分析模块,用于对视频中的图像帧进行处理得到行人的骨骼信息,所述骨骼信息包括有骨骼像素和非骨骼像素;骨骼模型生成模块,用于建立行人的骨骼模型;行为概率计算模块,用于利用骨骼模型和视频图像帧的骨骼信息计算行人的行为概率;异常判断模块,用于根据行人的行为概率判断行人的行为是否存在异常。7.根据权利要求6所述的一种行人行为检测系统,其特征在于:所述骨骼信息分析模块采用图像分析方法或深度学习方法对视频中的图像帧进行处理得到行人的骨骼信息。8.根据权利要求6所述的一种行人行为检测系统,其特征在于:所述行为概率计算模块采用神经网络模型,用于将骨骼模型和视频图像帧的骨骼信息输入至神经网络模型并输出行人行为的分类结果和对应的概率。9.根据权利要求8所述的一种行人行为检测系统,其特征在于:所述神经网络模型为LSTM循环网络模型。10.根据权利要求8所述的一种行人行为检测系统,其特征在于:所述行人行为的分类结果包括有正常行为和异常行为,所述异常判断模块用于在异常行为的概率超过0.65时判断行人的行为存在异常。

百度查询: 广州烽火众智数字技术有限公司 一种行人行为检测方法和系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。