申请/专利权人：广东汇通信息科技股份有限公司

申请日：2022-12-16

公开（公告）日：2023-03-10

公开（公告）号：CN115601714B

主分类号：G06V20/52

分类号：G06V20/52;G06V10/75;G06V10/764;G06V10/80;G06V40/20;G08B21/02;G08B25/08

优先权：

专利状态码：有效-授权

法律状态：2023.03.10#授权;2023.02.07#实质审查的生效;2023.01.13#公开

摘要：本发明提供了基于多模态数据分析的校园暴力行为识别方法，包括：采集校园区域内各监测点的数据信息进行预处理；对预处理的每个图像帧中的人物对象进行第一标定裁剪以及对场景对象进行第二标定裁剪，同时，对预处理中存在的人物对象的音频进行第一提取，对对应场景对象的音频进行第二提取；将第一标定裁剪结果与第二标定裁剪结果进行标定融合，得到若干融合图，同时将连续时刻的第一提取结果与第二提取结果进行声音融合；获取融合图的行为匹配参数以及匹配的第一提取结果和第二提取结果，并输入到暴力分析模型中，判断人物对象是否存在校园暴力行为。通过多模态的数据分析，采用人物加场景的方式来进行判断，提高校园暴力行为识别判断的准确性。

主权项：1.基于多模态数据分析的校园暴力行为识别方法，其特征在于，包括：步骤1：采集校园区域内各监测点的数据信息，并进行预处理；步骤2：对预处理结果中每个图像帧中的人物对象进行第一标定裁剪以及对每个图像帧中的场景对象进行第二标定裁剪，同时，对预处理结果中存在的人物对象的音频进行第一提取以及对存在的场景对象的音频进行第二提取；步骤3：对连续区域以及连续时刻中的第一标定裁剪结果与第二标定裁剪结果进行标定融合，构建得到若干融合图；步骤4：获取每个融合图的行为匹配参数以及匹配时刻段的第一提取结果和第二提取结果，并输入到暴力分析模型中，判断对应人物对象是否存在校园暴力行为；其中，对连续区域以及连续时刻中的第一标定裁剪结果与第二标定裁剪结果进行标定融合，构建得到若干融合图，包括：步骤31：获取场景对象未受到行为动作影响下的基准图像帧；步骤32：获取每个监测点下的每个第一图像帧的第二标定裁剪结果，并分别与所述基准图像帧中对场景对象的关键点标定结果进行点对应分析，获取对应程度；步骤33：提取所述对应程度小于预设程度的第二图像帧以及提取所述对应程度不小于预设程度的第三图像帧；步骤34：按照每个第三图像帧的出现顺序，将每个第三图像帧匹配的对应程度进行依次排序，构建得到程度序列；步骤35：分析所述程度序列中每个序列的序列大小以及每个序列基于相邻序列的起伏状态，并基于序列分析模型，对所述程度序列进行序列拆分，来确定人物对象的行为动作对场景对象的影响次数；步骤36：若所述影响次数为1次，确定所述程度序列中首序列的第一出现时刻；步骤37：确定所述程度序列中的平稳序列的第二出现时刻，根据所述第一出现时刻与第二出现时刻的时刻差绝对值，预估对所述第一出现时刻的向前推测时间步长，来从所述第二图像帧中获取人物对象的具代表的行为动作时刻；步骤38：将具代表的行为动作时刻的图像帧的第一标定裁剪结果与对应第二出现时刻的图像帧的第二标定裁剪结果进行融合，得到对应的融合图；步骤39：若所述影响次数为多次，分别确定所述程度序列中的变化临界序列，并分别确定每个变化临界序列的第三出现时刻；步骤310：对第一个变化临界序列按照常规预估标准，预估第一推测步长，对剩余每个变化临界序列，按照常规预估标准以及在当下变化临界序列之前的变化临界序列对应的场景变化位置，预估第二推测步长；步骤320：根据所述第一推测步长与第二推测步长，从所述第二图像帧中匹配得到与每个变化临界序列相一致的具代表的行为动作的图像帧，并分别提取对应的第一标定裁剪结果与对应的变化临界序列相关的场景对象的图像帧所提取的第二标定裁剪结果进行融合，得到对应的融合图。

全文数据：

权利要求：

百度查询： 广东汇通信息科技股份有限公司 基于多模态数据分析的校园暴力行为识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD