申请/专利权人：南京理工大学

申请日：2021-03-18

公开（公告）日：2021-06-08

公开（公告）号：CN112926492A

主分类号：G06K9/00(20060101)

分类号：G06K9/00(20060101);G06K9/62(20060101)

优先权：

专利状态码：有效-授权

法律状态：2022.08.12#授权;2021.06.25#实质审查的生效;2021.06.08#公开

摘要：本发明涉及一种基于单帧监督的时序行为检测方法及系统，本发明构建了初始时序行为检测模型，该模型包括视频处理模块、分类融合模块和动作背景挖掘模块。该模型为一个循环‑依赖系统，其中动作背景挖掘模块首先根据分类融合模块的输出和标注帧挖掘动作和背景；然后挖掘到的动作和背景又作为监督信息反过来训练时序行为检测模型，使得时序行为检测模型的训练精度进一步提高，进而提高时序行为检测的精确度。

主权项：1.一种基于单帧监督的时序行为检测方法，其特征在于，包括：构建初始时序行为检测模型；所述时序行为检测模型包括：视频处理模块、分类融合模块和动作背景挖掘模块；将训练视频输入所述视频处理模块中，提取所述训练视频中图像帧和光流帧的时空特征，得到时空特征集；并对所述训练视频进行单帧标注，得到标注帧；所述时空特征集包括图像时空特征和光流时空特征；所述标注帧包括实际的动作发生的一个时间戳和动作类别；将所述时空特征集输入所述分类融合模块中进行snippet分类，并将分类结果进行融合，得到嵌入特征集、动作分数集、类激活序列集和注意力分数集；将所述动作分数集、所述类激活序列集和所述标注帧输入所述动作背景挖掘模块中，得到所述输入视频中的动作区域和背景区域；将所述标注帧作为监督信息，根据所述动作分数集、所述类激活序列集、所述注意力分数集和所述动作区域和所述背景区域对所述初始时序行为检测模型进行训练，得到第一时序动作检测模型；将所述动作区域和所述背景区域作为监督信息，根据所述嵌入特征集、所述动作分数集、所述类激活序列集和所述注意力分数集对所述第一时序动作检测模型进行训练，得到第二时序动作检测模型；将测试视频输入所述第二时序动作检测模型进行预测，得到预测的动作发生时间和动作类别。

全文数据：

权利要求：

百度查询： 南京理工大学 一种基于单帧监督的时序行为检测方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD