申请/专利权人:上海交通大学
申请日:2020-09-10
公开(公告)日:2020-11-24
公开(公告)号:CN111985456A
主分类号:G06K9/00(20060101)
分类号:G06K9/00(20060101);G06N3/04(20060101);H04N19/114(20140101);H04N19/176(20140101);H04N19/423(20140101);H04N19/513(20140101);G06F12/0875(20160101);G06F12/0895(20160101);G06F12/123(20160101)
优先权:
专利状态码:有效-授权
法律状态:2022.08.30#授权;2020.12.11#实质审查的生效;2020.11.24#公开
摘要:本发明公开了一种视频实时识别分割及检测架构,包括主存以及通过总线分别与主存连接的视频解码器、视频识别处理模块和神经网络处理模块;其中视频识别处理模块用于基于运动矢量表存储B类帧的运动矢量,并基于B类帧的运动矢量按解码顺序依次从主存中读取B帧图像数据参考帧中的图像分割结果和已获取的B帧图像数据的重建结果或B帧图像数据的参考帧图像检测结果并处理,获取B类帧的重建结果。本发明结构通过将视频解码器和神经网络紧密地联系起来,来维持准确率的同时实现更高的性能,解决现有对视频识别任务处理方法无法在确保精度较高的基础上降低计算量和能耗的问题。
主权项:1.一种视频实时识别分割及检测架构,其特征在于,包括主存以及通过总线分别与所述主存连接的视频解码器、视频识别处理模块和神经网络处理模块;所述视频解码器,用于对目标视频进行解码获取解码顺序,并获取目标视频的I帧类图像数据、P帧类图像数据和运动矢量表;所述视频识别处理模块,用于基于所述运动矢量表存储B类帧的运动矢量,并基于B类帧的运动矢量按解码顺序依次从所述主存中读取B帧图像数据参考帧中的图像分割结果和已获取的B帧图像数据的重建结果或B帧图像数据的参考帧图像检测结果并处理,获取B类帧的重建结果;所述神经网络处理模块,用于利用第一预设神经网络对I帧类图像数据和P帧类图像数据进行分割得到I帧类视频分割结果和P帧类视频分割结果,利用第三预设神经网络对I帧类图像数据和P帧类图像数据进行检测得到I帧类视频检测结果和P帧类视频检测结果,利用第二预设神经网络对B类帧的重建结果、I类帧图像分割结果和P类帧图像分割结果进行分割,得到B类帧的图像检测结果,且利用第二预设神经网络对B类帧的重建结果、设定后的I类帧图像检测结果、设定后的P类帧图像检测结果进行检测,得到B类帧的图像检测结果;所述主存,用于对I帧类图像数据、P帧类图像数据、I帧类视频分割结果、P帧类视频分割结果、I帧类视频检测结果、P帧类视频检测结果、B帧类的重建结果、设定后的I帧类图像检测结果、设定后的P帧类图像检测结果、B帧类视频分割结果以及B帧类的视频检测结果进行存储;其中,所述目标视频的视频编解码标准为具有I帧图像数据、B帧图像数据和P帧图像数据的分类,具有运动矢量表,且每帧图像数据按预设方式分割成多个分割小块。
全文数据:
权利要求:
百度查询: 上海交通大学 视频实时识别分割及检测架构
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。