申请/专利权人:南京航空航天大学
申请日:2020-12-23
公开(公告)日:2024-04-12
公开(公告)号:CN112529931B
主分类号:G06T7/194
分类号:G06T7/194;G06T7/136;G06V10/774;G06V10/82;G06N3/0464;G06N3/08
优先权:
专利状态码:有效-授权
法律状态:2024.04.12#授权;2021.04.06#实质审查的生效;2021.03.19#公开
摘要:本发明公开了一种前景分割的方法及系统。该方法包括:获取当前视频帧;获取当前时刻前的第一视频帧、第二视频帧和第三视频帧;根据当前视频帧、第一视频帧、第二视频帧和第三视频帧,生成分层光流图;向分层光流注意力模型输入当前视频帧和分层光流,得到前景分割矩阵;将前景分割矩阵进行可视化处理,得到分割结果。采用本发明的方法及系统,能够在实现跨场景前景分割的同时,保证分割的精度。
主权项:1.一种前景分割的方法,其特征在于,所述方法包括:获取当前视频帧;获取当前时刻前的第一视频帧、第二视频帧和第三视频帧;根据所述当前视频帧、所述第一视频帧、所述第二视频帧和所述第三视频帧,生成分层光流图;向分层光流注意力模型输入所述当前视频帧和所述分层光流,得到前景分割矩阵;所述分层光流注意力模型是利用类内尺度损失函数,对视频帧编码器、光流解码器和解码器进行训练得到的;所述类内尺度损失函数是在焦点损失函数的基础上,乘以基于目标面积的损失调整参数得到的;将所述前景分割矩阵进行可视化处理,得到分割结果;所述分层光流注意力模型的训练步骤,具体包括:将CDNet2014数据集作为训练集,利用所述类内尺度损失函数,对视频帧编码器、光流解码器和解码器进行训练,得到所述分层光流注意力模型;对视频帧编码器、光流解码器和解码器进行一次训练的过程,包括:在所述CDNet2014数据集中选取一组训练数据,所述训练数据包括视频帧,以及与所述视频帧对应的分层光流图和真值;将选取的视频帧输入视频帧编码器,得到视频帧特征;将选取的分层光流图输入光流编码器,得到分层光流特征;将视频帧特征和所述分层光流特征输入所述解码器进行训练,得到前景分割矩阵;根据所述真值和所述类内尺度损失函数,计算所述前景分割矩阵的损失并更新所述视频帧编码器、所述光流解码器和所述解码器的参数;所述类内尺度损失的公式为: 式中,其中,LossCIS为类内尺度损失函数,α为平衡因子,γ为难易因子,p为模型预测结果的概率值,y为真值,y=1表示前景,y=0表示背景,β为基于目标面积的损失调整参数,t为权重系数,fg为运动目标,sfg为场景真值中运动目标在场景中所占的比值。
全文数据:
权利要求:
百度查询: 南京航空航天大学 一种前景分割的方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。