【发明公布】一种基于深度学习的错误动作定位方法_大连理工大学_202110058400.8 

申请/专利权人:大连理工大学

申请日:2021-01-16

发明/设计人:李冬生;李子奇

公开(公告)日:2021-05-07

代理机构:大连理工大学专利中心

公开(公告)号:CN112766147A

代理人:隋秀文;温福雪

主分类号:G06K9/00(20060101)

地址:116024 辽宁省大连市甘井子区凌工路2号

分类号:G06K9/00(20060101);G06K9/62(20060101);G06N3/04(20060101);G06N3/08(20060101)

优先权:

专利状态码:在审-公开

法律状态:2021.05.07#公开

摘要:本发明属于计算机视觉领域,涉及一种基于深度学习的错误动作定位方法。具体步骤包括训练动作识别模型、搭建Action‑CAM网络、将Action‑CAM网络插入动作识别模型、测试错误动作。本发明利用深度学习技术进行错误动作定位,在传统方法中纠正人体错误动作需要人力完成,本发明利用深度学习技术,智能化的定位了人体错误的部位。本发明是一种不需要额外训练错误动作的错误动作定位方法,用训练了正确动作的动作识别模型和本发明提出的Action‑CAM网络组合进行错误动作定位,节省了大量的训练成本。

主权项:1.一种基于深度学习的错误动作定位方法,其特征在于,具体步骤如下:步骤一、训练动作识别模型以正确的动作为数据集,所述的数据集中应包含多种正确且标准的动作,用数据集对动作识别模型进行训练;所述的动作识别模型,输入为动作视频,分类网络为基于3DCNN的动作识别网络,包括卷积层,池化层和激活层等,输出为标记了动作种类的视频;步骤二、搭建Action-CAM网络在步骤一所述的动作识别模型中,设c为错误动作的种类,为第n层特征图上第i,j点像素值,为动作识别模型中第n层网络的第k层特征图对应的权重,求得第n层的热点图为: 其中的值由像素权重和像素梯度经过NReLU的激活值加权相乘而来: 其中NReLU表达式为式3,函数图像如图2所示:NReLU=fx=minx,03由于: 其中Yc表示最终目标动作的置信度得分,经过求Yc关于偏导数,得到表达式: 其中a,b为与i,j在同一特征图中不同的像素点,在动作识别模型采用Softmax激活时,最终目标动作的置信度得分Yc为: 其中Sc表示Softmax输入层目标动作的得分,Sk表示Softmax输入层第k类动作的得分;由于链式法则: 以及Yc关于高阶偏导数:一阶导数: 二阶导数: 三阶导数: 此时求得每一层的热点图统一尺度后累加得到最终的热点图;步骤三、将Action-CAM网络插入步骤一中的动作识别模型在步骤二中的Action-CAM网络插入步骤一的动作识别模型中,插入方式为在动作识别模型的网络中每一个池化层后面添加Action-CAM网络,得到错误动作定位模型,将步骤二Action-CAM网络得到的最终热点图与输入的动作视频的每一帧合并;步骤四、测试错误动作将错误的动作拍摄为视频,输入到步骤三得到的错误动作定位模型中,模型输出的视频中,包含原视频以及热点区域,热点区域则为错误动作的部位。

全文数据:

权利要求:

百度查询: 大连理工大学 一种基于深度学习的错误动作定位方法