申请/专利权人：杭州电子科技大学

申请日：2020-09-18

公开（公告）日：2024-04-05

公开（公告）号：CN112232134B

主分类号：G06V40/20

分类号：G06V40/20;G06V20/40;G06V10/80;G06V10/52;G06V10/42;G06V10/44;G06V10/82;G06N3/0464;G06N3/045;G06N3/084;G06N3/048

优先权：

专利状态码：有效-授权

法律状态：2024.04.05#授权;2021.02.02#实质审查的生效;2021.01.15#公开

摘要：本发明公开了一种基于沙漏网络结合注意力机制的人体姿态估计方法。本发明步骤如下:步骤1、在沙漏模块前面我们把加入一条分支计算非局部注意力特征，并把这个注意力特征融入主分支。我们称之为全局注意力模块。步骤2、在沙漏模块后面我们把输出分成若干通道分别做注意力计算得到每个通道的特征作为输出。我们称之为局部注意力模块。步骤3、通过反向传播算法对网络参数进行训练，直至整个网络模型收敛。本发明解决了原来模型的人际间关节的干扰和自我关节的干扰的问题。人体姿态估计在基于图像或视频分析人类行为中起着重要作用，准确高效的人体姿势估计可以促进各种应用，提出的改善方法使得原模型最终的检测效果得到提升。

主权项：1.一种基于沙漏网络结合注意力机制的人体姿态估计方法，其特征在于采用沙漏网络作为人体姿势估计的基本网络结构；堆叠的沙漏网络包含八个沙漏模块，每个沙漏模块都捕获输入信号的多尺度特征表示；在每个沙漏模块之前，将全局注意力模块融入沙漏网络中；此外，每个沙漏模块后面都融入有一个局部注意模块；得到一个融合后堆叠的沙漏网络模型；利用融合后堆叠的沙漏网络模型来逐步改善每个模块产生的检测结果；其具体实现步骤如下：步骤1、在沙漏网络开始阶段，计算全局注意力特征C，并把这个注意力特征融入沙漏模块，该过程称之为全局注意力模块；步骤2、针对每个沙漏模块，将其输出分成若干通道，对每个通道分别做局部注意力计算，将得到的每个通道的局部注意力特征拼接后作为输出，该过程称之为局部注意力模块；步骤3、通过结合步骤1和步骤2的模块得到融合后堆叠的沙漏网络模型；通过反向传播算法对融合后堆叠的沙漏网络模型的参数进行训练，直至整个网络模型收敛；步骤1具体实现如下：1-1.计算图像位置xi处的全局注意力特征C，表示为： 其中，x为输入信号，i是要计算其响应的输出位置的索引，而j是枚举所有可能位置的索引；h·是线性映射：hxj＝whxj，wh是要被学习的权重矩阵；Mx为正则化因子表示为： 其中，l·通过映射为高斯函数来计算特征之间的相似度： 其中，θxi＝wθ*xi和是关于xi和xj的线性映射；1-2.在每个沙漏模块前融入一个全局注意模块，此过程表示为： 其中，S表示沙漏模块的个数；fs是当前沙漏模块的输入特征,fs-1是前一沙漏模块的输入特征,是前一个沙漏模块输出的特征，ys-1是前一个沙漏模块后局部注意力模块输出的预测热图；U·包括几个运算：将前一沙漏模块的输入特征fs-1、前一沙漏模块的输出特征和前一沙漏模块的预测热图ys-1通过卷积统一维度后，对应位置的元素值相加；而表示维度上拼接操作；步骤2所述具体实现如下：设是当前沙漏模块的输出特征，则与每个预测位置相关的特征通过来计算，ws是需要被学习的权重矩阵；通过卷积操作将通道数转变为要预测的目标位置的个数P，将Fs的p个通道切片记作Fs_p，Fs_p表示第s个沙漏模块第p个预测位置的特征；通过使用相关性权重矩阵Ap更新每个特征Fs_p，从而实现局部注意力机制；该相关性权重矩阵Ap是通过利用特征中两个特征形成的特征对之间的相似性来计算： 其中，局部注意力模块对于通道p的输出特征通过以下方式获得： 最后在通道p处预测位置的预测热图ys_p计算为： 其中，ws_p是需要被学习的权重矩阵。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 一种基于沙漏网络结合注意力机制的人体姿态估计方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD