申请/专利权人：北京联合大学

申请日：2021-03-04

公开（公告）日：2023-10-20

公开（公告）号：CN113221626B

主分类号：G06V40/10

分类号：G06V40/10;G06V10/82;G06N3/0464;G06N3/082;G06V10/74

优先权：

专利状态码：有效-授权

法律状态：2023.10.20#授权;2021.08.24#实质审查的生效;2021.08.06#公开

摘要：本发明公开了一种基于Non‑local高分辨率网络的人体姿态估计方法，本方法新设计了非局部网络模块，残差连接允许将任意一个新的非局部网络模块插入到任何网络中，而不破坏原有的网络结构，即本文算法可以使用高分辨率网络的初始预训练权重。通过非局部的操作可以保持输入的参数大小，非局部网络模块是可以改变输入值的，并且非局部网络的输入端和输出端，参数是相同的。在高分辨率网络的第4阶段，分辨率最小的模块上增加非局部模块，设定通道数为256，在这个阶段加入非局部模块的原因是因为这个阶段可以得到分辨率最低的特征，越小的分辨率包含有强语义信息的低层特征，在小分辨率特征的模块上增加非局部模块，突出主要特征，从而获得更好的实验结果。

主权项：1.一种基于Non-local高分辨率网络的人体姿态估计方法，其特征在于：包括如下步骤：步骤1，获取图像，通过函数直接获取本地图像，去掉本地图像的RGB；步骤2，利用的YOLOv3网络检测人体，获得人体包围框bbox；步骤3，将人体检测框的高度或宽度扩展到固定比：高：宽＝4:3，然后将人体检测框从图像中裁切出来，并重新调整到固定大小256×192；步骤4，人体骨架提取，将步骤3中的人体检测框放入NLHR网络，运行语句将人体骨架提取出来；有17个关键点；NLHR网络参数及流程如下：网络的起始部分为两层步长为2，卷积核为3×3的卷积，使得分辨率降低到输入时的14，通道数变为64，之后是网络的主体结构，网络主体包含4个阶段、4个并行卷积分支；分辨率分别为14、18、116、132；步骤5，将经过上述网络得到的关键点热图和真值热图结果间的均方误差；步骤6，生成包含有对应真值热图和关键点热图信息的json文件；步骤7，运行语句，得到人体骨架图，并和原始图像重合显示；步骤4的NLHR网络中，第1阶段包含4个Bottleneck残差单元，第1个残差单元经过三层卷积使通道数由64增加到256，然后经过3个通道数为256的Bottleneck残差单元；接下来进入transition1模块，在该模块分为两支，一支通过步长为1，卷积核为3×3的卷积，分辨率保持输入时的14，通道数变为32，记为x0；另外一支通过步长为2，卷积核为3×3的卷积，分辨率降为输入时的18，通道数变为64，记为x1；步骤4的NLHR网络中，第2阶段，x0进入通道数为32的4个连续的Basicblock，x1进入通道数为64的4个连续的Basicblock；接着进入融合阶段，x0分为两支一支保持不变，另外一支通过步长为2，卷积核为3×3的卷积，此时分辨率降为18，通道数变为64；x1也为两支一支保持不变，另外一支通过步长为1，卷积核为1×1的卷积，此时分辨率升为14，通道数变为32；然后通道数相同的两两融合，成为新的x0和x1；接下来进入transition2模块，在该模块x0保持不变，x1分为两支，一支保持不变，另外一支通过步长为2，卷积核为3×3的卷积，此时分辨率降为116，通道数变为128，记为x2；步骤4的NLHR网络中，第3阶段，x0进入通道数为32的4个连续的Basicblock，x1进入通道数为64的4个连续的Basicblock，x2进入通道数为128的4个连续的Basicblock；接着进入融合阶段，x0分为3支，第1支保持不变；第2支通过步长为2，卷积核为3×3的卷积，此时分辨率降为18，通道数变为64；第3支通过步长为2，卷积核为3×3的卷积，此时分辨率降为116，通道数变为128；x1分为3支，第1支通过步长为1，卷积核为1×1的卷积，此时分辨率升为14，通道数变为32；第2支保持不变；第3支通过步长为2，卷积核为3×3的卷积，此时分辨率降为116，通道数变为128；x2分为3支，第1支通过步长为1，卷积核为1×1的卷积，此时分辨率升为14，通道数变为32；第2支通过步长为1，卷积核为1×1的卷积，此时分辨率升为18，通道数变为64；第3支保持不变；然后通道数相同的互相融合，成为新的x0，x1和x2；接下来进入transition3阶段，在该阶段x0和x1保持不变，x2分为两支，一支保持不变，另外一支通过步长为2，卷积核为3×3的卷积，此时分辨率降为132，通道数变为256，记为x3；步骤4的NLHR网络中，第4阶段，x0进入通道数为32的4个连续的Basicblock，x1进入通道数为64的4个连续的Basicblock，x2进入通道数为128的4个连续的Basicblock，x3进入通道数为256的4个连续的Basicblock，然后经过非局部网络模块，经过该网络模块后输入与输出大小保持不变；接着进入融合阶段，x0分为4支，第1支保持不变；第2支通过步长为2，卷积核为3×3的卷积，此时分辨率降为18，通道数变为64；第3支通过步长为2，卷积核为3×3的卷积，此时分辨率降为116，通道数变为128；第4支通过步长为2，卷积核为3×3的卷积，此时分辨率降为132，通道数变为256；x1分为4支，第1支通过步长为1，卷积核为1×1的卷积，此时分辨率升为14，通道数变为32；第2支保持不变；第3支通过步长为2，卷积核为3×3的卷积，此时分辨率降为116，通道数变为128；第4支通过步长为2，卷积核为3×3的卷积，此时分辨率降为132，通道数变为256；x2分为4支，第1支通过步长为1，卷积核为1×1的卷积，此时分辨率升为14，通道数变为32；第2支通过步长为1，卷积核为1×1的卷积，此时分辨率升为18，通道数变为64；第3支保持不变；第4支通过步长为2，卷积核为3×3的卷积，此时分辨率降为132，通道数变为256；x3分为4支，第1支通过步长为1，卷积核为1×1的卷积，此时分辨率升为14，通道数变为32；第2支通过步长为1，卷积核为1×1的卷积，此时分辨率升为18，通道数变为64；第3支通过步长为1，卷积核为1×1的卷积，此时分辨率升为132，通道数变为128；第4支保持不变；然后通道数相同的互相融合，成为新的x0，x1，x2和x3；接下来x0保持不变；x1通过步长为1，卷积核为1×1的卷积，此时分辨率升为14，通道数变为32；x2通过步长为1，卷积核为1×1的卷积，此时分辨率升为14，通道数变为32；x3通过步长为1，卷积核为1×1的卷积，此时分辨率升为14，通道数变为32；然后x0，x1，x2和x3相互融合。

全文数据：

权利要求：

百度查询： 北京联合大学 一种基于Non-local高分辨率网络的人体姿态估计方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD