申请/专利权人:浙江工业大学
申请日:2020-08-28
公开(公告)日:2024-03-22
公开(公告)号:CN112131959B
主分类号:G06V40/20
分类号:G06V40/20;G06V10/774;G06V10/82;G06N3/0464;G06N3/08
优先权:
专利状态码:有效-授权
法律状态:2024.03.22#授权;2021.01.12#实质审查的生效;2020.12.25#公开
摘要:一种基于多尺度特征强化的2D人体姿态估计方法,包括以下步骤:1首先对输入图片提取一个具有高表征能力的特征,通过分离注意力模块对不同尺度的特征进行跨通道的交互;2对得到不同尺度的特征图构建多级预测网络,每一阶段的特征进行横向传播和向下传播融合,在保证语义信息的同时融合较多的空间分辨率信息;3构建高分辨率调整网络对多级预测网络的定位结果进行微调,将多级特征通过转置卷积上采样到最大分辨率,然后进行级联操作,对损失较大的关键点进行定位;4整个网络结构构建完成后,需要对其输入数据进行处理和设置参数。本发明提高了整个网络对不同尺度关键点的检测能力。
主权项:1.一种基于多尺度特征强化的2D人体姿态估计方法,其特征在于,所述方法包括以下步骤:1获取高表征能力的抽象特征:将预处理后的图片输入ResNeSt骨干网络,通过分离注意力模块对不同维度的特征进行跨通道交互,去掉最后的分类层并输出四个阶段的特征;2构建多级预测网络:通过步骤1获取四个分辨率不同的特征,对于这四个阶段的特征构建一个强化特征的功能金字塔,由于顶层特征点在传播过程中损失了较多的语义信息,所以使用特征强化策略对高层特征进行融合强化;3构建高分辨率调整网络:构建一个高分辨率调整网络对前一个阶段预测损失较大的关键点进行位置调整,通过转置卷积对多级预测网络的中的特征进行上采样,很好地结合上采样和卷积操作,对扩张后的特征进行级联操作,为较小尺度的关键点引入了较为丰富的空间细节;4整体网络的训练设置:将所有输入图片设置为4:3的高宽比,然后使用人体检测器获取每张图片中的人体实例,输入的实例尺寸设置为384×288,使用MSE损失函数对训练过程中误差进行梯度回传;网络的初始学习率设置为5e-4,权重衰减为1e-5,使用Adam优化器,每训练6个批次后学习率减少为原来的一半,一个训练20个批次。
全文数据:
权利要求:
百度查询: 浙江工业大学 一种基于多尺度特征强化的2D人体姿态估计方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。