申请/专利权人：重庆邮电大学;重庆市科学技术研究院

申请日：2023-12-28

公开（公告）日：2024-03-19

公开（公告）号：CN117727071A

主分类号：G06V40/10

分类号：G06V40/10;G06V10/34;G06V10/42;G06V10/44;G06V10/80;G06V10/82;G06T7/73;G06T7/66;G06N3/0455;G06N3/0464;G06N3/09;G06N3/096

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.05#实质审查的生效;2024.03.19#公开

摘要：本发明属于自然图像领域，具体涉及一种基于分步处理关节的文本引导多人姿态估计方法，包括构建姿态估计网络并对其进行训练，将待检测的任务场景图输入完成训练的姿态估计网络得到的热图经过非极大值抑制进行后处理得到图像中每个人物的关节点坐标，将目标任人物的关节点和骨架连接输出作为姿态估计；本发明采用针对关节的分而治之和文本提示策略，能够有效地解决场景复杂和遮挡严重以及场景姿态数据集稀少的问题。

主权项：1.一种基于分步处理关节的文本引导多人姿态估计方法，其特征在于，构建姿态估计网络并对其进行训练，将待检测的任务场景图输入完成训练的姿态估计网络得到的热图经过非极大值抑制进行后处理得到图像中每个人物的关节点坐标，将目标任人物的关节点和骨架连接输出作为姿态估计，构建姿态估计网络并对其进行训练具体包括以下步骤：S1、构建训练数据集，训练数据集中的遥感图像为带有关节坐标点标签的多人场景图像；S2、构建姿态估计网络，该网络包括HRnet预训练网络模块、人体识别模块、单人姿态估计模块和语言提示模块；S3、将遥感图像输入HRnet预训练网络模块，HRnet预训练网络模块得到一系列特征图；S4、将得到的一系列特征图输入人体识别模块，得到图像中每个人物的中心点位置，并将该中心点位置作为该人物的位置；S5、将得到的一系列特征图以及每个人物的位置输入单人姿态估计模块，通过通道注意力和空间注意力实现人体解耦，即将包含n个人物的一系列特征图转换为n张特征图，每张特征图包含一个人物信息；S6、根据每张特征图需要预测的关节数量K，将特征图通过卷积操作转换为K维，并根据关节点与躯干的距离将关节点划分为躯干关节和枝叶关节；S7、通过枝叶关节获取关节点的局部特征，通过躯干关节获取关节点的全局特征；S8、通过注意力机制建立局部特征和全局特征各个通道之间的联系，对局部特征和全局特征进行融合；S9、将融合后的特征输入热图头预测得到关节点热图，并计算人物的位置与关节点热图中人物位置的Focal损失；S10、通过计算图像中不同人物的对比损失，使用算术平均计算图像的总体对比损失；S11、语言提示模块降压解耦的特征图输入视觉Transformer进行粗糙文本提示学习，将人体关节点划分为头、躯干、右手臂、左手臂、右腿、左腿六个人部分，将这六个部分的名称作为粗糙提示文本；S12、对基于粗糙文本学习到的特征输入精细文本学习中进行提示学习，获得像素级匹配得分特征和关节级匹配得分矩阵，精细文本提示包括该该关节的具体名称以及该关节的可见度，关节的可见度包括可见、不可见、被遮挡三种情况；S13、计算像素级匹配得分特征与热力图标注之间的Focal损失；S14、计算像素级匹配得分特征与热图标签之间的均方损失，以及关节级匹配得分矩阵与关节的标签之间的交叉熵损失；S15、计算像素级匹配得分特征与热图头输出的预测热图之间的绝对损失；S16、根据所有损失建立姿态估计网络的总损失函数，利用总损失函数对网络进行训练，总损失函数表示为：L＝al+bFLcenter+cFL+dLpixel+eLkeypoint+fLstudy其中，a、b、c、d、e和f表示超参数，l为总体对比损失，FLcenter为人物的位置与关节点热图中人物位置的Focal损失，FL为像素级匹配得分特征与热图标签之间的Focal损失，Lpixel为像素级匹配得分特征与热图标签之间的均方损失，Lkeypoint为关节级匹配得分矩阵与关节的标签之间的交叉熵损失，Lstudy为像素级匹配得分特征与热图头输出的预测热图之间的绝对损失。

全文数据：

权利要求：

百度查询： 重庆邮电大学;重庆市科学技术研究院 一种基于分步处理关节的文本引导多人姿态估计方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD