申请/专利权人：南通大学

申请日：2021-08-09

公开（公告）日：2023-08-22

公开（公告）号：CN113537393B

主分类号：G06T17/00

分类号：G06T17/00;G06N3/0464;G06N3/0455;G06N3/08;G06V10/44;G06T7/20

优先权：

专利状态码：有效-授权

法律状态：2023.08.22#授权;2021.11.09#实质审查的生效;2021.10.22#公开

摘要：本发明公开了一种基于改进Transformer的黑暗场景三维人体姿态估计算法，包括以下步骤：制作黑暗场景下人体姿态数据集，并进行数据增强；训练二维人体姿态估计模型，并将经过处理后的图像首先进行二维人体姿态估计，得到人体关节点的二维坐标；将得到的二维关节点坐标组成特征序列作为改进Transformer的输入实现三维人体姿态估计；将训练好的模型部署到移动端设备。本发明在黑暗场景下具有准确率较高和实用性较好等优点。

主权项：1.一种基于改进Transformer的黑暗场景三维人体姿态估计算法，其特征在于：包括如下步骤:S1、通过摄像头拍摄黑暗场景场景下的人体姿态，制作黑暗场景下人体姿态数据集，并进行数据增强；S2、训练二维人体姿态估计模型，并将进行数据处理后的图像首先进行二维人体姿态估计，得到人体关节点的二维坐标；S3、训练改进Transformer模型，将所有人体关节点的二维坐标组成一个特征序列输入到改进Transformer中实现三维人体姿态估计，得到人体关节点的三维坐标；所述S3中通过可切换时域空洞网络、姿态图卷积对Transformer进行改进并在Human3.6M数据集上训练改进后的Transformer模型，具体包括：S31、可切换时域空洞网络结构：输入可切换时域空洞网络的特征序列大小为243,34，输入特征序列经过一个卷积核大小为3、空洞率为1、输出通道数为544的1D卷积，然后特征经过B个具有残差结构的Block；每一个Block首先经过一个卷积核大小为3、空洞率为3C,C∈[1,B],的1维可切换时域空洞卷积，之后特征序列经过一个卷积核大小为1，空洞率为1的1D卷积；每一个卷积后面都有一组1维的批量归一化层、ReLU激活函数以及Dropout层；S32、可切换时域空洞卷积:输入可切换时域空洞卷积的特征序列大小为H,544，其中H表示H帧图像，544表示通道数，输入特征序列首先分别经过卷积核大小为3步长为1空洞率为3C的时域空洞卷积、卷积核大小为S空洞率为1的标准卷积以及自注意力；经过自注意力的特征序列大小为H×H，之后经过平均池化特征大小变为H,1，再经过卷积核大小为1的1D卷积和Softmax得到转换因子M；M与经过卷积核大小为3的时域空洞卷积进行特征提取后的特征序列相乘得到特征序列K2，而1-M与卷积核大小为S的标准卷积进行特征提取得到的特征序列相乘得到特征序列K1；S33、图自注意力机制：机制中的Q先经过姿态图卷积聚合特征序列中关节点的局部特征信息，然后与K进行矩阵相乘，再经过Softmax得到权重矩阵，最后和V相乘得到图自注意力机制的输出；S34、人体关节点的关系包括人体关节点邻接关系、人体关节点对称关系、人体关节点运动关联关系；S35、所述人体关节点运动关联关系共有四类:左手腕连接右脚踝、左手肘连接右膝盖、右手腕连接左脚踝、右手肘连接左膝盖；S36、模型损失由两个部分组成，一个部分是三维坐标差:M＝17，ρi为模型预测的第i关节点的三维坐标，表示第i个关节点三维坐标的真实值；另一部分是人身体对称部分骨骼长度差：人体对称部分骨骼差含义是人体右手腕和右手肘的长度与人体左手腕与左手肘的长度相同，即二者理想差值应该为0，其中UC表示左边第C个骨骼长度，表示右边第C个骨骼长度；C∈[1,6]，损失函数表达式如下：L＝λ1×LP+λ2×LG其中，λ1和λ2，为各自系数，λ1＝2，λ2＝1；S37、以上改进为基础，搭建改进Transformer模型；模型超参数设置：选择Amsgrad优化器，共训练80个epoch，学习率采用指数衰减策略，初始学习率为0.001；S4、将训练好的模型部署到移动端设备上，完成黑暗场景下三维人体姿态估计。

全文数据：

权利要求：

百度查询： 南通大学 一种基于改进Transformer的黑暗场景三维人体姿态估计算法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD