申请/专利权人：广州紫为云科技有限公司

申请日：2022-12-26

公开（公告）日：2024-04-12

公开（公告）号：CN115953839B

主分类号：G06V40/20

分类号：G06V40/20;G06V10/766;G06V10/82;G06N3/044;G06N3/048;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.12#授权;2023.04.28#实质审查的生效;2023.04.11#公开

摘要：本发明提供一种基于循环架构与坐标系回归的实时2D手势估计方法，属于实时2D手势估计技术领域，其核心模块包括图像采集模块、轻量级神经网络算法模块，循环架构模块，关键点回归模块；本发明中，坐标系回归的优点是算法消耗的时间短和资源少，能在移动端、嵌入式或是低成本硬件成本平台上实现运行实时并且端到端的全微分训练；使用循环架构模块，增强模型对视频中动态手势估计的效果；该基于循环架构与坐标系回归的实时2D手势估计方法可以实现在移动端、嵌入式或低成本硬件实时、高精度的检测效果，能有效缓解视频中由于运动模糊以及自我遮挡的导致模型检测性能下降的问题，实现产品的快速落地。

主权项：1.一种基于循环架构与关键点回归的实时2D手势估计方法，其特征在于：其核心模块包括图像采集模块、轻量级神经网络算法模块、循环架构模块和关键点回归模块，所述图像采集模块为单目摄像头；所述轻量级神经网络算法模块采用MobileNetV3作为轻量级骨干模型提取特征，由多个阶段组成，内有多组深度可分离卷积组成；所述循环架构模块通过MobileNetV3主干网络获取特征信息，通过一个循环架构模块；循环机制可以在连续的视频流中自己学习哪些信息应该保留，并且自适应的同时保留长期和短期的时间信息能力，使得循环机制适合我们的需求；所述循环架构模块中，特征图输入进到循环架构模块时，会将输入特征图的通道平均分成特征图P3和特征图P4，对特征图P4通过ConvGRU输出的输出特征图P5和记忆单元特征图ht，拼接特征图P3和特征图P4，输出特征图P6；所述关键点回归模块通过循环架构模块输出得到的特征图作为该关键点回归模块的输入，分别通过2个FC层；FC1输出2D骨骼关键点的坐标信息，FC2输出2D骨骼关键点的得分信息；由于需要对回归结果进行监督，所以添加标准化流模块进行辅助训练；标准化流模块能将一些基本的简单分布转换为任意的的复杂分布，该标准化流模块的损失函数Lmle可以设置为如下： 其中φ为标准化流模型的可学习参数，μg为数据的骨骼关键点坐标，为回归模块预测出来的骨骼关键点坐标，为回归模块预测出来的骨骼关键点得分；所述轻量级神经网络算法模块中，深度可分离卷积主要分为两个过程，分别是逐通道卷积和逐点卷积；逐通道卷积的一个卷积核负责一个通道，一个通道只被一个卷积核卷积，这个过程产生的特征图通道数与输入通道数完全一致；逐点卷积使用1x1的卷积，将逐通道卷积输出的特征图在深度方向上进行加权组合，生产新的特征图；所述轻量级神经网络算法模块在添加SE结构模块得到新的特征矩阵；其中当步长为1，且输入特征矩阵与输出特征矩阵的大小相同进行shortcut连接；MobileNetV3主干模型输出特征图后添加LR-ASPP模块增加感受野，提高对整体模型的精度，将输入通道的特征图分为两个分支，左分支经过1x1的卷积核输出特征图P1，右分支经过全局平局池化层和1x1卷积核以及Sigmod模块后输出特征图P2，并对特征图P1与特征图P2相乘后输出新的特征图。

全文数据：

权利要求：

百度查询： 广州紫为云科技有限公司 一种基于循环架构与关键点回归的实时2D手势估计方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD