买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉河北大学申请的专利一种基于多核动态注意力机制的手势识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117152838B 。

龙图腾网通过国家知识产权局官网在2025-06-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311098247.7，技术领域涉及：G06V40/20；该发明授权一种基于多核动态注意力机制的手势识别方法是由齐静;马俐;崔振超设计研发完成，并于2023-08-29向国家知识产权局提交的专利申请。

本一种基于多核动态注意力机制的手势识别方法在说明书摘要公布了：本发明涉及一种基于多核动态注意力机制的手势识别方法，包括以下步骤：S1、构建手势识别模型；S2、获取手势的RGB图像和深度图像；S3、提取手势特征；S4、检测手势的位置；S5、识别手势；S6、将对手势的识别结果以message消息的格式发送给机器人终端。本发明使用多核动态注意力机制的方法进行多模态特征提取，可更好地提取并融合RGB图像的手势特征和深度图像的手势特征，得到更好的手势识别效果的方法。应用该方法，可以实时识别由RealSense深度摄像机捕捉到的静态手势，同时，本发明使人可以通过手势实时控制移动操作机器人的操作，具有提高手势识别效果、增强交互体验的技术效果，对于促进人机交互、虚拟现实、智能家居等领域的发展具有积极的意义。

本发明授权一种基于多核动态注意力机制的手势识别方法在权利要求书中公布了：1.一种基于多核动态注意力机制的手势识别方法，其特征是，包括以下步骤： S1、构建手势识别模型：使用并行双分支的YOLOv5网络作为手势识别模型；所述YOLOv5网络包括有用于提取手势特征的骨干网络以及用于预测手势的位置和类别的检测头部； S2、获取手势的RGB图像和深度图像：使用深度摄像头获取控制者所做操作控制手势的RGB图像和深度图像； S3、提取手势特征：利用多核动态注意力机制，通过前向传播将手势的RGB图像和深度图像输入到所述手势识别模型中，分别提取其中的图像特征，再对由RGB图像中提取的图像特征和由深度图像中提取的图像特征进行融合；在所提取的图像特征中包含有手势的语义信息； S4、检测手势的位置：通过手势识别模型中的所述检测头部对所提取的图像特征中的手势进行预测，以得到手势框的位置、手势框的类别和手势框的置信度； S5、识别手势：根据所得到的手势框的位置和置信度，对手势框进行筛选，并利用非极大值抑制算法消除重叠的手势框，在最终输出的手势框中包含有手势的位置、手势的类别和手势的置信度在内的识别结果； S6、将对手势的识别结果以message消息的格式发送给机器人终端； 步骤S3中的手势识别模型的特征融合的工作方式包括： S3-2-1通过手势识别模型获取手势的RGB图像为：RGBin∈RC×H×W；通过手势识别模型获取手势的深度图像为：Depthin∈RC×H×W，RGB图像和深度图像各自经过一个门控卷积层后得到： RGB′in＝σConv1×1RGBin·RGBin Depth′in＝σConv1×1Depthin·Depthin 其中，σ表示激活函数，Conv1×1x表示对输入x进行1×1卷积操作； 在门控操作后,进行自适应平均池化，生成跨模态空间描述符： X＝AAPRGB′in||Depth′in 其中，||表示将RGBin和Depthin进行拼接； S3-2-2深度输入的跨模态注意力向量由下式学习： Wrgb＝σConv1×1ReLUDMX Wdepth＝σConv1×1ReLUDMX 其中，Wrgb是代表RGB手势特征权重，Wdepth是代表Depth手势特征的权重，DMx表示所提出的多核动态注意力模块，Conv1×1x表示1×1卷积操作； S3-2-3经过门控操作的手势特征图RGB′in和Depth′in乘以各自的通道权重Wrgb和Wdepth，以对手势特征进行调整或增强： RGBf＝Wrgb·RGB′in； Depthf＝Wdepth·Depth′in； S3-2-4用卷积将RGBf和Depthf融合，得到RGB-D特征图RGBDf： RGBDf＝Conv1×1[RGBf；Depthf]； S3-2-5对于RGB-D特征图RGBDf，通过多核动态注意力卷积得到RGB和深度特征的注意力权重argb和adepth： argb＝DMrgbRGBDf adepth＝DMdepthRGBDf 其中，DMrgb表示对RGB特征执行多核动态注意力卷积；DMdepth表示对深度特征执行多核动态注意力卷积；argb是分配给RGB手势特征图中每个位置的权重，adepth是分配给深度手势特征图中每个位置的权重。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人河北大学，其通讯地址为：071002 河北省保定市五四东路180号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。