申请/专利权人：桂林电子科技大学

申请日：2022-05-30

公开（公告）日：2024-04-16

公开（公告）号：CN114967927B

主分类号：G06F3/01

分类号：G06F3/01;G06F3/0486;G06T7/70;G06V20/40;G06V40/20

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2022.09.16#实质审查的生效;2022.08.30#公开

摘要：本发明公开了一种基于图像处理的智能手势交互方法。该方法使用目标检测和管道追踪的方法对每一帧手势图像输入数据进行刻画操作，得到手掌和手指的每个关键节点的坐标位置；其次，使用几何计算和坐标变换得到左键和右键等鼠标操作所需的关键信息；最后，通过对关键信息进行处理和组合，模拟鼠标的操作过程，达到人机智能交互的目的。该方法在一定程度上增加了人机交互的可理解性和可操作性。

主权项：1.一种基于图像处理的智能手势交互方法，包括如下步骤：1采用OpenCV技术监听摄像头获取手势交互视频流，对交互视频流进行每一帧的截取，以10毫秒为间隔截取一帧作为手势交互图像输入；2采用Mediapipe模型对输入的那一帧的手势图像做处理，将手势图像中手掌以及手指的关键节点标注出来；3根据步骤2得到的手势图像中每个关键节点的位置计算出每个关键节点在当前手势图像中的具体坐标，以左上角的点为原点，记为O0,0，以向右和向下的方向作为x轴和y轴的正方向；4通过对步骤3中得到的具体坐标进行坐标变换，将变换后的坐标投影到屏幕上，得到了每个关键节点在屏幕中的具体坐标，并将大拇指的指尖节点作为鼠标原点；5通过对每根手指上的关键节点和掌心节点进行几何计算，判断每根手指的开合状态；6根据步骤5得到的手势交互过程中的手指的开合状态，模拟鼠标的左键、右键操作过程；7通过判别预处理模块，获取上一帧的手势图像中的鼠标原点位置，然后将当前鼠标移动到上一次的鼠标原点位置；8根据互斥变量交替使用操作鼠标的权限，只有当上一次操作过程完全结束后，下一次鼠标操作才会正常响应。

全文数据：

权利要求：

百度查询： 桂林电子科技大学 一种基于图像处理的智能手势交互方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD