申请/专利权人：广东新王牌智能信息技术有限公司

申请日：2021-09-28

公开（公告）日：2024-04-05

公开（公告）号：CN113961067B

主分类号：G06F3/01

分类号：G06F3/01

优先权：

专利状态码：有效-授权

法律状态：2024.04.05#授权;2022.02.15#实质审查的生效;2022.01.21#公开

摘要：本发明公开了一种隔空涂鸦识别交互控制系统，所述隔空涂鸦识别交互控制系统包括：相互连接的手势识别装置、主控处理器和涂鸦识别交互系统；其中手势识别装置用于对采集的图片进行手势检测、跟踪以及识别并将对应的结果发送至主控处理器，包括：图片提取模块、手部检测模块、手部跟踪模块、手部姿态识别模块以及涂鸦图片生成模块。主控处理器根据接收到的手势识别结果以及涂鸦图片生成控制指令并发送至涂鸦识别交互系统，涂鸦交互系统通过具体的指令内容以及对涂鸦图片的识别完成与用户的交互控制。本发明利用基于深度学习的手部检测、手部跟踪以及手势姿态估计算法代替鼠标和触摸屏的技术方案实现非接触式的交互体验。

主权项：1.一种基于深度学习的非接触式涂鸦绘制方法，其特征在于，所述方法包括如下步骤：步骤1，手部图片样本采集，通过单目RGB摄像机模组采集图片样本，利用手部检测算法检测当前图片中是否存在手，如果当前采集图片的画面中不存在手，则不进行任何后续算法与交互相关的操作，其中，当在采集图片中检测到手时，利用手部算法检测结果得到手部图片；步骤2，手部关节坐标点检测，利用基于深度学习的方法对所述步骤1中得到的手部图片进行手部关键点检测，得到当前手部所有的关节点坐标；步骤3，手部位置跟踪：利用基于关键点的跟踪算法对所述步骤1和步骤2的结果进行跟踪，得到感兴趣的目标手部以及对应的关节点坐标；步骤4，手势识别，通过所述步骤3得到的目标手位置以及对应的关节点坐标判断每个手指是出于伸直还是弯曲的状态，进而实现对手势的准确快速识别；步骤5，将手势识别结果转为控制指令，其中，在所述步骤4中主控制器得到当前手势识别的结果，然后将当前手势识别结果对应的控制指令传给涂鸦识别交互控制系统；步骤6，所述涂鸦识别交互控制系统执行对应命令，涂鸦识别交互控制系统接收到主控制器传来的控制指令后，对控制指令进行解析，并进行对应控制指令的执行，针对不同的控制指令提醒用户进行对应的操作；步骤7，生成隔空绘制的涂鸦图片；步骤8，涂鸦图片的识别，利用所述步骤7中得到的所有映射点集合{xd1,yd1,xd2,yd2,...}，分别求出该映射点集左上角与右下角坐标xdmin,ydmin和xdmax,ydmax，其中，xdmin＝minxd1,xd2,...ydmin＝minyd1,yd2,...xdmax＝maxxd1,xd2,...ydmax＝maxyd1,yd2,...利用xdmin,ydmin和xdmax,ydmax坐标将绘制的涂鸦对象从涂鸦画布中裁剪出来作为最终需要分类识别的涂鸦图片；步骤9，识别结果的反馈与交互，将所述步骤8得到的当前涂鸦图片的识别结果反馈给涂鸦识别交互系统，涂鸦识别交互系统根据交互规则与用户进行交互，最终实现非接触式涂鸦图片绘制与识别交互功能；设置不同的手势动作代表涂鸦识别应用不同的控制指令，主要的手势动作与控制指令对应关系为：若检测到手部五指张开1秒则执行开始绘制涂鸦图片指令；若检测到手部食指伸直，其他手指弯曲则执行绘制食指指尖轨迹指令；若检测手部大拇指与食指弯曲，其他手指伸直则执行绘制结束指令；若检测手部握拳1秒则执行结束指令；获取手势动作的判定结果，结合当前指令状态将手势识别结果转化为对应的控制指令；在识别到开始绘制涂鸦图片指令后，涂鸦识别系统生成一张与RGB摄像机采集图片帧相同分辨率的虚拟涂鸦图片画布，该画布所有像素初始灰度值为255；通过跟踪手部位置，在手部移动的过程中保持手部食指伸直，其他手指弯曲的状态，系统连续跟踪食指指尖的坐标，并在虚拟涂鸦图片画布上绘制灰度值为0的轨迹作为最终涂鸦图片；将控制指令发送给涂鸦识别系统实现无接触式自动涂鸦识别系统的交互控制；所述步骤7进一步包括：涂鸦识别交互控制系统识别到绘制指令后，交互系统会立即生成一张分辨率与RGB摄像头相同，灰度值都为255的灰度图片作为虚拟涂鸦初始画布，即每个坐标像素值Ix,y＝255，其中，设原始RGB图片像素坐标系为O-XsYs，生成的虚拟涂鸦画布的坐标系为O-XdYd，经过平移缩放旋转的坐标变换即可得到原图坐标系中每个像素点坐标xs,ys对应于涂鸦画布坐标系中每个像素点坐标xd,yd，其中平移、缩放、旋转矩阵如下： 最终的转换矩阵：T＝Trot×Tscale×Ttrans；在绘制指令不断执行的过程中，通过连续对手势进行检测、识别与跟踪，得到原图坐标系下食指指尖的轨迹坐标xs,ys，利用矩阵T得到涂鸦画布坐标系下对应的坐标xd,yd,其中： 假设得到连续两帧涂鸦画布坐标系下坐标xd1,yd1和xd2,yd2后，在涂鸦画布中绘制从起点xd1,yd1至终点xd2,yd2并且灰度值为0的直线,通过不断利用连续两帧绘制的直线，即可得到隔空绘制的涂鸦图片。

全文数据：

权利要求：

百度查询： 广东新王牌智能信息技术有限公司 基于深度学习的非接触式涂鸦绘制方法与识别交互系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD