申请/专利权人：安徽建筑大学

申请日：2024-01-05

公开（公告）日：2024-03-22

公开（公告）号：CN117519487B

主分类号：G06F3/01

分类号：G06F3/01;G06N3/0464;G06F3/04886;G06V20/40;G06V40/20;G06F30/20;G09B5/02

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2024.02.27#实质审查的生效;2024.02.06#公开

摘要：本发明涉及教学辅助培训技术领域，公开了一种基于视觉动捕的掘进机操控教学辅助培训系统，包括摄像单元、显示单元及处理单元；摄像单元用于实时拍摄用户手部与眼部姿态；处理单元包括手势识别处理单元和仿真掘进机操作系统；手势识别处理单元通过检测用户手部与眼部的关键节点空间数据来判断用户手势命令与注意力集中程度；仿真掘进机操作系统用于接收命令实现操控，并将操作、环境反馈画面传输至显示单元。本发明采用多种算法精确识别手部姿态，系统鲁棒性高；结合仿真算法最大程度模拟真实工况，实用性强；采用单目视觉方法捕捉手部姿态实现人机交互，对硬件设备要求低，可部署多个平台，易于推广使用。

主权项：1.一种基于视觉动捕的掘进机操控教学辅助培训系统，其特征在于，包括摄像单元、显示单元及处理单元；所述摄像单元用于实时拍摄用户手部与眼部姿态；所述显示单元用于实时显示仿真掘进机操作画面及仿真环境反馈效果；所述处理单元包括手势识别处理单元和仿真掘进机操作系统；其中，所述手势识别处理单元在解决视频高光亮点与用户手势遮盖问题的基础上，通过检测用户手部与眼部的关键节点空间数据来判断用户手势命令与注意力集中程度；所述手势识别处理单元包括预处理单元、遮盖处理单元、关键点检测单元及通信单元；所述预处理单元对采集的实时视频数据进行去除高光亮点处理，再将处理过的实时视频数据发送至遮盖处理单元，进行屏幕显示区域划分，建立屏幕区域与实际空间的映射关系，并发送至关键点检测单元，所述关键点检测单元检测用户手部与眼部的关键节点空间坐标数据，并在判断手势命令与用户注意力集中程度后输出命令信号至通信单元，所述通信单元通过TCPIP通信传输信号至仿真掘进机操作系统；所述仿真掘进机操作系统用于接收命令实现操控，并将操作、环境反馈画面传输至显示单元。

全文数据：

权利要求：

百度查询： 安徽建筑大学 一种基于视觉动捕的掘进机操控教学辅助培训系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD