申请/专利权人：天津大学

申请日：2021-09-28

公开（公告）日：2024-04-16

公开（公告）号：CN113918013B

主分类号：G06F3/01

分类号：G06F3/01;G06V40/20;G06V10/764;G06V10/774;G06V10/82;G06N3/0442;G06N3/045;G06N3/048

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2022.01.28#实质审查的生效;2022.01.11#公开

摘要：本发明公开了一种基于AR眼镜的手势定向交互系统，包括：AR眼镜，以及均基于神经网络搭建的手部检测模型、食指坐标模型、手势动作分类模型；手部检测模型输入深度摄像头采集的深度图像数据并判断是否存在手部；若存在手部，其将提取的手部整体特征输出至食指坐标模型；食指坐标模型输出食指三维位置坐标至AR控件；AR控件绘制食指射线并进行碰撞检测及时长判断；若AR控件默认选中，则手势动作分类模型输入深度摄像头采集的手势动作的图像数据，并输出动作指令至AR控件，AR控件输出手势动作虚拟景象信号至透视显示器。本发明还提供了一种基于AR眼镜的手势定向交互方法。本发明能够依据用户的食指来确定手势指向，依据手势指令动作来进行虚实交互。

主权项：1.一种基于AR眼镜的手势定向交互系统，其特征在于，包括：AR眼镜，以及均基于神经网络搭建的手部检测模型、食指坐标模型、手势动作分类模型；AR眼镜包括依次电连接的深度摄像头、AR控件及透视显示器；深度摄像头用于采集深度图像数据；AR控件用于控制深度摄像头采集深度图像数据，并产生合成的虚拟景象信号；透视显示器用于对虚拟景象信号进行增强现实显示；手部检测模型用于对图像数据进行手部整体特征提取并判断是否存在手部；食指坐标模型用于对手部整体特征进一步提取以获得食指点云的三维坐标；手势动作分类模型用于对手势动作数据进行特征提取及手势动作分类识别；手部检测模型，其输入深度摄像头采集的深度图像数据并判断是否存在手部；如果存在手部，其将提取的手部整体特征输出至食指坐标模型；食指坐标模型输出食指点云中轴线上两点的三维坐标至AR控件；AR控件绘制食指射线，并进行碰撞检测及时长判断；若AR控件默认选中，则手势动作分类模型输入深度摄像头采集的手势动作的深度图像数据，并输出动作指令至AR控件，AR控件输出手势动作虚拟景象信号至透视显示器；手部检测模型包括依次相连的沙漏网络、手部特征提取模块及sigmoid层；沙漏网络包括依次相连的四阶编码器和解码器；手部特征提取模块包括多个串接的手部特征提取单元，每个手部特征提取单元包括依次连接的二维卷积层、批量归一化层及修正线性单元层；沙漏网络，其输入深度摄像头采集的深度图像数据，其输出手部整体特征至手部特征提取模块；手部特征提取模块对手部整体特征进一步提取，并将提取的特征通过sigmoid层处理，得到深度图像数据中是否存在手部的判断信号；食指坐标模型包括依次相连的食指特征提取模块及全连接层，食指特征提取模块包括多个串联的食指特征提取单元；每个食指特征提取单元包括依次相连的二维卷积层、批量归一化层及修正线性单元层；当手部检测模型判断深度图像数据中存在手部时，同步将提取的手部整体特征输出至食指特征提取模块进行食指点云中轴线特征提取，提取的食指点云中轴线特征通过全连接层处理，得到食指点云中轴线上两点的三维坐标。

全文数据：

权利要求：

百度查询： 天津大学 一种基于AR眼镜的手势定向交互系统及方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD