申请/专利权人：中国科学技术大学

申请日：2021-09-28

公开（公告）日：2024-03-29

公开（公告）号：CN113849068B

主分类号：G06F3/01

分类号：G06F3/01

优先权：

专利状态码：有效-授权

法律状态：2024.03.29#授权;2022.01.14#实质审查的生效;2021.12.28#公开

摘要：本发明公开了一种手势多模态信息融合理解与交互方法及其系统，该方法是通过表面肌电与运动惯性传感器捕获自然手势交互中的手型、轨迹、力度等多元运动要素信息；利用有限状态机模型融合并识别上述的多元手势运动要素，结构化地理解手势所表达的含义，并且能够将上述识别的运动要素灵活地映射为多种时空交叠同步的控制指令，以实现多模态复杂的控制功能。本发明能智能理解自然手势运动表达的信息，从而实现在人机交互过程中对用户手势运动意图的准确理解与表达，为自然手势交互在实际应用中面临的难题和挑战提供了新的解决方法和思路。

主权项：1.一种手势多模态信息融合的理解与交互方法，其特征在于，包括以下步骤：步骤一、手势多模态信号的采集与预处理；利用可穿戴臂环采集不同手势动作的表面肌电信号和运动传感器信号，并对所述表面肌电信号进行活动段的检测，得到手势的活动段信号；再根据所述活动段信号对所述表面肌电信号和运动传感器信号分别进行时间窗的划分，得到由表面肌电信号和运动传感器信号划分后共同组成的原始手势数据；其中，所述手势动作包括：N种静态手型、所述静态手型中的伸腕、屈腕、伸掌、五指捏合手型在不同力度下的肌肉持续收缩、所述静态手型中的握拳手型在不同速度下的手臂持续挥划移动、以及所述静态手型中的食指伸展手型下的数字0-9手写动作；步骤二、多元手势运动要素的捕获；步骤2.1、静态手型运动要素的捕获；提取所述原始手势数据中的N种静态手型的表面肌电信号的时域特征以及运动传感器信号的运动姿态特征，并用于分别训练K近邻分类器，得到两个静态手型识别模型；步骤2.2、肌肉持续收缩与力度变化运动要素的捕获；计算所述原始手势数据中的伸腕、屈腕、伸掌、五指捏合手型在不同力度下的肌肉持续收缩的表面肌电信号的肌电平均幅值以及平均功率；根据所述肌电平均幅值，将肌肉状态划分为肌肉持续收缩状态和静息状态，并设置相应状态的阈值；根据所述平均功率，将肌肉收缩力度划分为静息、轻度力、重度力三种状态，并设置每种力度状态的阈值；步骤2.3、挥划轨迹与速度变化运动要素的捕获；检测所述原始手势数据中的握拳手型在不同速度下的手臂持续挥划移动的运动传感器信号在时间窗内x轴和z轴的欧拉角变化，从而得到手臂的挥划方向；并根据欧拉角变化大小设置相应的挥划速度；步骤2.4、手写数字运动要素的捕获；提取所述原始手势数据中的食指伸展手型下的数字0-9手写动作的表面肌电信号时域特征以及运动传感器信号的运动姿态特征，并用于分别训练K近邻分类器，得到两个手写数字识别模型；步骤三、融合手势运动要素和交互指令的映射；将N种静态手型映射为单次触发控制指令；将伸腕、屈腕、伸掌、五指捏合手型及其力度变化和肌肉持续收缩运动要素进行融合后映射为比例控制指令和连续控制指令；将握拳手型及其挥划轨迹和移动速度运动要素进行融合后映射为挥划跟踪控制指令；将食指伸展手型及其手写数字运动要素进行融合后映射为手写数字输入指令；步骤四、基于状态机对手势交互过程进行时序建模，所述状态机包含：待机状态、静息状态、持续收缩状态、挥划跟踪状态和手写数字输入状态；步骤4.1、初始时，所述状态机处于待机状态，并拒绝识别手势；步骤4.2、仅当检测到当前表面肌电信号的肌电平均幅值达到所设置肌肉持续收缩状态的阈值且达到重度力的时间持续一定时间时，所述状态机跳转至所述静息状态；步骤4.3、在所述静息状态下，当检测到当前表面肌电信号的活动段时，分别利用两个静态手型识别模型对当前表面肌电信号及运动传感器信号进行静态手型的识别，相应得到两个识别结果，并设置相应的权重因子后，得到静态手型识别结果；若检测当前肌肉状态在静息状态下持续一定时间，则所述状态机重新跳转至所述待机状态；在所述静息状态下，当识别出的静态手型为桡偏、尺偏、伸腕、屈腕、张手、五指捏合的任意一种，则输出对应的单次触发控制指令；其中，当识别出的静态手型为桡偏、尺偏时，执行完相应指令后，跳转回所述静息状态；当识别出的静态手型为伸腕、屈腕、张手、五指捏合时，则执行完相应指令后，进行步骤4.4；在所述静息状态下，当识别出的静态手型为握拳时，则所述状态机跳转至挥划跟踪状态，并进行步骤4.5；在所述静息状态下，当识别出的静态手型为食指伸展时，则所述状态机跳转至手写数字输入状态，并进行步骤4.6；步骤4.4、若检测到当前肌肉状态为肌肉持续收缩状态且保持一定时间以上，则跳转至所述持续收缩状态；在所述持续收缩状态下，根据肌肉收缩力度控制所述连续控制指令的输出速度，即所述比例控制指令；若检测到当前肌肉状态为静息状态，则跳转回所述静息状态；步骤4.5、在所述挥划跟踪状态下，根据当前运动传感器信号在时间窗内x轴和z轴的欧拉角变化方向和变化大小，输出相应挥划方向和挥划速度的挥划跟踪控制指令；在所述挥划跟踪状态下，当检测到当前肌肉状态为静息状态且保持一定时间，则跳转回所述静息状态；步骤4.6、在所述手写数字输入状态下，当检测到当前表面肌电信号的活动段时，分别利用两个手写数字识别模型对当前表面肌电信号及运动传感器信号进行手写数字的识别，相应得到两个识别结果，并设置相应的权重因子后，输出手写数字识别结果；所述手写数字输入状态下，当检测到当前肌肉状态为静息状态且保持一定时间，则跳转回所述静息状态。

全文数据：

权利要求：

百度查询： 中国科学技术大学 一种手势多模态信息融合的理解与交互方法及其系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD