申请/专利权人：中国科学院心理研究所

申请日：2017-07-17

公开（公告）日：2024-03-08

公开（公告）号：CN107137092B

主分类号：A61B5/11

分类号：A61B5/11;A61B5/389;A61B5/397;A61B5/22;G06F3/01

优先权：

专利状态码：有效-授权

法律状态：2024.03.08#授权;2017.10.10#实质审查的生效;2017.09.08#公开

摘要：本发明公开了一种操作动作手势诱发系统，包括诱发手势模具、检测装置及内嵌于一计算机中的手势分析模块和手势库模块，检测装置包括手势运动轨迹检测仪、手部肌电反应检测仪和手部作用力传感器，手势分析模块接收被试手势运动轨迹、手部肌电反应和手部作用力的信号，并进行数据分析，获得手势操作动作资料，手势库模块与手势分析模块连接，用于存储诱发手势模具所诱发的操作动作手势资料。本发明通过建立多种诱发手势模具，通过诱发手势建立起对应的多维度标准手势库。在被试产生一个操作动作后，计算机可以根据标准手势库及所采集到的被试的手势运动轨迹、手部肌电反应、手部作用力传感器的信号来识别被试的手部动作及动作意图。

主权项：1.一种操作动作手势诱发检测系统，其特征在于，包括诱发手势模具、手势检测装置及内嵌于一计算机中的手势库模块和手势分析模块，所述检测装置包括用于测量被试操作模具时的手势运动轨迹检测仪、手部肌电反应检测仪和手部作用力传感器，所述手势分析模块接收所述检测装置所采集到的被试手势运动轨迹、手部肌电反应和手部作用力的信号，并对所采集信号进行数据分析，获得手势操作动作资料，所述手势库模块与所述手势分析模块连接，用于存储所述诱发手势模具所诱发的操作动作手势资料；所述手部作用力传感器包括压力传感器和拉力传感器，压力传感器设置于所述诱发手势模具上的手部按压位置，拉力传感器设置于所述诱发手势模具的回弹装置上；所述系统还包括一内嵌于计算机中的手势识别模块，其分别与所述手势分析模块、手势库模块连接，所述手势识别模块将所采集的被试手势诱发资料与所述手势库模块中存储的标准操作动作手势资料进行比对，识别被试的手部动作及动作意图；所述手势运动轨迹检测仪为穿戴于被试手部的数据手套。

全文数据：一种操作动作手势诱发检测系统及其方法技术领域[0001]本发明涉及心理学中操作动作诱发技术领域，具体涉及一种操作动作手势诱发检测系统及其方法。背景技术[0002]日常生活中，人们需要操作大量的物体，产生不同的操作手势动作，其中的操作动作是指人在抓握或使用物体时产生的动作，是人与物体交互的主要途径。操作动作的研宂对于探究操作动作信息在物体表征中的作用，以及人与外界进行交互的机制具有重要意义。在心理学关于操作动作的研宄中，需要有效地诱发标准化的操作动作，才能研宄操作动作表征和执行的认知神经机制。前人的研究已经根据现实生活中的具体物体，抽取出关键的物体特征，制作相应的操作动作手势诱发模型，来引导被试产生使用特定物体时的动作Bub，MassonCree，2008;BubMasson，2010，2012，包括抓握、捏取等手势动作。但是这些研宄中更加关注所诱发的手势的形态，通过模具诱发的手势的视觉形态来启动相应的操作动作系统，而没有关注模具是否有效地诱发了操作动作以及被试在操作物体时的体验。因此，为了有效地诱发被试的操作动作和操作体验，有必要设计更有针对性的手势诱发模具，并且建立标准化的多维度手势库来检验被试是否确实产生了相应的操作动作。发明内容[0003]本发明的目的在于提供一种同时具有诱发操作动作和增强被试体验感的操作动作手势诱发检测系统及其方法，用于检验诱发的操作手势是否符合标准，从而研究产生相关操作动作的认知机制。[0004]为达到上述目的，本发明采用如下技术方案：[0005]—方面，本发明提供了一种操作动作手势诱发检测系统，包括诱发手势模具、手势检测装置及内嵌于一计算机中的手势库模块和手势分析模块，所述检测装置包括用于测量被试操作模具时的手势运动轨迹检测伩、手部肌电反应检测仪和手部作用力传感器，所述手势分析模块接收所述检测装置所采集到的被试手势运动轨迹、手部肌电反应和手部作用力的信号，并对所采集信号进行数据分析，获得手势操作动作资料，所述手势库模块与所述手势分析模块连接，用于存储所述诱发手势模具所诱发的操作动作手势资料。[0006]所述系统还包括一内嵌于计算机中的手势识别模块，其分别与所述手势分析模块、手势库模块连接，所述手势识别模块将所采集的被试手势诱发资料与所述手势库模块中存储的标准操作动作手势资料进行比对，识别被试的手部动作及动作意图。[0007]所述手势运动轨迹检测仪为穿戴于被试手部的数据手套。[0008]所述的手部肌电反应检测仪为多导生理仪，用于记录被试手部的肌电反应。[0009]所述的诱发手势模具包括抓握手势模具、夹持手势模具、旋转操作手势模具、手持式滑动手势模具、按键手势模具、抓握扳机手势模具、扳动手势模具和触屏滑动手势模具中的一种或几种的组合。[0010]所述手部作用力传感器包括压力传感器和拉力传感器，压力传感器设置于所述诱发手势模具上的手部按压位置，拉力传感器设置于所述诱发手势模具的回弹装置上。[0011]各种所述诱发手势模具的手部接触部位设有防滑层。[0012]所述防滑层为软橡胶层，其上成型有多个防滑凸起。[0013]另一方面，本发明还提供了一种操作动作手势诱发检测方法，所述方法包括如下：[0014]步骤一、建立多种诱发手势模具；[0015]步骤二、逐一采用各种诱发手势模具诱发多维度手势操作动作，并通过检测装置采集被试在操作诱发手势模具时所产生的手势运动轨迹、手部肌电反应和手部作用力信号；[0016]步骤三、将检测装置所采集到的信号传输到计算中的手势分析模块中，手势分析模块对所采集信号进行数据分析，获得操作动作手势资料；[0017]步骤四、将所获得的与各种诱发手势模具相对应的操作动作手势资料存储到计算机中的手势库模块中，形成操作动作手势的多维度手势库。[0018]所述方法还包括对被试进行手势操作动作的识别步骤，其具体方法是:在计算机中建立手势识别模块，通过手势识别模块接收手势分析模块所采集的手势信号的分析数据，将分析数据与所建立的多维度手势库中的标准手势操作动作资料进行比对，识别被试的手部动作及动作意图。[0019]本发明技术方案，具有如下优点：[0020]A.本发明建立多种诱发手势模具，使被试通过逐一对诱发手势模具进行标准手势操作动作，检测装置对被试所产生的标准化手势操作动作进行信号采集，手势分析模块对所采集信号进行数据分析，获得每种诱发手势模具的标准化手势资料，从而建立起多维度的手势库，存储到计算机中。在被试产生一个操作动作后，计算机可以通过所建立的多维度的手势库及所采集到的被试的手势运动轨迹、手部肌电反应、手部作用力的信号来识别被试的手部动作及动作意图。[0021]B•本发明通过建立多种手势诱发模具的手势库，根据被试操作诱发模具时的手势运动轨迹、手部肌电反应和手部作用力大小，通过手势识别模块可以判断出被试是否正确地产生了预期的操作动作，在此基础上习得标准化的动作，从而研宄产生、学习这些操作动作的认知神经机制。附图说明[0022]为了更清楚地说明本发明具体实施方式，下面将对具体实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。[0023]图1为本发明所提供的操作动作手势诱发系统组成框图；[0024]图2为本发明所提供的第一种抓握动作手势诱发模具结构示意图；[0025]图3为本发明所提供的第二种抓握动作手势诱发模具结构示意图；[0026]图4为本发明所提供的夹持手势诱发模具结构示意图；[0027]图5为本发明所提供的旋转操作手势诱发模具结构示意图。[0028]附图标记说明：[0029]1-抓握主体;2-压力传感器，3-平面底座，4-支撑杆，5-合页，6-夹持板，7_弹簧，S-底板，9-支撑板，10-旋钮，1卜防滑层。具体实施方式[0030]下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0031]如图1所示，本发明提供了一种操作动作手势诱发检测系统，包括诱发手势模具、检测装置及内嵌于一计算机中的手势分析模块和手势库模块，其中的检测装置包括用于测量手势运动轨迹检测仪、手部肌电反应检测仪和手部作用力传感器，其中，手势运动轨迹检测仪优选为穿戴于被试手部的数据手套，手部肌电反应仪为多导生理仪，手部作用力传感器包括压力传感器和拉力传感器，压力传感器设置于诱发手势模具上的手部按压位置，拉力传感器设置于诱发手势模具的回弹装置上;其中的手势分析模块接收检测装置所采集到的被试手势运动轨迹、手部肌电反应和手部作用力的信号，并对所采集信号进行数据分析，获得手势操作动作资料，手势库模块与手势分析模块连接，用于存储对应的各种手势操作动作资料。[0032]通过建立各种诱发手势模具，被试在对诱发手势模具施加标准的操作动作的过程中，在手势库模块中形成标准化操作动作手势库，多种不同结构的诱发手势模具可以有效地诱发操作动作手势以及被试在操作物体时的体验。[0033]建立标准化的手势库后，利用所建立的手势库可以识别被试的手部动作和动作意图。为达到这一目的，本发明还在系统中的计算机中内嵌有手势识别模块，其分别与手势分析模块、手势库模块连接，手势识别模块将所采集的被试操作动作手势资料与手势库模块中存储的标准操作动作手势资料进行比对，识别被试的手部动作及动作意图。[0034]其中的诱发手势模具包括抓握手势模具、夹持手势模具、旋转操作手势模具、手持式滑动手势模具、按键手势模具、抓握扳机手势模具、扳动手势模具和触屏滑动手势模具中的一种或几种的组合。可以针对每种诱发手势模具进行独立操作，建立相应的标准操作动作手势库。[0035]下面以抓握手势模具为例进行说明。[0036]图2中的抓握手势模具包括抓握主体1，抓握主体1上设有用于检测被试握力的压力传感器2。其中图2中的抓握主体1的截面为圆柱形，当然还可以为三棱柱形或四棱柱形等多种结构，图中未具体示出。压力传感器2安装在抓握主体1的表面上，当用手握住抓握主体时，压力传感器会采集到被试手部的压力信号，获得被试的握力。[0037]抓握主体可以为如图2所示的立式放置结构，还可以为图3所示水平放置结构，每种放置方式均可以设置多种尺寸，比如采用图2所示的立式结构时，可以根据模仿真实物体的功能尺寸设定圆柱体的高度和直径尺寸;比如可以设定高度15cm、直径10cm，用于诱发水平方向的大体积抓握动作;设定高度15cm、直径3cm，用于诱发水平方向的中等体积抓握动作;设定高度5cm、直径lcm，用于诱发水平方向的精细抓握动作等等多种规格的模型。[0038]通过被试穿戴的数据手套检测被试的手势运动轨迹，形成相应的手势形态和运动数据，通过多导生理仪检测被试在进行抓握各种不同模具时的手部肌电反应，通过压力传感器记录被试在进行抓握时的手部作用力，从而建立起对应的多维度标准抓握手势动作库，用于后期对被试进行抓握动作的手势识别，准确获知被试的手部动作及动作意图，以利于研究产生相关操作动作的认知机制。[0039]为了增强被试的体验效果，本发明在图5中的诱发手势模具的手势接触部位设置了防滑层，优选的防滑层为软橡胶层，其上成型有多个防滑凸起，更有利于实现操作手势的准确性，建立更加有效的手势库。[0040]其中图4所示为夹持手势诱发模具，其包括两夹持板6,两夹持板6的端部通过合页5连接，在靠近两夹持板6的另一端，在二者之间设置了弹簧7,弹簧7的作用可以使两夹持板形成一夹持角度，在弹簧7的一端设有压力传感器2,被试用手挤压两夹持板时，弹簧7受到挤压作用，弹簧7所受挤压作用力被传导给压力传感器2,压力传感器2采集压力信号，并传输给计算机中的手势分析模块，进行数据分析，建立标准夹持手势库或依据标准夹持手势库对被试操作手势进行识别，获知被试的操作动作意向。[0041]图5所示为旋转手势诱发模具，其包括垂直固定于底板8上的支撑板9,支撑板9上设置一旋钮10,旋钮10的底部设置一弹簧7,弹簧7的一端与旋钮10连接，其另一端设置一压力传感器2,同时在旋钮10的外侧面设有防滑层11，当被试正反向旋转旋钮10时，可以使旋钮10带动弹簧7实现拉伸和压缩，从而可以使压力传感器2获得这一压力信号，并传输给计算机进行数据分析，建立相应的旋转手势数据库。对于其它手势模具同样可以采用本发明所提供的系统进行诱发和检测，建立对应的手势库，这里就不再赘述。[0042]本发明还提供了一种操作动作手势诱发检测方法，包括如下步骤：[0043]步骤一、建立多种诱发手势模具，每种模具可以按照相应的目的进行操作。[0044]步骤二、逐一采用各种诱发手势模具诱发多维度手势操作动作，并通过检测装置采集被试在操作诱发手势模具时所产生的手势运动轨迹、手部肌电反应和手部作用力信号。[0045]被试可以采用标准的操作手势动作施加到诱发手势模具上，对每个操作手势动作进行逐一检测，获得每种操作手势所产生的手势运动轨迹、手部肌电反应和手部作用力信号。[0046]步骤三、将检测装置所采集到的信号逐一传输到计算中的手势分析模块中，手势分析模块对所采集信号进行数据分析，获得操作动作手势资料。[0047]步骤四、将所获得的与各种诱发手势模具相对应的手势资料存储到计算机中的手势库模块中，形成操作动作手势的多维度手势库。[0048]通过上述四个步骤可以对多种诱发手势模具检测，建立一个标准化的多维度手势库。[0049]更优选地，在建立标准化多维度手势库的基础上，还包括对被试的手势操作动作进行识别的步骤，具体方法是:在计算机中建立手势识别模块，手势识别模块接收手势分析模块对所采集手势信号的分析数据，将分析数据与所建立的多维度手势库中的标准手势操作动作诱发资料进行比对，识别被试的手部动作及动作意图。[0050]通过建立多种手势诱发模具的手势库，根据被试操作模具时的手势运动轨迹、手部肌电变化和手部作用力大小，通过手势识别模块可以判断出被试是否正确地产生了预期的操作动作，在此基础上习得标准化的动作，从而研宄产生、学习这些操作动作的认知神经机制。[0051]显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明的保护范围之中。

权利要求：1.一种操作动作手势诱发检测系统，其特征在于，包括诱发手势模具、手势检测装置及内嵌于一计算机中的手势库模块和手势分析模块，所述检测装置包括用于测量被试操作模具时的手势运动轨迹检测仪、手部肌电反应检测仪和手部作用力传感器，所述手势分析模块接收所述检测装置所采集到的被试手势运动轨迹、手部肌电反应和手部作用力的信号，并对所采集信号进行数据分析，获得手势操作动作资料，所述手势库模块与所述手势分析模块连接，用于存储所述诱发手势模具所诱发的操作动作手势资料。2.根据权利要求1所述的操作动作手势诱发检测系统，其特征在于，所述系统还包括一内嵌于计算机中的手势识别模块，其分别与所述手势分析模块、手势库模块连接，所述手势识别模块将所采集的被试手势诱发资料与所述手势库模块中存储的标准操作动作手势资料进行比对，识别被试的手部动作及动作意图。3.根据权利要求1所述的操作动作手势诱发检测系统，其特征在于，所述手势运动轨迹检测伩为穿戴于被试手部的数据手套。4.根据权利要求1所述的操作动作手势诱发检测系统，其特征在于，所述的手部肌电反应检测仪为多导生理仪，用于记录被试手部的肌电反应。5.根据权利要求1-4所述的操作动作手势诱发检测系统，其特征在于，所述的诱发手势模具包括抓握手势模具、夹持手势模具、旋转操作手势模具、手持式滑动手势模具、按键手势模具、抓握扳机手势模具、扳动手势模具和触屏滑动手势模具中的一种或几种的组合。6.根据权利要求5所述的操作动作手势诱发检测系统，其特征在于，所述手部作用力传感器包括压力传感器和拉力传感器，压力传感器设置于所述诱发手势模具上的手部按压位置，拉力传感器设置于所述诱发手势模具的回弹装置上。7.根据权利要求6所述的操作动作手势诱发检测系统，其特征在于，各种所述诱发手势模具的手部接触部位设有防滑层。8.根据权利要求7所述的操作动作手势诱发检测系统，其特征在于，所述防滑层为软橡胶层，其上成型有多个防滑凸起。9.一种操作动作手势诱发检测方法，其特征在于，所述方法包括如下：步骤一、建立多种诱发手势模具；步骤二、逐一采用各种诱发手势模具诱发多维度手势操作动作，并通过检测装置采集被试在操作诱发手势模具时所产生的手势运动轨迹、手部肌电反应和手部作用力信号；步骤三、将检测装置所采集到的信号传输到计算中的手势分析模块中，手势分析模块对所采集信号进行数据分析，获得操作动作手势资料；步骤四、将所获得的与各种诱发手势模具相对应的操作动作手势资料存储到计算机中的手势库模块中，形成操作动作手势的多维度手势库。10.根据权利要求9所述的操作动作手势诱发检测方法，其特征在于，所述方法还包括对被试进行手势操作动作的识别步骤，其具体方法是:在计算机中建立手势识别模块，通过手势识别模块接收手势分析模块所采集的手势信号的分析数据，将分析数据与所建立的多维度手势库中的标准手势操作动作资料进行比对，识别被试的手部动作及动作意图。

百度查询： 中国科学院心理研究所 一种操作动作手势诱发检测系统及其方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD