申请/专利权人：中南大学

申请日：2016-12-29

公开（公告）日：2020-05-22

公开（公告）号：CN106644090B

主分类号：G01J5/00(20060101)

分类号：G01J5/00(20060101)

优先权：

专利状态码：有效-授权

法律状态：2020.05.22#授权;2017.06.06#实质审查的生效;2017.05.10#公开

摘要：本发明目的在于提供一种基于kinect的求职仪态测试方法及其系统，以解决现有仪态检测存在主观性、随意性和局限性的现有技术问题。本发明提取kinect采集空间定位信息中左肩节点、右肩节点、躯干节点、头部节点、颈部节点、左手节点、右手节点、左腿跟节点和右腿跟节点的坐标值以及人脸识别信息中眼部信息的特征值和鼻子信息特征值；根据采集的节点坐标计算平面内斜率来判断头部状态，根据左手节点、右手节点、左肩节点和右肩节点的坐标来计算手臂状态，通过左腿跟节点和右腿跟节点的坐标来判断双脚状态；根据眼部信息的特征值判断眼睛状态；综合眼睛状态、上身状态、头部状态、手臂状态和双脚状态给出仪态测试结果。

主权项：1.一种基于kinect的求职仪态测试方法，其特征在于，包括以下步骤：提取kinect采集空间定位信息中左肩节点、右肩节点、躯干节点、头部节点、颈部节点、左手节点、右手节点、左腿跟节点和右腿跟节点的坐标值以及人脸识别信息中眼部信息的特征值和鼻子信息的特征值；根据所述左肩节点、所述右肩节点和所述躯干节点的坐标计算平面内斜率来判断上身状态，根据所述头部节点和所述颈部节点的坐标计算平面内斜率来判断头部状态，根据所述左手节点、所述右手节点、所述左肩节点和所述右肩节点的坐标来计算手臂状态，通过所述左腿跟节点和所述右腿跟节点的坐标来判断双脚状态；判断所述上身状态的步骤为：设定所述左肩节点坐标为xA，yA，zA，所述右肩节点坐标为xB，yB，zB，所述躯干节点坐标为xC，yC，zC；在XOY坐标平面中，AC为一条直线，BC为一条直线，即斜率k＝dydx；若kAC≈kBC，即YA-YCXA-XC≈YB-YCXB-XC，则上身是挺直的，反之上身没有挺直；判断所述头部状态的步骤为：设定所述头部节点坐标为xhead，yhead，zhead，所述颈部节点坐标为xneck，yneck，zneck；在XOZ坐标平面中，xhead≈xneck,zhead≈zneck，则头部是直的，反之头部不直；判断所述手臂状态的步骤为：设定所述左肩节点坐标为xleftshoulde，yleftshoulde，zleftshoulde、所述右肩节点坐标为xrightshoulder，yrightshoulder，zrightshoulder、所述左手节点坐标为xlefthand，ylefthand，zlefthand和所述右手节点坐标为xrighthand，yrighthand，zrighthand；向量l＝xlefthand-xleftshoulder,ylefthand-yleftshoulder,zlefthand-zleftshoulder，向量r＝xrighthand-xrightshoulder,yrighthand-yrightshoulder,zrighthand-zrightshoulder；通过计算sinα＝l×r|l|×|r|的最大值，得到摆臂幅度l和r的夹角α；判断所述双脚状态的步骤为：设定所述左腿跟节点坐标为xleftfoot，yleftfoot，zleftfoot和所述右腿跟节点坐标为xrightfoot，yrightfoot，zrightfoot；设人前行方向沿着向量a，leftfoot和rightfoot之间有一条从leftfoot指向rightfoot的向量b，leftfoot和rightfoot之间的距离为l，那么l＝a·b|a|；设脚的长度是l’，若l＝2*l’，则测试者的步间距是合理的，反之则不合理；根据所述眼部信息的特征值判断眼睛状态；判断所述眼部状态的步骤为：以双瞳孔相对于鼻梁的位置作为量化标准，判断双瞳到鼻梁的距离是否存在明显偏差；若无明显偏差则计算双瞳到眼角的距离，若偏差较大则定性为双目未能平视前方；通过计算得到的双瞳到眼角的距离，判断是否发生双瞳同时贴着内眼角或外眼角的情况，若有此情况则定性为双目未能平视前方，若无此情况则定性为双目平视前方；综合所述眼睛状态、所述上身状态、所述头部状态、所述手臂状态和所述双脚状态给出仪态测试结果。

全文数据：一种基于kinect的求职仪态测试方法及其系统技术领域[0001] 本发明涉及动态识别领域，尤其涉及一种基于kinect的求职仪态测试方法及其系统。背景技术[0002] 很多工作对求职者的仪态有很高的要求，传统的仪态测试一般由求职者本人或周围人根据书籍、网络或经验进行判断，其存在主观性、随意性和局限性等不足。kinect红外深度传感器提供的脸部识别和骨骼追踪等功能使得人机交互来训练或测试自身的仪态成为了可能。发明内容[0003] 本发明目的在于提供一种基于kinect的求职仪态测试方法及其系统，以解决现有仪态检测存在主观性、随意性和局限性的现有技术问题。[0004] 为实现上述目的，本发明提供了一种基于kinect的求职仪态测试方法，包括以下步骤:[0005] 提取kinect采集空间定位信息中左肩节点、右肩节点、躯干节点、头部节点、颈部节点、左手节点、右手节点、左腿跟节点和右腿跟节点的坐标值以及人脸识别信息中眼部信息的特征值和鼻子信息特征值；[0006] 根据左肩节点、右肩节点和躯干节点的坐标计算平面内斜率来判断上身状态，根据头部节点和颈部节点的坐标计算平面内斜率来判断头部状态，根据左手节点、右手节点、左肩节点和右肩节点的坐标来计算手臂状态，通过左腿跟节点和右腿跟节点的坐标来判断双脚状态；[0007] 根据眼部信息的特征值和鼻子信息特征值判断眼睛状态；[0008] 综合眼睛状态、上身状态、头部状态、手臂状态和双脚状态给出仪态测试结果。[0009] 依托上述方法，本发明还提供了一种基于kinect的求职仪态测试系统，包括:[0010] 采集模块:用于提取kinect采集空间定位信息中左肩节点、右肩节点、躯干节点、头部节点、颈部节点、左手节点、右手节点、左腿跟节点和右腿跟节点的坐标值以及人脸识别信息中眼部信息的特征值；[0011] 第一决策模块:用于根据左肩节点、右肩节点和躯干节点的坐标计算平面内斜率来判断上身状态，根据头部节点和颈部节点的坐标计算平面内斜率来判断头部状态，根据左手节点、右手节点、左肩节点和右肩节点的坐标来计算手臂状态，通过左腿跟节点和右腿跟节点的坐标来判断双脚状态；[0012] 第二决策模块:根据眼部信息的特征值判断眼睛状态；[0013] 输出模块:用于综合眼睛状态、上身状态、头部状态、手臂状态和双脚状态给出仪态测试结果。[0014] 本发明具有以下有益效果:[0015] 采用kinect红外深度传感器通过人脸识别、空间定位和肢体识别采集人脸特征、骨架位置，通过采集的数据对人体仪态进行判断检测，其检测结果客观准确。[0016] 下面将参照附图，对本发明作进一步详细的说明。附图说明[0017]构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中:[0018]图1是本发明优选实施例的一种基于kinect的求职仪态测试方法流程图；[0019]图2是本发明优选实施例的人体骨架节点图。具体实施方式[0020]以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。[0021] 本发明实施例首先公开一种基于kinect的求职仪态测试方法，该方法采集的数据为通过微软提供的SDKSoftwareDevelopmentKit的APIApplicat1nProgrammingInterface去读取驱动上面的kinect红外深度传感器从而获得所需的数据，其具体表现形式包括但不限于通过微软提供的SDK的API去读取驱动上面的kinect红外深度传感器。[0022] 如图1所示，一种基于kinect的求职仪态测试方法的流程包括:[0023] 步骤S1、提取kinect采集空间定位信息中左肩节点、右肩节点、躯干节点、头部节点、颈部节点、左手节点、右手节点、左腿跟节点和右腿跟节点的坐标值以及人脸识别信息中眼部信息的特征值。通过微软提供的API读取kinect上层算法分析彩色和深度图像得到的骨骼点数据，具体表现为跟踪到的人的关节点的位置信息。通过人脸识别提取眼部信息特征值和鼻子信息特征值。[0024] 步骤S2、根据左肩节点、右肩节点和躯干节点的坐标计算平面内斜率来判断上身状态，根据头部节点和颈部节点的坐标计算平面内斜率来判断头部状态，根据左手节点、右手节点、左肩节点和右肩节点的坐标来计算手臂状态，通过左腿跟节点和右腿跟节点的坐标来判断双脚状态。通过获取的骨骼点数据来判断上身是否挺直、头部是否摆正、头部是否乱动、行走时摆臂幅度、行走时步长和坐立时脚的位置状态。[0025] 步骤S3、根据眼部信息的特征值和鼻子信息的特征值判断眼睛状态。根据瞳孔与鼻子的位置来判断眼睛的状态。[0026] 步骤S4、综合眼睛状态、上身状态、头部状态、手臂状态和双脚状态给出仪态测试结果。从坐姿，站姿，行姿3个方面对人体仪态进行分析。[0027] 进一步地，参见图2，空间定位信息还包括左手腕节点、左手肘节点、右手腕节点、右手肘节点、左臀节点、左膝盖节点、右臀节点和右膝盖节点。可以通过这些节点创建更多的仪态分析方法。[0028] 进一步地，判断上身状态的步骤为:[0029] 设定左肩节点坐标为XA，yA，ZA，右肩节点坐标为XB，yB，ZB，躯干节点坐标为xc，yc，zc；[0030] 在XOZ坐标平面中，AC为一条直线，BC为一条直线，即斜率k=dzdx；[0031] 若kAC〜kBC，即Za-ZcXa-Xc〜Zb-ZcXb-Xc，则上身是挺直的，反之上身没有挺直。[0032]由左肩节点、右肩节点和躯干节点构成了一个平面，通过设定的坐标计算平面的斜率从而判断该平面是否垂直于地面，进而判断上身是否挺直。无论对于坐姿，站姿还是行姿，上身挺直都是重要的。[0033] 进一步地，判断头部状态的步骤为:[0034] 设定头部节点坐标为Xhead，yhead，Zhead，颈部节点坐标为Xneck，yneck，Zneck；[0035] 在XOZ坐标平面中，Xhead^iXheadJhead^iyneck，则头部是直的，反之头部不直。[0036] 通过头部节点和颈部节点的坐标来判断头部是否摆正，且可以通过一段时间对头部节点和颈部节点的采集来判断是否有头部晃动的情况。头部是否摆正，对于坐姿、站姿或行姿亦是非常重要的。[0037] 进一步地，判断手臂状态的步骤为:[0038] 设定左肩节点坐标为Xleftshoulde?Yleftshoulde?Zleftshoulde、右肩节点坐标为Xrightshoulder?Yrightshoulder，Zrightshoulder下点；^丰不Xlefthand?Ylefthand?Zlefthand萍口右'手.下点；^丰不力JXrighthand?Yrighthand，Zrighthand；[0039]向量l=xiefthand-Xleftshoulder,Ylefthand-Yleftshoulder,Zlefthand-Zleftshoulder,向里T—Xrighthand-Xrightshoulder,Yrighthand-Yrightshoulder,Zrighthand-Zrightshoulder;[0040] 通过计算sina=IXr|11XIr|的最大值，得到摆臂幅度I和r的夹角a。[0041] 通过左肩节点坐标、右肩节点坐标、左手节点坐标和右手节点坐标来判断手臂摆幅，在行走时，手臂幅度不应大于30°为宜。站立时应保持幅度为O°。[0042] 进一步地，判断腿部状态的步骤为:[0043] 设定左腿跟节点坐标为Xleftfoot,yieftfoot,Zleftf。。t和右腿跟节点坐标为Xrightfoot7Yrightfoot7Zrightfoot;[0044] 设人前行方向沿着向量a，leftfoot和rightfoot之间有一条从Ieftfoot指向rightfoot的向量b，leftfoot和rightfoot之间的距离为I，那么I=a.b|a|;[0045] 设脚的长度是I’，若1=2*1’，则测试者的步间距是合理的，反之则不合理。[0046] 通过左腿跟节点坐标和右腿跟节点坐标来计算脚的状态，从而判断行走时的步幅是否合理，来判断人的行姿。当左腿跟节点和右腿跟节点几乎重合且都落在地面时，则判断为双脚靠拢平放于地面，来判断人的坐姿。[0047] 进一步地，判断眼部状态的步骤为:[0048]以双瞳孔相对于鼻梁的位置作为量化标准，判断双瞳到鼻梁的距离是否存在明显偏差；[0049] 若无明显偏差则计算双瞳到眼角的距离，若偏差较大则定性为双目未能平视前方；[0050] 通过计算得到的双瞳到眼角的距离，判断是否发生双瞳同时贴着内眼角或外眼角的情况，若有此情况则定性为双目未能平视前方，若无此情况则定性为双目平视前方。[0051] 综合上身是否挺直、头部是否摆正或出现晃动情况、手臂摆幅、脚部步幅和眼部是否正视给出仪态分析结果。[0052] 综上，本实施例公开的一种基于kinect的求职仪态测试方法，采用kinect红外深度传感器通过人脸识别、空间定位和肢体识别采集人脸特征、骨架位置，通过采集的数据对上身状态、头部状态、手臂状态、脚部状态和眼部状态进行检测，其检测结果客观准确。[0053] 与上述方法实施例相对应的，下述实施例还公开一种用于执行上述方法的配套系统。[0054] 采集模块:用于提取kinect采集空间定位信息中左肩节点、右肩节点、躯干节点、头部节点、颈部节点、左手节点、右手节点、左腿跟节点和右腿跟节点的坐标值以及人脸识别信息中眼部信息的特征值；[0055] 第一决策模块:用于根据左肩节点、右肩节点和躯干节点的坐标计算平面内斜率来判断上身状态，根据头部节点和颈部节点的坐标计算平面内斜率来判断头部状态，根据左手节点、右手节点、左肩节点和右肩节点的坐标来计算手臂状态，通过左腿跟节点和右腿跟节点的坐标来判断双脚状态；[0056] 第二决策模块:根据眼部信息的特征值判断眼睛状态；[0057] 输出模块:用于综合眼睛状态、上身状态、头部状态、手臂状态和双脚状态给出仪态测试结果。[0058] 综上，本实施例公开的一种基于kinect的求职仪态测试系统，采用kinect红外深度传感器通过人脸识别、空间定位和肢体识别采集人脸特征、骨架位置，通过采集的数据对上身状态、头部状态、手臂状态、脚部状态和眼部状态进行检测，其检测结果客观准确。[0059]以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

权利要求：1.一种基于kinect的求职仪态测试方法，其特征在于，包括以下步骤:提取kinect采集空间定位信息中左肩节点、右肩节点、躯干节点、头部节点、颈部节点、左手节点、右手节点、左腿跟节点和右腿跟节点的坐标值以及人脸识别信息中眼部信息的特征值和鼻子信息的特征值；根据所述左肩节点、所述右肩节点和所述躯干节点的坐标计算平面内斜率来判断上身状态，根据所述头部节点和所述颈部节点的坐标计算平面内斜率来判断头部状态，根据所述左手节点、所述右手节点、所述左肩节点和所述右肩节点的坐标来计算手臂状态，通过所述左腿跟节点和所述右腿跟节点的坐标来判断双脚状态；根据所述眼部信息的特征值判断眼睛状态；综合所述眼睛状态、所述上身状态、所述头部状态、所述手臂状态和所述双脚状态给出仪态测试结果。2.根据权利要求1所述的一种基于kinect的求职仪态测试方法，其特征在于，所述空间定位信息还包括左手腕节点、左手肘节点、右手腕节点、右手肘节点、左臀节点、左膝盖节点、右臀节点和右膝盖节点。3.根据权利要求1所述的一种基于kinect的求职仪态测试方法，判断所述上身状态的步骤为:设定所述左肩节点坐标为XA，yA，ZA，所述右肩节点坐标为XB，yB，ZB，所述躯干节点坐标为xc，yc，zc；在XOZ坐标平面中，AC为一条直线，BC为一条直线，即斜率k=dzdx;若kAC〜kBC，即Za-ZcXa-Xc〜Zb-ZcXb-Xc，则上身是挺直的，反之上身没有挺直。4.根据权利要求1所述的一种基于kinect的求职仪态测试方法，判断所述头部状态的步骤为:设定所述头部节点坐标为Xhead，yhead，Zhead，所述颈部节点坐标为Xm^k，yne3C；k，Zne3c；k；在XOZ坐标平面中，Xheadi^Xhead,yheac^ym^k，则头部是直的，反之头部不直。5.根据权利要求1所述的一种基于kinect的求职仪态测试方法，判断所述手臂状态的步骤为:设疋所述左肩~P点坐杨^为Xleftshoulde?Yleftshoulde?Zleftshoulde、所述右肩下点坐杨^为XrightshoulderjYrightshoulder，Zrightshoulder、所手.~P,1T^-fKXlefthandjYlefthandjZlefthand矛口所右'手.下点:^丰不犬JXrighthandjYrighthand，Zrighthand;向量1=Xlefthand-Xleftshoulder,Ylefthand-Yleftshoulder,Zlefthand-Zleftshoulder,向里Γ—Xrighthand-Xrightshoulder,Yrighthand-Yrightshoulder,Zrighthand-Zrightshoulder;通过计算sina=IXr|11X|r|的最大值，得到摆臂幅度I和r的夹角a。6.根据权利要求1所述的一种基于kinect的求职仪态测试方法，判断所述腿部状态的步骤为:设定所述左腿跟节点坐标为Xleftfoot,yieftfoot,Zleftf。。*和所述右腿跟节点坐标为Xrightfoot7Yrightfoot，Zrightfoot;设人前行方向沿着向量a，leftfoot和rightfoot之间有一条从leftfoot指向rightfoot的向量b，leftfoot和rightfoot之间的距离为I，那么I=a.b|a|;设脚的长度是I’，若1=2*1’，则测试者的步间距是合理的，反之则不合理。7.根据权利要求1所述的一种基于kinect的求职仪态测试方法，判断所述眼部状态的步骤为:以双瞳孔相对于鼻梁的位置作为量化标准，判断双瞳到鼻梁的距离是否存在明显偏差；若无明显偏差则计算双瞳到眼角的距离，若偏差较大则定性为双目未能平视前方；通过计算得到的双瞳到眼角的距离，判断是否发生双瞳同时贴着内眼角或外眼角的情况，若有此情况则定性为双目未能平视前方，若无此情况则定性为双目平视前方。8.一种基于kinect的求职仪态测试系统，其特征在于，包括:采集模块:用于提取kinect采集空间定位信息中左肩节点、右肩节点、躯干节点、头部节点、颈部节点、左手节点、右手节点、左腿跟节点和右腿跟节点的坐标值以及人脸识别信息中眼部信息的特征值；第一决策模块:用于根据所述左肩节点、所述右肩节点和所述躯干节点的坐标计算平面内斜率来判断上身状态，根据所述头部节点和所述颈部节点的坐标计算平面内斜率来判断头部状态，根据所述左手节点、所述右手节点、所述左肩节点和所述右肩节点的坐标来计算手臂状态，通过所述左腿跟节点和所述右腿跟节点的坐标来判断双脚状态；第二决策模块:根据所述眼部信息的特征值判断眼睛状态；输出模块:用于综合所述眼睛状态、所述上身状态、所述头部状态、所述手臂状态和所述双脚状态给出仪态测试结果。

百度查询： 中南大学 一种基于kinect的求职仪态测试方法及其系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD