申请/专利权人：王俊;但果

申请日：2017-02-07

公开（公告）日：2024-04-09

公开（公告）号：CN107713984B

主分类号：A61B5/00

分类号：A61B5/00

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2018.03.20#实质审查的生效;2018.02.23#公开

摘要：一种面瘫客观评估方法，其特征在于，该方法包括以下步骤：通过图像采集装置采集面瘫患者的面部图像；获取面部特征点检测模型，根据已采集到的面瘫患者的面部图像检测出该面部图像中的面部特征点；根据检测出的面部特征点提取出面部对称性特征；获取面瘫分级分类器，面瘫分级分类器根据面部对称性特征自动确定出面瘫患者的面瘫分级评估结果。本发明通过将面部结构对称性用面部对称性特征进行量化，通过计算面部对称性特征而自动得出面瘫分级评估结果，从而消除主观偏差，可用于辅助临床医生准确快速地获取面瘫分级评估结果，为面瘫患者制定合适的治疗方案以提高康复治疗的疗效奠定基础。

主权项：1.一种面瘫客观评估方法，其特征在于，其包括以下步骤：S1、通过图像采集装置采集面瘫患者的面部图像；S2、获取面部特征点检测模型，根据已采集到的面瘫患者的面部图像检测出该面部图像中的面部特征点；S3、根据检测出的面部特征点提取出面部对称性特征；所述面部对称性特征是以面部中分线为基准，用于量化衡量面瘫患者的面部五官的结构形状对称性的差异，所述面部对称性特征包括形状对称性特征和位置对称性特征，所述形状对称性特征通过计算面瘫患者的面部五官中的形状对称性的差异而得出，所述位置对称性特征通过计算面瘫患者的面部特征点的坐标位置的对称性差异而得出；S4、获取面瘫分级分类器，面瘫分级分类器根据面部对称性特征自动确定出面瘫患者的面瘫分级评估结果；其中，步骤S3中，所述面部中分线通过以下方法确定：将两眼内侧特征点e4和e7连接为一条线段，求出这条线段的垂直中分线，记为C1；将两眼外侧特征点e1和e10连接为一条线段，求出这条线段的垂直中分线，记为C2；求出通过鼻部顶部特征点n1及底部特征点n5所确定的直线，记为C3；将两眼外侧特征点e1和e10连接为一条线段，求出这条线段的中点，再求出通过这个中点以及特征点n3的直线，记为C4；求通过鼻部顶部特征点n1相对于水平线的垂线，记为C5；求通过特征点n3相对于水平线的垂线，记为C6；将以C1-C6作为面部中分线所建立的面部对称性特征与分级评分进行线性回归分析，计算各面部对称性特征与分级评分的相关性，求出面部对称性特征与分级评分之间的相关系数R2，然后在给定的相关系数范围中，统计以不同的面部中分线所建立的面部对称性特征在不同相关系数下的数量，选取数量总和最多且相关系数均值较高的那一组所对应的面部中分线为步骤S3中的面部中分线；步骤S3中的面部对称性特征通过以下方法确定：提出若干个用于量化表征面瘫患者的面部五官的结构形状对称性差异的面部对称性特征；将以所述面部中分线建立的全部面部对称性特征与分级评分进行线性相关性分析，确定出面部对称性特征与分级评分之间的相关系数；根据不同的相关系数阀值，将分别与该相关系数阀值对应的面部对称性特征组合成特征向量；以各特征向量训练出各自的面瘫分级分类器；使用交叉验证方法对各面瘫分级分类器进行样本测试，确定出各面瘫分级分类器的测试准确率；选取测试准确率最高的面瘫分级分类器所对应的面部对称性特征为步骤S3中提取的面部对称性特征，其包括：眉部形状对称性特征： 眉部位置对称性特征： 鼻部形状对称性特征： 鼻部位置对称性特征： 嘴部形状对称性特征： 嘴部位置对称性特征： 眼部形状对称性特征： E10＝∠ue1ue2，h-∠ue8ue7，h； 眼部位置对称性特征： b1、b2、b3、b4、b5、b6、b7、b8、b9、b10为眉部特征点；n1、n2、n3、n4、n5为鼻部特征点；e1、e2、e3、e4、e5、e6、e7、e8、e9、e10、e11、e12为眼部特征点；ue1、ue2、ue3、ue4、ue5、ue6、ue7、ue8为上眼睑特征点；om1、om2、om3、om4、om5、om6、om7、om8、om9、om10、om11、om12为外唇特征点；im2、im3、im4、im5、im6、im7、im8为内唇特征点；um1、um2、um3、um4、um5、um6、um7、um8、um9、um10为上唇特征点；lm1、lm2、lm3、lm4、lm5、lm6、lm7、lm8、lm9、lm10为下唇特征点：fd表征比值，l表征周长度，s表征面积，K表征曲率，∠表征角度，y表征面部特征点的y坐标，x表征面部特征点的x坐标，表征水平方向的单位向量，表征竖直方向的单位向量，下标Ll表征左侧，下标Rr表征右侧，下标C表征中点或中心。

全文数据：面瘫客观评估方法及其系统【技术领域】[0001]本发明涉及面瘫评估，特别涉及一种面瘫客观评估方法及其系统。【背景技术】[0002]面瘫是一种常见且多发的疾病，其主要症状为面部表情肌群无法进行正常的功能性运动。根据神经受损位置的不同，面瘫分为周围性面瘫和中枢性。周围性面瘫由神经核和损伤所引起，表现为病变部位同侧全肌面瘫痪，此类瘫痪多由风寒、耳部或脑膜感染等引起。中枢性面瘫源于面神经核以上的部位受损，表现为受损部位对侧颜面下部肌肉麻痹，多见于脑内血管疾病。[0003]面瘫虽然不会危及生命，但是关系到社交过程中的仪容问题，这给患者心理带来不良影响。面瘫只要及早发现，及时治疗，治疗措施得当，一般是可以完全康复的。临床上通常按面瘫评价标准对面瘫患者评价分级或称分级评估、分级评价后，再根据分级结果即分级类别来制定合适的治疗方案。为患者制定恰当的治疗方案是面瘫康复治疗的关键，而治疗方案是依据分级结果来制定的，因此，面瘫分级评价对于治疗面瘫康复治疗十分的重要。[0004]面瘫分级评价依据的是患者患病程度不同而体现出的不同的面部不对称程度。由于面神经损伤所导致的面部症状会因为年龄、面部的解剖结构和神经损伤的程度而不同。在原始的面瘫康复评估中，临床医生会着重观察面瘫患者的两侧眉毛的相对位置、两侧眼睛闭合情况、鼻部是否不对称、微笑是否无力和嘴部是否不对称等情况，并根据这些观察所得的情况的轻重程度，来确定面瘫级别。轻度的面神经损伤（面瘫通常只会在面部结构运动时，被观察到较弱的面部不对称性。而严重面神经损伤的面部不对称性，在面部结构无运动时也可以被轻易地观察出来。因此，临床医生若要较为准确地去描述面部功能损失，就需借助一些标准化的评价标准。[0005]目前常见的主观面瘫分级评价标准有十多种，其中获得多数学者和临床医生认可，且使用最广泛的面瘫评价方法是H-B面神经功能评价标准。该评价标准于1983年由House和BraCkman提出，该评价标准将面瘫分为六级（I〜VI级），I级为正常，VI级为完全麻痹。H-B分级评价的优点是各级描述简单易懂，临床使用方便。但其缺陷也十分明显，作为一种主观评价方法，其主观性严重、各级描述含糊、级别之间描述重叠，不同的临床医生可能会得到不同的评价结果，从而导致分级出现主观偏差，严重影响最佳治疗方案的选择。[0006]最近几年，在国内外报道中出现了一系列客观性的面瘫分级评价标准，这些客观方法根据对面部单元标定方法的不同，可以分为手工标定及自动标定两大类。基于手工标定的面瘫分级评价标准通过在面部运动单元包括眉，鼻，眼和嘴设置人工标记，当面部运动时，检测这些标记的运动情况，再通过运动单元运动的不对称程度来标定这些标记的运动情况所代表的患病程度;此类方法需要手动标记，应用复杂，耗时长。基于自动标定的面瘫分级评价标准是利用计算机视觉方法，自动地检测面部的运动单元，通过检测这些运动单元运动的不对称程度来判断面瘫程度，Linstrom提出了一种基于商用计算机视频交互的客观面部分析系统，通过患者闭眼和抿嘴笑两种表情来比较非正常的面部功能。该系统能较好地区分面瘫患者及正常人，但是无法对面瘫患者进行分级评估，此外，HontaniIla和Auba提出了一个用于面部信息计算的3D多摄像装置采集系统，这个系统给出的评价结果客观，灵敏，其缺点在于需要在患者面部粘贴标记点，所以该系统虽然评价结果较好，但其使用不方便，且对患者会造成一定的影响。[0007]终上所述，目前现有的主观面瘫分级评价方法和客观面瘫分级评价方法均存在一定的缺点，不能方便而客观的确定出面瘫分级结果，从而不利于提高面瘫的康复治疗效果。【发明内容】[0008]本发明旨在解决上述问题，而提供一种面瘫客观评估方法及其系统。[0009]为解决上述问题，本发明提供了一种面瘫客观评估方法，其特征在于，其包括以下步骤：[0010]S1、通过图像采集装置1采集面瘫患者的面部图像；[0011]S2、获取面部特征点检测模型，根据已采集到的面瘫患者的面部图像检测出该面部图像中的面部特征点；[0012]S3、根据检测出的面部特征点提取出面部对称性特征；[0013]S4、获取面瘫分级分类器，面瘫分级分类器根据面部对称性特征自动确定出面瘫患者的面瘫分级评估结果。[0014]进一步地，步骤S2中，检测出面部图像中的面部特征点还包括以下步骤：[0015]将通过图像采集装置1采集到的面瘫患者的面部图像进行倾斜校正，使面部图像中的面部校正为正脸；[0016]根据倾斜校正后的面部图像检测出该已校正后的面部图像中的面部特征点。[0017]进一步的，所述倾斜校正通过以下步骤实现：[0018]根据已采集到的且未进行倾斜校正前的面部图像确定出两眼内侧的特征点，并确定出通过该两眼内侧的特征点的直线；[0019]计算出该直线与水平线之间的角度，确定出面部倾斜度；[0020]根据面部倾斜度转动采集到的面部图像，使面部图像中的面部校正为正脸。[0021]进一步的，所述面部对称性特征是以面部中分线为基准，用于量化衡量面瘫患者的面部五官的结构形状对称性的差异。[0022]进一步的，所述面部对称性特征包括形状对称性特征和位置对称性特征，所述形状对称性特征通过计算面瘫患者的面部五官中的形状对称性的差异而得出，所述位置对称性特征通过计算面瘫患者的面部特征点的坐标位置的对称性差异而得出。[0023]进一步的，所述面部中分线为与水平线垂直，并通过鼻部顶部特征点的垂线。[0024]进一步的，所述面部对称性特征通过以下方法确定：[0025]提出若干个用于量化表征面瘫患者的面部五官的结构形状对称性差异的面部对称性特征；[0026]将以面部中分线建立的全部面部对称性特征与分级评分进行线性相关性分析，确定出面部对称性特征与分级评分之间的相关系数；[0027]根据不同的相关系数阀值，将分别与该相关系数阀值对应的面部对称性特征组合成特征向量；[0028]以各特征向量训练出各自的面瘫分级分类器；[0029]使用交叉验证方法对各面瘫分级分类器进行样本测试，确定出各面瘫分级分类器的测试准确率；[0030]进一步的，选取测试准确率最高的面瘫分级分类器所对应的面部对称性特征为步骤S3中需提取的面部对称性特征。[0031]进一步的，步骤Sl中，通过图像采集装置1采集面瘫患者的面部图像包括面瘫患者在进行特定面部运动时的一副或多幅面部图像。[0032]进一步的，步骤Sl中，通过图像采集装置1采集面瘫患者的面部图像包括面瘫患者在面部静止时的一副或多幅面部图像。[0033]进一步的，所述特定面部运动包括抬眉、闭眼、示齿、鼓腮中的一种或多种。[0034]进一步的，在检测面部特征点时，分别对通过步骤Sl采集到的与各特定面部运动相对应的一幅或多幅面部图像进行面部特征点检测；步骤S3中，在提取面部对称性特征时，分别对与各特定面部运动相对应的面部特征点进行面部对称性特征提取。[0035]进一步的，所述面部特征点包括眉部特征点、鼻部特征点、眼部特征点和嘴部特征点，所述嘴部特征点包括外唇特征点、内唇特征点、上唇特征点和下唇特征点。[0036]进一步的，所述面瘫分级分类器是基于H-B分级评分监督下的多类分类器。[0037]此外，本发明还提供一种面瘫客观评估系统，其特征在于，其包括图像采集装置、面部特征检测装置、提取模块、输出模块，所述图像采集装置用于采集面瘫患者进行特定面部运动和或静止时的面部图像;所述面部特征检测装置用于根据已采集到的面瘫患者的面部图像检测出该面部图像中的面部特征点;所述提取模块用于根据检测出的面部特征点计算出面部对称性特征;所述输出装置用于根据提取模块计算出的面部对称性特征自动输出面瘫患者的面瘫分级评估结果。[0038]进一步的，所述图像采集装置包括摄像机、头部定位装置、调节装置、摄像机支架，所述摄像机设于所述摄像机支架上，所述调节装置用于调节摄像机支架和或摄像机的位置和或方向，所述头部定位装置用于辅助面瘫患者的脸部正对所述摄像机。[0039]进一步的，所述头部定位装置包括有用于托放面瘫患者额部的额托。[0040]本发明的有益贡献在于，其有效解决了上述问题。本发明通过将面部结构对称性用面部对称性特征进行量化，通过计算面部对称性特征而自动得出面瘫分级评估结果，从而消除主观偏差，可用于辅助临床医生准确快速地获取面瘫分级评估结果，为面瘫患者制定合适的治疗方案以提高康复治疗的疗效奠定基础。【附图说明】[0041]图1是面部特征点分布示意图。[0042]图2是本发明的面瘫客观评估方法流程。[0043]图3是步骤S2检测面部特征点的方法流程。[0044]图4是本发明的面瘫客观评估系统的结构框图。[0045]图5是本发明的面瘫客观评估系统的结构示意图。[0046]其中，图像采集装置1、摄像机11、头部定位装置12、额托121、额托支架122、调节装置13、第一调节机构131、第二调节机构132、摄像机支架14、面部特征检测装置2、提取模块3、输出模块4、病情采集装置5、输入模块51、保存模块52【具体实施方式】[0047]下列实施例是对本发明的进一步解释和补充，对本发明不构成任何限制。[0048]如图1〜图3所示，本发明的面瘫客观评估方法的主要要点在于，通过提取出一系列的面部对称性特征来量化表征面瘫患者的面部结构对称性，从而可根据面瘫患者的面部结构的对称性客观的确定出面瘫患者的面瘫分级评估结果。具体的，本发明的面瘫客观评估方法包括以下步骤：[0049]S1、通过图像采集装置1采集面瘫患者的面部图像；[0050]S2、获取面部特征点检测模型，根据已采集到的面瘫患者的面部图像检测出所述面部图像中的面部特征点；[0051]S3、根据检测出的面部特征点提取出面部对称性特征；[0052]S4、获取面瘫分级分类器，根据所述面部对称性特征自动确定出面瘫患者的面瘫分级评估结果。[0053]上述步骤Sl中，通过图像采集装置1采集到的面部图像包括但不限于面瘫患者在静止时和进行特定面部运动时的面部图像。所述特定面部运动包括但不限于抬眉、闭眼、示齿、鼓腮的一种或多种。本实施例中，所述特定面部运动优选包括抬眉、闭眼、示齿、鼓腮这四种运动。步骤Sl中，优选采集面瘫患者在静止、抬眉、闭眼、示齿、鼓腮这五个状态下的面部图像。在每个状态下，可采集一张或多张面部图像。采集时，可要求面瘫患者依序做出上述五种面部表情，每个面部表情保持若干时间，如2s，每次面部表情采集一幅或多幅面部图像，共采集5N副面部图像。[0054]所述图像采集装置1包括摄像机11、头部定位装置12、调节装置13、摄像机支架14。所述摄像机11设于所述摄像机支架14上，所述调节装置13用于调节摄像机支架14和或摄像机11的位置或方向，所述头部定位装置12用于辅助面瘫患者的脸部正对所述摄像机11。具体的，所述调节装置13用于直接或间接的调整摄像机11的位置或方向，以使摄像机11尽量采集到面瘫患者的正脸面部图像。所述调节装置13可设置成可用于调节摄像机11相对于头部定位装置12的距离、调节摄像机11相对于头部定位装置12的高度、调节摄像机11相对于头部定位装置12的偏离角度。具体实施时，所述头部定位装置12可设置成额托121形式，其可使面瘫患者将其额部托放在该头部定位装置12上，从而尽量校准面瘫患者的位置，使面瘫患者的面部正对摄像机11，以尽量采集到对称的正脸面部图像。所述摄像机11可通过公知的方式固定在摄像机支架14上。为调整摄像机11与面瘫患者之间的距离，所述调节装置13可包括导轨，所述摄像机支架14设于所述导轨上，其可沿导轨移动，从而可调节摄像机11与头部定位装置12之间的距离。[0055]步骤S2中，所述面部特征点检测模型可选用公知的面部特征点检测模型，本实施例中，选择有监督下降方法训练面部特征点检测模型。所述面部特征点检测模型的训练，可参考公知技术。获取到面部特征点检测模型后，将步骤Sl中采集到的面部图像输入到该面部特征点检测模型中，便可检测出该面部图像中的面部特征点。[0056]由于面部的左右倾斜对面部对称性和面部中分线的选取有影响，而步骤SI中通过图像采集装置1采集到的面瘫患者的面部图像不可能完全不倾斜，因此，本实施例中，先对采集到的面部图像进行倾斜校正，使之校正为正脸后，然后再重新进行面部特征点检测。该过程中具体包括以下步骤：[0057]1、将步骤SI中的面部图像输入至面部特征点检测模型中，确定出两眼内侧特征点之间的直线；[0058]2、计算出该直线与水平线之间的角度，确定出面部倾斜度；[0059]3、根据所述面部倾斜度转动所述面部图像，使面部图像中的面部校正为正脸。[0060]4、根据已倾斜校正后的面部图像重新检测出其中的面部特征点。此步骤中检测出的面部特征点，为最终用于提取面部对称性特征的面部特征点。[0061]需说明的是，在步骤Sl中，采集到的面部图像包含有多幅分别与各面部表情相对应的面部图像，因而步骤S2中，需分别对采集到的与各面部表情相对应的面部图像按照上述1一4的步骤进行面部特征点检测。[0062]检测出的面部特征点包括眉部特征点、鼻部特征点、眼部特征点和嘴部特征点。对于面瘫患者，嘴部结构在H-B面神经评价标准中较为重要，为了更准确的描述嘴部结构对称性，本发明中，所述嘴部特征点细分为外唇特征点、内唇特征点、上唇特征点和下唇特征点。进一步的，眼部特征点还增加上眼睑特征点。所述眉部特征点、鼻部特征点、眼部特征点和嘴部特征点的数量可根据需要而选取，本实施例中，通过步骤S2,共提取出75个特征点，其中眉部特征点10个，如附图1中的13142士3444546士748士9、1310，鼻部特征点5个，如附图1中的111、112、113、114、115，眼部特征点12个，如附图中的61、62、63、64、65、66、67、68、69、610、611、612，上眼睑特征点8个，如附图1中的1161、1162、1163、1164、1165、1166、1167、ue8，外唇特征点12个，如附图1中的oml、om2、om3、om4、om5、om6、om7、om8、om9、oml0、omlI、oml2，内唇特征点8个，如附图1中的iml、im2、im3、im4、im5、im6、im7、im8，上唇特征点10个，如附图1中的111111、111112、111113、111114、111115、111116、111117、111118、111119、1111110，下唇特征点10个，如附图I中的Iml、lm2、lm3、lm4、lm5、lm6、lm7、lm8、lm9、lmlO。[0063]当通过步骤S2检测出面部特征点后，便可根据该面部特征点提取出面部对称性特征。[0064]所述面部对称性特征是以面部中分线为基准，其用于量化衡量面部五官的结构形状对称性的差异。对于面瘫患者，具有分析意义的面部五官包括眼部、眉部、嘴部、鼻部四个部位。所述面部对称性特征用于面部结构对称性量化，其分为形状对称性特征和位置对称性特征。所述形状对称性特征通过计算面部五官的形状对称性的差异而得出，如面部结构两侧形状的周长、面积、高度、角度和曲率等差异;所述位置对称性特征通过计算面部五官中的坐标位置的对称性差异而得出。本实施例中，所述面部对称性特征包括下表中的61个面部对称性特征中的一种或多种：[0065][0066]表一[0067]上述表格中，fd表征比值，1表征周长度，s表征面积，K表征曲率，Z表征角度，y表征面部特征点的y坐标，X表征面部特征点的X坐标，$表征水平方向的单位向量，ί表征竖直方向的单位向量，下标L1表征左侧，下标Rr表征右侧，下标C表征中点或中心。例如，Bl为眉毛特征1，其为左边眉毛周长与右边眉毛周长的比值;B2为眉毛特征2,其为左边眉毛面积与右边眉毛面积的比值;B3为眉毛特征3,其为b4b5与水平方向的夹角与b6b7与水平方向的夹角的差值;B4为眉毛特征4，其为bib2b3b4b^曲率与b6b7b8b9b1Q的曲率的差值;B5为b3与bs的y坐标比值；B8为左侧眉毛的中点y坐标与右侧眉毛的中点y坐标的比值。[0068]需说明的是，在步骤Sl中，由于采集到的面部图像包含有多幅分别与各面部表情相对应的面部图像，因而步骤S3中，需分别对各面部表情所对应的面部图像提取出相应的面部对称性特征。[0069]步骤S3中，面部对称性特征是以面部中分线为基准而提取出来。所述面部中分线通常指面部的垂直中分线。通常，根据已检测出的面部特征点，本领域技术人员可以计算出面部中分线。但是，现有的面部中分线划分及计算均是针对正常人的面部图像而言，而面瘫患者的面部结构存在不对称性，因而常规的面部中分线的划分不适用于本申请。本申请中，所述面部中分线以步骤S2中检测出的面部特征点为基础进行划分，其可按以下方法进行划分：[0070]1将两眼内侧特征点（图1中，特征点e4和特征点e7连接为一条线段，求出这条线段的垂直中分线，所求的这条垂直中分线作为面部中分线，记为Cl;[0071]2将两眼外侧特征点（图1中，特征点的和特征点e1Q连接为一条线段，求出这条线段的垂直中分线，所求的这条垂直中分线即作为面部中分线，记为C2;[0072]3求出通过鼻部顶部特征点及底部特征点（图1中，特征点m和特征点Π5所确定的直线作为面部中分线，记为C3;[0073]⑷将两眼外侧特征点（图1中，特征点的和特征点e1Q连接为一条线段，求出这条线段的中点，再求出通过这个中点以及特征点17图1中，特征点n3的直线，所求的这条直线即作为面部中分线，记为C4。[0074]5求通过鼻部顶部特征点（图1中，特征点m相对于水平线的垂线，所求的这条垂线即作为面部中分线，记为C5。[0075]⑹求通过特征点17图1中，特征点n3相对于水平线的垂线，所求的这条垂线即作为面部中分线，记为C6。[0076]本实施例中，优选面部中分线C5作为最优的面部中分线。步骤S3中，优选以面部中分线C5为基准，提取出各面部表情所对应的面部对称型特征。其他实施例中，也可选用上述其他面部中分线为基准而提取出各面部表情所对应的面部对称性特征。[0077]本实施例中，最优面部中分线C5的选定，通过以下方式进行确定：[0078]将以上述6种面部中分线所建立的面部对称性特征与分级评分，如H-B分级评分进行线性回归分析，计算各面部对称性特征与分级评分的相关性，求出面部对称性特征与分级评分之间的相关系数R2。然后在给定的相关系数范围中，统计以不同的面部中分线所建立的面部对称性特征在不同相关系数下的数量，选取数量总和最多且相关系数均值较高的那一组所对应的面部中分线为最优的面部中分线。[0079]作为验证，本实施例以上述六种面部中分线及上述例举的61个面部对称性特征为例，根据不同相关系数阀值分段进行计算而统计出如下结果：[0080][0081]表二[0082][0083]表三[0084]其中，表二为六种面部中分线所对应的面部对称性特征相关系数统计结果，表三为六种面部中分线所建立的面部对称性特征在相关系数范围内的数量统计。[0085]通过表二和表三可知，以上述六种面部中分线所建立的面部对称性特征与分级评分的相关系数的平均值较为接近，而通过面部中分线C5建立的面部对称性特征数量在相关系数范围内较其他面部中分线所建立的面部对称性特征数量高出很多，因此，可以确定面部中分线C5为最优的面部中分线，以面部中分线C5建立的面部对称性特征能最佳的描述面瘫患者面部结构不对称与分级评分之间的关系。因此，本实施例中，优选面部中分线C5为基准而提取面部对称性特征。[0086]本实施例中，以面部中分线C5为基准而提取出的面部对称性特征与H-B分级评分之间的相关系数中，R2多0.25的面部对称性特征共15个，0.25多R2多0.16的面部对称性特征共29个，该44个面部对称性特征及其相应的相关系数如下表所示：[0087][0088]表四[0089]需说明的是，表四中，△1^23^4分别表征抬眉、闭眼、示齿、鼓腮这四种特点面部运动的面部图像，即A2B5是从闭眼动作采集到的面部图像中提取出的B5面部对称性特征，A1E13是从抬眉动作采集到的面部图像中提取出的E13面部对称性特征，以此类推。采集到的一副面部图像中按照表一可提取61个面部对称性特征，一个样本，本实施例中，包括抬眉、闭眼、示齿、鼓腮四幅面部图像，即进行面部对称性特征与H-B分级评分的线性回归分析时，有61*4=244个自变量，因变量的值可为1、2、3、4、5、6中的一个，其中，1对应于H-B分级评分中的I级，2对应于H-B分级评分中的II级，依次类推。进行线性回归分析时，样本数量可根据需要而选取。样本的获取，可参考公知技术。[0090]根据表四可见，本实施例提取出的面部对称性特征与H-B分级评分之间的相关系数都低于〇.4。而一般认为，相关系数大于0.4的变量之间存在线性关系。经分析，在大多数面部对称性特征所对应的样本分布中，各级H-B分级评分所对应的样本特征值之间没有明显的分界线，即各级评分对应的样本的面部对称性特征值范围是有重叠的，即面部对称性特征与H-B分级评分之间的关系是非线性的，这说明，由于H-B分级评分的主观性，导致不同的临床医生对相同患者在进行评分时可能给出多种不同的评分，这与背景技术中提出的实际结论是相吻合的。虽然根据相关系数R2可以看出面部对称性特征与H-B分级评分之间难以通过线性关系进行分析，但是还是可以通过线性相关性大小来选择面部对称性特征，以训练面瘫分级分类器。由表四可见，所提出的面部对称性特征中，有效的面部对称性特征数量占所提出的面部对称性特征的比例，以面部结构划分，则以眼部和嘴部所对应的面部对称性特征较多，分别为53.3和50%，而眉部和鼻部所对应的面部对称性特征较少，分别为37.5%和18.8%，并且，从数量上而言，眼部与嘴部所对应的数量也更多，分别为8个和30个，由此可以看出，在这些特征中，以眼部和嘴部的面部对称性特征能较好的描述H-B分级评分。而实际中，临床医师使用H-B分级评分时，也主要以眼部和嘴部的不对称性来评价面瘫级别，这说明，本实施例中提出的这些对称性特征与H-B分级评分之间虽然不是线性相关，但却存在相关性，可以通过线性相关性大小来选择面部对称性特征，以训练面瘫分级分类器。[0091]在其他实施例中，也可提出其他不同的面部中分线，然后按照上述最优面部中分线的确定方式确定出最优的面部中分线。[0092]为获取更准确的评估结果，本方法中，优选上述61个面部对称性特征中的最优面部对称性特征进行步骤S4。最优的面部对称性特征可通过以下方法进行确定：[0093]将以面部中分线，如将以本实施选定的最优面部中分线C5所建立的全部面部对称性特征与分级评分进行线性相关性分析，确定出各面部对称性特征与分级评分之间的相关系数，再根据不同的相关系数阀值将分别与该相关系数阀值对应的面部对称性特征组合成特征向量，再以各特征向量训练出各自的面瘫分级分类器。其后使用交叉验证方法对各面瘫分级分类器进行样本测试，确定出各面瘫分级分类器的测试准确率，选取测试准确率最高的面瘫分级分类器所对应的面部对称性特征为最优的面部对称性特征。[0094]上述过程中，所述分级评分可以是H-B分级评分，也可以是其他类型的分级评分。本实施例中，优选为H-B分级评分。上述过程中，以各特征向量训练出各自的面瘫分级分类器，可以采用公知的训练方法进行训练，也可以按照申请人于同日申请的《基于H-B分级评分监督下的面瘫客观评估方法》所提出的方法进行训练，训练出基于H-B分级评分监督下的面瘫分级分类器：[0095]1、获取面瘫患者训练样本集，该训练样本集包括若干个训练样本，各训练样本分别包括面瘫患者的面部图像、根据面部图像提取出的面部对称性特征、与面部图像相对应的样本类别标记一一例如，与H-B分级评分对应的I级、II级……VI级等。[0096]2、将训练样本集中的训练样本按照H-B分级评估标准进行分级分类，将其分成多类样本集。[0097]3、从所述多类样本集中分别选取两类样本集，使用RBF核函数训练SVM分类器，使用交叉验证法确定出SVM分类器使用的最优的RBF核函数尺度参数和SVM的惩罚参数，从而训练出包含有多个SVM分类器的面瘫分级分类器。[0098]作为验证，本实施例结合分析结果进行详细说明：[0099]在给定的相关系数范围中，统计出以最优的面部中分线C5所建立的全部面部对称性特征在不同相关系数下的数量，其统计结果如下表所示：[0100][0101]表五[0102]将在各给定范围的相关系数下的面部对称性特征组合成特征向量，得到4个特征向量。以得到的4个特征向量分别训练面瘫分级分类器，得到4个面瘫分级分类器。然后使用K折交叉验证法，如3折交叉验证法对4个面瘫分级分类器进行样本测试，确定出该4个面瘫分级分类器的测试准确率，其结果如下表所示：[0103][0104]表六[0105]根据上表可知，使用R2多0.09时的61维面部对称性特征所训练出的面瘫分级分类器的测试准确率最高，因此，本实施例中，在R2多0.09时的这61维面部对称性特征为最优的面部对称性特征。[0106]当最优的面部对称性特征确定出来后，在具体实施时，在一些实施例中，可在步骤S3中仅提取最优的面部对称性特征。在一些实施例中，在步骤S3中也可提取以最优的面部中分线C5建立的全部面部对称性特征。在一些实施例中，在步骤S3中也可提取以最优的面部中分线C5建立的局部面部对称性特征。[0107]当面部对称性特征提取后，按照步骤S4,获取面瘫分级分类器，面瘫分级分类器便可根据提取出的面部对称性特征自动确定出面瘫患者的面瘫分级评估结果。[0108]本申请中，所述面瘫分级分类器，可以是公知的面瘫分级分类器，也可是本领域技术人员根据特定的训练方法训练而成，如本申请人于同日申请的《基于H-B分级评分监督下的面瘫客观评估方法》专利所介绍的基于H-B分级评分监督下的面瘫分级分类器。[0109]综上所述，本实施例的面瘫客观评估方法可总结如下：[0110]通过图像采集装置1采集面瘫患者在静止时和进行特定面部动作时的一副或多幅面部图像；[0111]将采集到的面部图像输入至面部特征点检测模型中，确定出两眼内侧特征点之间的直线，计算出该直线与水平线之间的角度，确定出面部倾斜度;根据所述面部倾斜度转动所述面部图像，使面部图像中的面部校正为正脸；[0112]根据已倾斜校正后的面部图像重新检测出其中的面部特征点；[0113]以上述6种面部中分线的一种面部中分线为基准，根据上一步骤已检测出的面部特征点提取出若干个面部对称性特征；[0114]将面部对称性特征输入至面瘫分级分类器中，面瘫分级分类器自动确定出面瘫患者的面瘫分级评估结果，该面瘫分级评估结果为最终的客观评估结果。[0115]此外，本发明还提供一种面瘫客观评估系统，如图4、图5所示，该系统包括图像采集装置1、面部特征检测装置2、提取模块3和输出模块4。可选的，其还可包括病情采集装置5〇[0116]所述图像采集装置1用于采集及存储面瘫患者进行特定面部运动和或静止时的面部图像信息，并将采集到的面部图像信息输入至面部特征点检测装置，以供所述面部特征点检测装置检测出采集到的面部图像信息中的面部特征点。具体的，所述图像采集装置1包括摄像机11、头部定位装置12、调节装置13、摄像机支架14。[0117]所述摄像机11用于采集面瘫患者的面部图像，其可选用公知的摄像机11。[0118]所述头部定位装置12用于辅助面瘫患者的脸部正对所述摄像机11。所述头部定位装置12在物理形态上，可构造呈多种形式，本实施例中，为方便采集面瘫患者面部图像时面瘫患者的脸部正对所述摄像机11，本实施例中，所述头部定位装置12设有额托121。所述额托121用于托放面瘫患者的额部。在一些实施例中，所述额托121可为固定设置;在一些实施例中，所述额托121可活动设置，其可被调节而调节水平位置、高低距离和或角度。本实施例中，所述额托121为活动设置，其与额托支架122活动连接，所述额托支架122为伸缩杆，其竖直设置，所述额托121水平设置，其活动连接于所述额托支架122上，如两端与额托支架122活动连接，从而使得可通过调节所述额托支架122而调节所述额托121的高低。检测时，面瘫患者可将其额部托在所述额托121上。通过检测前校准所述额托121与摄像机11之间的位置关系，便可对患者的脸部进行初步的快速定位，使面瘫患者的脸部最大程度上正对所述摄像机11。[0119]所述调节装置13用于直接或间接的调节所述摄像机11与面瘫患者脸部之间的位置关系。在一些实施例中，其可被构造成用于调节摄像机支架14的位置和方向，从而间接的调整所述摄像机11的位置和方向。在一些实施例中，其可被构造成用于直接调节摄像机11的位置和方向。本实施例中，所述调节装置13包括第一调节机构131和第二调节机构132。所述第一调节机构131用于调节所述摄像机11相对所述头部定位装置12之间的距离。所述第二调节机构132用于调节所述摄像机11的方向。所述第一调节机构131可选用滑轨、皮带、链条等可进行直线位移的机构，本实施例中，所述第一调节机构131选用导轨。所述第二调节机构132可选用齿轮等可进行角度位移的结构。所述摄像机支架14用于支撑所述摄像机11，其可选用公知的摄像机支架14,如三角架或其他任意可支撑所述摄像机11的结构。本实施例中，所述摄像机支架14为伸缩支撑架，如伸缩杆。所述摄像机支架14的一端与所述第一调节机构131连接。当第一调节机构131运动时，所述摄像机支架14可随第一调节机构131的运动而运动，从而可调整摄像机11与头部定位装置12之间的直线距离。所述第二调节机构132设于所述摄像机支架14上，并与所述摄像机11活动连接。所述第二调节机构132可随所述摄像机支架14的移动而移动，从而通过所述摄像机支架14和调节装置13便可使得所述摄像机11具有多个自由度，从而方便检测时调节摄像机11与面瘫患者之间的位置关系，从而利于从面瘫患者的正脸角度采集到面瘫患者的面部图像信息。[0120]通过所述图像采集装置1便可采集到面瘫患者的面部图像信息，并将该面部图像信息保存起来。[0121]为方便对面瘫患者进行全面诊断，本实施例中，该面瘫客观评估系统还包括病情采集装置5，其用于采集及存储面瘫患者的个人信息及患病信息。所述病情采集装置5具有提供给临床医师或面瘫患者进行信息输入的输入模块51和用于保存数据的保存模块52。所述输入模块51可选用公知的可进行信息输入的载体，如键盘、鼠标等。所述病情采集装置5可用于采集包括但不限于以下信息中的一种或多种：发病情况、就诊科室、服用药物、现用药物、疱瘆情况、发病期间症状、病前症状、其他病史。所述病情采集装置5可通过临床医师询问面瘫患者得到相关数据而进行采集，也可通过面瘫患者自行输入相关信息而进行采集。在具体实施时，所述病情采集装置5可向临床医师或面瘫患者提供病情记录窗口，以便临床医师主动记录相关信息而采集到面瘫患者的个人信息和患病信息。[0122]所述面部特征检测装置2用于根据已采集到的面瘫患者的面部图像检测出所述面部图像中的面部特征点。所述面部特征检测装置2可选用公知的可用于面瘫检测的面部特征检测装置2,其应能有效应对面瘫患者面部结构不对称的情况。本实施例中，所述面部特征检测装置2选用通过SDM有监督下降方法形成的面部特征检测器。其他实施例中，所述面部特征检测装置2也可由本领域技术人员通过SDM根据选取的训练样本集训练而形成。[0123]所述提取模块3用于根据检测出的面部特征点计算出面部对称性特征。所述面部对称性特征是以面部中分线为基准，用于量化衡量面部五官的结构形状对称性的差异的参数。所述面部对称性特征用于面部结构对称性量化，其分为形状对称性特征和位置对称性特征。所述形状对称性特征通过计算面部五官的形状对称性的差异而得出，如面部结构两侧形状的周长、面积、高度、角度和曲率等差异;所述位置对称性特征通过计算面部五官中的坐标位置的对称性差异而得出。本实施例中，所述提取模块3用于计算表一中的一种或多种面部对称性特征。[0124]所述输出装置用于自动输出面瘫患者的面瘫分级评估结果。所述输出装置接收由提取模块3计算得出的面部对称性特征作为输入，而自动的给出面瘫患者的面瘫分级评估结果，该面瘫分级评估结果为最终的客观评估结果。面瘫分级评估结果，可通过视觉和或声音的方式呈现给临床医师或面瘫患者。[0125]藉此，便形成了本发明的面瘫客观评估系统。使用时，面瘫患者将其额部托放在所述头部定位装置12上，所述图像采集装置1便可采集面瘫患者的面部图像信息；当采集到面瘫患者的面部图像信息后，所述面部特征点检测装置便可检测出该面部图像信息中的面部特征点，其后所述提取模块3便可提取出面部对称性特征，并根据面部对称性特征而得出面瘫分级评估结果，从而使得所述输出装置可直观而客观的输出该面瘫患者的面瘫分级评估结果。使用本发明的面瘫客观评估系统可消除临床医师主观判断所造成的主观偏差，其可用于辅助临床医生准确快速地获取面瘫分级评估结果，为面瘫患者制定合适的治疗方案以提高康复治疗的疗效奠定基础。[0126]尽管通过以上实施例对本发明进行了揭示，但是本发明的范围并不局限于此，在不偏离本发明构思的条件下，以上各构件可用所属技术领域人员了解的相似或等同元件来替换。

权利要求：1.一种面瘫客观评估方法，其特征在于，其包括以下步骤：51、通过图像采集装置1采集面瘫患者的面部图像；52、获取面部特征点检测模型，根据已采集到的面瘫患者的面部图像检测出该面部图像中的面部特征点；53、根据检测出的面部特征点提取出面部对称性特征；54、获取面瘫分级分类器，面瘫分级分类器根据面部对称性特征自动确定出面瘫患者的面瘫分级评估结果。2.如权利要求1所述的面瘫客观评估方法，其特征在于，步骤S2中，检测出面部图像中的面部特征点还包括以下步骤：将通过图像采集装置1采集到的面瘫患者的面部图像进行倾斜校正，使面部图像中的面部校正为正脸；根据倾斜校正后的面部图像检测出该已校正后的面部图像中的面部特征点。3.如权利要求2所述的面瘫客观评估方法，其特征在于，所述倾斜校正通过以下步骤实现：根据已采集到的且未进行倾斜校正前的面部图像确定出两眼内侧的特征点，并确定出通过该两眼内侧的特征点的直线；计算出该直线与水平线之间的角度，确定出面部倾斜度；根据面部倾斜度转动采集到的面部图像，使面部图像中的面部校正为正脸。4.如权利要求1所述的面瘫客观评估方法，其特征在于，所述面部对称性特征是以面部中分线为基准，用于量化衡量面瘫患者的面部五官的结构形状对称性的差异。5.如权利要求4所述的面瘫客观评估方法，其特征在于，所述面部对称性特征包括形状对称性特征和位置对称性特征，所述形状对称性特征通过计算面瘫患者的面部五官中的形状对称性的差异而得出，所述位置对称性特征通过计算面瘫患者的面部特征点的坐标位置的对称性差异而得出。6.如权利要求4所述的面瘫客观评估方法，其特征在于，所述面部中分线为与水平线垂直，并通过鼻部顶部特征点的垂线。7.如权利要求4所述的面瘫客观评估方法，其特征在于，所述面部对称性特征通过以下方法确定：提出若干个用于量化表征面瘫患者的面部五官的结构形状对称性差异的面部对称性特征；将以面部中分线建立的全部面部对称性特征与分级评分进行线性相关性分析，确定出面部对称性特征与分级评分之间的相关系数；根据不同的相关系数阀值，将分别与该相关系数阀值对应的面部对称性特征组合成特征向量；以各特征向量训练出各自的面瘫分级分类器；使用交叉验证方法对各面瘫分级分类器进行样本测试，确定出各面瘫分级分类器的测试准确率；选取测试准确率最高的面瘫分级分类器所对应的面部对称性特征为步骤S3中需提取的面部对称性特征。8.如权利要求1所述的面瘫客观评估方法，其特征在于，步骤SI中，通过图像采集装置I采集面瘫患者的面部图像包括面瘫患者在进行特定面部运动时的一副或多幅面部图像，所述特定面部运动包括抬眉、闭眼、示齿、鼓腮中的一种或多种;步骤S2中，在检测面部特征点时，分别对通过步骤Sl采集到的与各特定面部运动相对应的一幅或多幅面部图像进行面部特征点检测;步骤S3中，在提取面部对称性特征时，分别对与各特定面部运动相对应的面部特征点进行面部对称性特征提取。9.如权利要求1〜8任一条所述的面瘫客观评估方法，其特征在于，所述面部特征点包括眉部特征点、鼻部特征点、眼部特征点和嘴部特征点，所述嘴部特征点包括外唇特征点、内唇特征点、上唇特征点和下唇特征点;所述面瘫分级分类器是基于H-B分级评分监督下的多类分类器。10.—种面瘫客观评估系统，其特征在于，其包括：图像采集装置1，其用于采集面瘫患者进行特定面部运动和或静止时的面部图像；面部特征检测装置2，其用于根据已采集到的面瘫患者的面部图像检测出该面部图像中的面部特征点；提取模块3，其用于根据检测出的面部特征点计算出面部对称性特征；输出装置，其用于根据提取模块3计算出的面部对称性特征自动输出面瘫患者的面瘫分级评估结果。11.如权利要求10所述的面瘫客观评估系统，其特征在于，所述图像采集装置（1包括摄像机（11、头部定位装置（12、调节装置（13、摄像机支架（14，所述摄像机（11设于所述摄像机支架（14上，所述调节装置（13用于调节摄像机支架（14和或摄像机（11的位置和或方向，所述头部定位装置12用于辅助面瘫患者的脸部正对所述摄像机11。12.如权利要求11所述的面瘫客观评估系统，其特征在于，所述头部定位装置（12包括有用于托放面瘫患者额部的额托121。

百度查询： 王俊;但果 面瘫客观评估方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD