申请/专利权人：清华大学

申请日：2019-04-17

公开（公告）日：2021-04-13

公开（公告）号：CN109998687B

主分类号：A61B34/32(20160101)

分类号：A61B34/32(20160101);A61B34/35(20160101);A61B34/20(20160101);G06N3/04(20060101)

优先权：["20180921 US 16/138,889"]

专利状态码：有效-授权

法律状态：2021.04.13#授权;2019.08.06#实质审查的生效;2019.07.12#公开

摘要：本发明公开了一种骨折复位手术机器人系统及方法，其中，系统包括：手术图像采集设备，用于采集手术实时的透视图像；远程控制工作站，远程控制工作站包括图形界面，用于接收透视图像，并通过图形界面显示透视图像，以生成或接收医生的骨折复位规划路径，并且通过图形界面显示骨折复位规划路径，以及根据骨折复位规划路径获取机器人控制量；骨折复位机器人，用于接收机器人控制量，并根据机器人控制量执行相应运动，以完成骨折复位手术。该系统有效避免了额外标志物的安装以及标定与注册过程，且比起传统基于“术前规划‑术中执行”机器人控制方法可以获得更高的手术精度，并具有构成简单、使用方法清晰直观、且可以应对各种复杂的骨折情况的优点。

主权项：1.一种骨折复位手术机器人系统，其特征在于，包括：手术图像采集设备，用于采集手术实时的透视图像；远程控制工作站，所述远程控制工作站包括图形界面，用于接收所述透视图像，并通过所述图形界面显示所述透视图像，以生成或接收医生的骨折复位规划路径，并且通过所述图形界面显示骨折复位规划路径，以及根据所述骨折复位规划路径获取机器人控制量；以及骨折复位机器人，用于接收所述机器人控制量，并根据所述机器人控制量执行相应运动，以完成骨折复位手术；报警装置，用于在力超过预设幅值或力的变化率出现突变时，进行报警提示；控制装置，用于在接收到所述报警提示时，控制所述骨折复位机器人停止运动；可拆装的消毒工作平台，所述消毒工作平台安装在所述骨折复位机器人的操作平台之上，所述消毒工作平台和肢体之间通过固定装置相连接，并且所述骨折复位机器人的每个推杆上安装力传感器；所述力传感器用于同时测量力和力的变化率。

全文数据：骨折复位手术机器人系统及方法技术领域本发明涉及手术机器人技术领域，特别涉及一种骨折复位手术机器人系统及方法。背景技术微创技术是创伤性骨折手术复位固定中广泛采用的技术，但带之而来的问题是，医生需要暴露在X光下操作。而对于复杂的骨折手术，术中往往需要进行大量X光照射，造成医生遭受大量辐射，影响健康，因而一种远程操控的手术机器人的系统成为一种急迫的需要。现有研究中的骨科手术机器人根据专门的手术导航系统提供的坐标进行相应的操作。其中常用的手术导航技术有CT与X光配准，光学跟踪与定位等等。这些手术导航技术都是基于物理空间的绝对坐标，即导航系统的任务是获取手术器械，手术部位的位置和姿态在同一个绝对坐标系下的表示，既所谓的注册过程。然后手术机器人根据绝对坐标下的位置和姿态信息进行操作。这种导航方法有如下三个缺点：其一是手术前需要对X光机等成像设备进行标定，不仅费时，还可能由标定误差引起导航精度下降；其二是需要在手术器械和手术部位上安装额外的标志物，增加了手术步骤，也增加了对患者的创伤；其三是往往需要额外配置专用的导航设备，如术中CT和红外光学跟踪定位系统等等，大大增加的设备成本。另一方面，现有的大部分手术机器人运动使用的是开环控制。具体来说，就是手术前先通过导航系统获取手术操作端，手术部位或手术操作端夹持的肢体在绝对坐标下的位置信息，然后据此计算出机器人需要运动的轨迹，手术中按照事先计算好的轨迹进行操作。简言之就是“术前规划-术中执行”，因此只能刚性地执行任务，不具备手术过程中实时校正的能力。这样一来，术前规划的误差，术中标志物的错动，乃至病人呼吸等原因引起的手术部位的运动都会大大降低手术精度，甚至导致手术失败。如相关技术中，骨折复位机器人采用的就是“术前规划-术中执行”的控制策略，通过术前的CT信息计算出骨折复位所需要的手术机器人操作端的运动量，术中按照实现计算好的方式运动，没有通过视觉信息实时反馈校正的能力。尽管部分手术机器人引入了术中实时反馈的手段，但都是通过红外光学定位等间接手段而不是直接的图像信息进行反馈的。如相关技术中介绍的骨折复位和髓内钉固定机器人系统，采用术前的CT和X光图像进行规划，术中采用红外光学定位装置进行反馈在骨头上安装了红外标志点，但术中没有直接利用X光等图像信息，在肌肉张力，骨骼的变形等因素原因的影响下标志点可能发生位移，进而导致定位精度下降。近年来，对运动的视觉伺服控制方法在机器人领域受到越来越多的关注。所谓视觉伺服运动控制，即通过视觉传感器获取目标和机器人的位置或运动信息，然后将这些信息实时地用于机器人的运动控制，以引导机器人完成特定的任务。由于采用视觉反馈对机器人进行闭环控制，机器人的定位精度相比开环控制更高，且能够对实际任务中可能发生的目标位置的变化做出相应的调整。而视觉伺服技术中的一个分支，即“基于图像的免标定视觉伺服”技术，比如，一种多任务手术机器人的视觉伺服控制方法，由于采用相对坐标的概念，避免了传统视觉伺服中的标定步骤，使得使用流程大大简化。另外，随着数字图像处理技术的进步，视觉伺服对目标和机械手臂前端人为安装的标志物的依赖也越来越小，利用目标和机械臂前端在图像中的特征点和边缘等图像特征信息即可完成对机器人的控制。但目前该视觉伺服技术还未应用在手术机器人技术领域。骨折复位的成功和效率依赖于复位策略和断骨运动的路径规划方法。尽管人工智能技术已经取得了显著的进步，但对于复杂的骨折和信息不完整的情况，仍然不能够胜任。此外，为保证安全性，对于人工智能算法给出的复位路径和复位策略，也需要医生进行检验确认。因此，需要手术机器人系统具备一个交互界面，供医生进行人工路径规划和对人工智能算法输出结果进行检验，比如，一种远程操控的骨折复位手术机器人系统及复位控制方法。发明内容本申请是基于发明人对以下问题的认识和发现做出的：相关技术中，1一种多任务手术机器人的视觉伺服控制方法，由于采用相对坐标的概念，避免了传统视觉伺服中的标定步骤，使得使用流程大大简化。但是仅提供了一个普遍适用的手术机器人控制方法。2一种远程操控的骨折复位手术机器人系统及复位控制方法，但是仅提供了基于图形界面的骨折复位的路径规划规划实施方法。相比较相关技术，本发明专利提供了完整的不依赖于导航系统的骨折复位机器人系统，并通过安装力传感器提供了一种安全防护方法。本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种骨折复位手术机器人系统，该系统具有构成简单、使用方法清晰直观、且可以应对各种复杂的骨折情况的优点。本发明的另一个目的在于提出一种骨折复位手术机器人方法。为达到上述目的，本发明一方面实施例提出了一种骨折复位手术机器人系统，包括：手术图像采集设备，用于采集手术实时的透视图像；远程控制工作站，所述远程控制工作站包括图形界面，用于接收所述透视图像，并通过所述图形界面显示所述透视图像，以生成或接收医生的骨折复位规划路径，并且通过所述图形界面显示骨折复位规划路径，以及根据所述骨折复位规划路径获取机器人控制量；骨折复位机器人，用于接收所述机器人控制量，并根据所述机器人控制量执行相应运动，以完成骨折复位手术。本发明实施例的骨折复位手术机器人系统，在手术中仅依赖于手术室普遍采用的G型或C型X光机进行闭环控制，取消了复杂且给患者带来额外损伤和痛苦的基于导航技术所需要的注册过程及附带的光学标志点，特别是在长骨骨折复位时，不再需要用钢钉将患者的骨断端固定在机器人操作端上，且操作图形界面使得医生可以进行人工骨折复位路径规划，检验人工智能算法的路径规划结果，从而有效避免了额外标志物的安装以及标定与注册过程，且比起传统基于“术前规划-术中执行”机器人控制方法可以获得更高的手术精度，并具有构成简单、使用方法清晰直观、且可以应对各种复杂的骨折情况的优点。另外，根据本发明上述实施例的骨折复位手术机器人系统还可以具有以下附加的技术特征：进一步地，在本发明的一个实施例中，所述手术图像采集设备为G型臂或C型臂X光机，其中，所述C型臂具备采集两幅正交X光图像的能力，使得所述X光图像通过数据线或无线网络连接所述远程控制工作站。进一步地，在本发明的一个实施例中，所述远程控制工作站通过数据线或者无线网络连接所述骨折复位机器人，且安装的规划复位路径的所述图形界面通过显示器展示。进一步地，在本发明的一个实施例中，还包括：可拆装的消毒工作平台，所述消毒工作平台安装在所述骨折复位机器的操作平台之上，所述消毒工作平台和肢体之间通过固定装置相连接，并且所述骨折复位机器人的每个推杆上安装力传感器。进一步地，在本发明的一个实施例中，所述力传感器用于同时测量力和力的变化率。进一步地，在本发明的一个实施例中，还包括：报警装置，所述报警装置用于在所述力超过预设幅值或所述力的变化率出现突变时，进行报警提示。进一步地，在本发明的一个实施例中，还包括：控制装置，用于在接收到所述报警提示时，控制所述骨折复位机器人停止运动。进一步地，在本发明的一个实施例中，还包括：所述骨折复位机器人为实现骨折六自由度运动的机器人。进一步地，在本发明的一个实施例中，还包括：所述实现骨折六自由度运动的机器人为Stewart型并联机器人。为达到上述目的，本发明另一方面实施例提出了一种骨折复位手术机器人系统的控制方法，采用如上述实施例所述的系统，其中，所述方法包括以下步骤：控制所述手术图像采集设备实时采集骨折患处的正位透视图像和侧位透视图像，通过数据线或无线网络发送到所述远程控制工作站上，远程控制所述远程控制工作站生成相应的规划复位路径的所述图形界面；通过所述图形界面上显示的正位透视图像和侧位透视图像判断骨折是否需要继续复位，或者通过判断复位误差的绝对值是否小于预设值判断是否需要继续复位：若不需要，则骨折复位结束；若需要继续复位，则在所述图形界面重新进行复位路径规划，或者采用人工智能算法给出的复位路径规划，确认骨折复位规划路径，以及在所述图形界面中确认机器人运动后不会超出工作空间后，计算控制误差；根据所述控制误差按照视觉伺服控制律计算相应的机器人控制量；将所述机器人控制量发送给所述骨折复位机器人，以根据所述机器人控制量进行运动。本发明实施例的骨折复位手术机器人系统的控制方法，在手术中仅依赖于手术室普遍采用的G型或C型X光机进行闭环控制，取消了复杂且给患者带来额外损伤和痛苦的基于导航技术所需要的注册过程及附带的光学标志点，特别是在长骨骨折复位时，不再需要用钢钉将患者的骨断端固定在机器人操作端上，且操作图形界面使得医生可以进行人工骨折复位路径规划，检验人工智能算法的路径规划结果，从而有效避免了额外标志物的安装以及标定与注册过程，且比起传统基于“术前规划-术中执行”机器人控制方法可以获得更高的手术精度，并具有构成简单、使用方法清晰直观、且可以应对各种复杂的骨折情况的优点。本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。附图说明本发明上述的和或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本发明一个实施例的骨折复位手术机器人系统的结构示意图；图2为根据本发明一个实施例的手术室中机器人系统的组成和布局；图3为根据本发明一个实施例的Stewart型并联机器人的立体图；图4a是用于将患者的脚连接到机器人的末端执行器的脚固定装置的透视图；图4b是用于将患者的脚连接到机器人的末端执行器的脚固定装置的透视图；图5为根据本发明一个实施例的Stewart型并联机器人的实施例中的用于骨折复位的图形用户界面的示图；图6为根据本发明一个实施例的用于骨盆骨折复位手术的Stewart型并联机器人；图7为根据本发明一个实施例的Stewart型并联机器人用于骨折复位手术的示意图；图8为根据本发明一个实施例的骨折复位手术机器人系统的控制方法的流程图；图9为根据本发明一个实施例的视觉伺服控制算法的流程图；图10为根据本发明一个实施例的应用卷积神经网络进行骨折复位路径规划的AI方法流程图；图11为根据本发明一个实施例的收集和预处理用于训练卷积神经网络的数据的过程示意图。具体实施方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。下面参照附图描述根据本发明实施例提出的骨折复位手术机器人系统及方法，首先将参照附图描述根据本发明实施例提出的骨折复位手术机器人系统。图1是本发明一个实施例的骨折复位手术机器人系统的结构示意图。如图1所示，该骨折复位手术机器人系统100包括：手术图像采集设备110、远程控制工作站120和骨折复位机器人130。其中，手术图像采集设备110用于采集手术实时的透视图像；远程控制工作站120远程控制工作站包括图形界面，用于接收透视图像，并通过图形界面显示透视图像，以生成或接收医生的骨折复位规划路径，并且通过图形界面显示骨折复位规划路径，以及根据骨折复位规划路径获取机器人控制量。骨折复位机器人130用于接收机器人控制量，并根据机器人控制量执行相应运动，以完成骨折复位手术。本发明实施例的系统100有效避免了额外标志物的安装以及标定与注册过程，且比起传统基于“术前规划-术中执行”机器人控制方法可以获得更高的手术精度，并具有构成简单、使用方法清晰直观、且可以应对各种复杂的骨折情况的优点。可以理解的是，本发明实施例的系统100为不依赖于导航技术的远程操控的骨折复位手术机器人系统，征是没有导航所需的设备，但包括：手术图像采集设备110，骨折复位机器人130和远程控制工作站120；其中远程控制工作站130上安装有用于医生进行手术的规划复位路径的图形界面。工作时，手术图像采集设备110采集手术实时的透视图像并传递到远程工作站；远程控制工作站120将接收到的图像在规划复位路径的图像界面上显示出来，医生手动或人工智能算法自动进行骨折复位路径规划，并将规划结果显示在图形界面上；远程控制工作站120根据路径规划结果计算得到机器人控制量并发送给骨折复位机器人130，骨折复位机器人130根据接收到的控制量完成相应运动。具体而言，本发明实施例的系统100包括：手术图像采集设备110，骨折复位机器人130、安全防护系统和远程控制工作站120。手术图像采集设备110通过数据线或无线网络连接远程控制工作站。远程控制工作站120通过数据线或者无线网络连接骨折复位机器人130，远程控制工作站120上安装有规划复位路径的图形界面，图像界面通过显示器展示，图形操作界面上提供了使得机器人运动返回上一步的按钮。进一步地，在本发明的一个实施例中，手术图像采集设备110可以为G型臂或C型臂X光机，但不限于此，本领域技术人员可以根据实际情况进行设置，在此不做具体限定。其中，C型臂具备采集两幅正交X光图像的能力，使得X光图像通过数据线或无线网络连接远程控制工作站。进一步地，在本发明的一个实施例中，骨折复位机器人130为实现骨折六自由度运动的机器人，其中，实现骨折六自由度运动的机器人可以为Stewart型并联机器人或者串联机器人。可以理解的是，骨折复位机器人130可以是并联机器人例如Stewart型也可以是串联机器人例如机械臂，需要说明的是，骨折复位机器人并不限于此，可以是能够实现骨折六自由度运动的任何类型的机器人，在此仅作为示例，不做具体限定。进一步地，在本发明的一个实施例中，还包括：可拆装的消毒工作平台、力传感器、报警装置和控制装置。其中，消毒工作平台安装在骨折复位机器的操作平台之上，消毒工作平台和肢体之间通过固定装置相连接，并且骨折复位机器人的每个推杆上安装力传感器。力传感器用于同时测量力和力的变化率。报警装置，报警装置用于在力超过预设幅值或力的变化率出现突变时，进行报警提示。控制装置，用于在接收到报警提示时，控制骨折复位机器人停止运动。具体而言，本发明实施例还在机器人的操作平台之上安装可拆装的消毒工作平台，消毒工作平台和患者肢体通过固定装置相连接，并且每个推杆上安装力传感器。力传感器用于同时测量力和力的变化率，当力超过规定幅值后或力的变化率出现突变时，经由控制软件自动报警并停止机器人运动。需要说明的是，本发明实施例的系统100和现有手术机器人在系统构成上的最大区别在于，本发明不需要进行导航和注册，这样就不需要光学标志点和视觉跟踪系统。下面将通过具体实施例对骨折复位手术机器人系统100进行进一步阐述。如图2所示，图2是本发明实施例提出的手术室中系统的组成和布局，包括：Stewart型并联机器人1、用于在长骨骨折复位手术中将患者的脚连接到机器人的末端执行器的固定器2、在远程操作的屏幕上示出的图形用户界面3、远程控制工作站120和手术图像采集设备110。在该实施例中，手术图像采集设备110以G型臂X射线机为例，具体地，手术图像采集设备110通过数据线或无线网络连接到远程操作工作站120。远程操作工作站120通过数据线或无线网络连接到骨折复位机器人130。远程操作工作站120配备有用于控制骨折复位机器人120的视觉伺服控制软件，用于规划骨折复位路径的人工智能算法软件，以及图形用户界面3。在操作期间，手术图像采集设备110获取两个实时图像，一个来自AP视图竖直图像，另一个来自LT视图水平图像，它们被发送到远程操作工作站120。操作员利用图形用户界面3和远程操作工作站120上显示的图像制作骨折复位路径计划，计算控制量，然后根据路径规划结果将它们发送给骨折复位机器人1130。最终，骨折复位机器人1130根据接收到的控制量进行移动。其中，手术图像采集设备110可以是任何常用的图像采集装置，例如C臂或G臂X射线机，其用于获取骨折部位的AP或LT图像。进一步而言，骨折复位机器人需要6个自由度，但不要求机器人的具体类型。在该实施例中，Stewart型并联机器人1用于操纵断裂的肢体并执行骨折复位。图3是本发明该实施例提供的Stewart型并联机器人的透视图。具体地，1-1是用于将机器人安装在移动台例如台车或固定台上的固定平台。1-2是用于将直线推杆1-4连接到固定平台1-1的安装板；1-3是用于实现Stewart型并联机器人特征的万向节；1-5是单自由度力传感器，用于测量机器人运动过程中的力和力的变化；1-6是末端执行器，也称为平台。与传统的Stewart型并联机器人不同，在该实施例中，添加消毒工作平台1-8并通过多个连接柱1-7连接到机器人的末端执行器1-6，连接柱1-7通过以下方式固定到两个平台上：多个卡环1-9，用于容易地组装和拆卸消毒工作平台1-8。图4a是用于将患者的脚连接到机器人的末端执行器的脚固定装置的透视图，该脚踏固定装置是该实施例中的消毒工作平台1-8。2-1是用于将脚固定装置连接到消毒工作平台1-8的固定基座；2-2是用于调节L形支架2-5的倾斜角度的连杆；2-3是用于固定连杆2-2的螺栓；2-4是用于连接L形支架2-5的滑轨，其上连接有用于固定患者足部的夹紧靴；2-6是用于将L形支架2-5固定到滑轨2-4的销孔。图4b是用于将患者的脚连接到机器人的末端执行器的脚固定装置的另一个透视图，该脚踏固定装置是该实施例中的消毒工作平台1-8。2-7是用于支撑脚的底板。2-8和2-9为脚提供侧面限制，它们可以绕轴2-10旋转。手柄结构2-11和2-12用于固定用于将患者的脚固定到装置上的绷带。L形支架2-7用于支撑患者的脚并且连接到滑轨2-4。在该实施例中，如图2所示，骨折肢体的患者足部固定在消毒工作平台1-8上的足部固定装置2上。对于胫骨骨折，首先将高于患者踝关节的鞋面夹在患者的脚上，然后通过柔性绳或柔性绷带将脚固定在L形支架2-5上。通过沿着滑轨2-4移动连杆2-2，将倾斜角度调节到适当的值。根据解剖学常识，如果骨折骨是股骨，为保护踝关节和膝关节，应使用柔性绷带将一对夹板从踝关节固定到膝关节。虽然图2仅描述了下肢的实施例，对于上肢骨折复位，根据解剖学常识，手应该用柔性绷带系在机器人的末端执行器上，如果需要，在它之间安装一对夹板，将腕关节和肘关节用弹性绷带与之固定。图6示出了骨盆骨折复位的实施例，其中骨盆的一部分固定在手术台上，骨盆的另一部分通过多个金属销固定到Stewart型机器人的末端执行器上。为了将骨盆暴露于X射线，患者骨盆下方的空间应留给X光机5。因此，使用由对X射线不显影的材料制成的板6进行固定。骨盆的骨折部分到机器人的末端执行器1-8。图7示出了当患者具有不能留下足够空间来布置X射线机的较短腿时将脚连接到机器人的方式。10是连接图4所示的脚固定装置到机器人的工作平台1-8的延伸梁。综上，本发明实施例的系统特点及有益效果如下：1系统构成简单，图形界面清晰直观，只需在2维图像上进行规划，不需要进行2维到3维的坐标转换，便于医生后续完成手术。此外，相比全自动的机器人骨折复位系统，本发明可以应对更为复杂的骨折复位情况。2采用了远程操控的方法，即操作者可以在手术室远离辐射的区域通过图形界面向机器人发送指令，彻底免受辐射伤害。此外由于采用了远程操控的方式，手术专家可以在外地通过操控手术机器人进行复位，进而完成手术，有助于提高落后地区的医疗水平，节约了因手术专家奔赴外地进行手术所耗费的时间。3手术机器人系统采用“视觉伺服”的运动控制方式，可以利用手术过程中采集的视觉信息对机器人的运动进行反馈，可以有效避免术前规划误差和术中手术部位移动等原因导致的手术精度下降，从而相比传统的“术前规划-术中执行”的手术机器人工作模式能获得更高的手术精度。也更符合医生的临床思维和骨折复位操作习惯。4手术导航技术采用了“基于图像的免标定视觉伺服”技术，避免了额外标志物的安装以及标定过程，可以有效减少手术准备时间，且“基于图像的免标定视觉伺服”技术能有效补偿患者手术部位位移，图像采集设备位移等不确定因素带来的误差，不需要对将患肢刚性固定在机器人操作端。5手术图像采集设备为G型臂或C型臂等手术室常用设备，无需额外添置术中CT或红外光学系统等昂贵设备，不仅节约了成本也减少了培训医务人员所需要的时间。根据本发明实施例提出的骨折复位手术机器人系统，在手术中仅依赖于手术室普遍采用的G型或C型X光机进行闭环控制，取消了复杂且给患者带来额外损伤和痛苦的基于导航技术所需要的注册过程及附带的光学标志点，特别是在长骨骨折复位时，不再需要用钢钉将患者的骨断端固定在机器人操作端上，且操作图形界面使得医生可以进行人工骨折复位路径规划，检验人工智能算法的路径规划结果，从而有效避免了额外标志物的安装以及标定与注册过程，且比起传统基于“术前规划-术中执行”机器人控制方法可以获得更高的手术精度，并具有构成简单、使用方法清晰直观、且可以应对各种复杂的骨折情况的优点。其次参照附图描述根据本发明实施例提出的骨折复位手术机器人系统的控制方法。图8是本发明一个实施例的骨折复位手术机器人系统的控制方法的流程图。如图8所示，该骨折复位手术机器人系统的控制方法，采用如上述实施例的系统，其中，首先将患者骨折的肢体部分固定在机器人操作端，方法包括以下步骤：在步骤S801中，控制手术图像采集设备实时采集骨折患处的正位透视图像和侧位透视图像，通过数据线或无线网络发送到远程控制工作站上，远程控制远程控制工作站生成相应的规划复位路径的图形界面。可以理解的是，手术图像采集设备实时采集骨折患处的正位透视图像和侧位透视图像各一张，通过数据线或无线网络发送到远程控制工作站上，远程控制工作站生成相应的规划复位路径的图形界面。具体而言，人工智能算法首先对图像进行处理，包括边缘提取、中线划定、路径规划、复位位置显示；医生根据图像界面显示的上述信息，判断骨边缘提取质量、中线划定正确否和路径规划是否合理，如果认为存在问题，则删除人工智能算结果在图形界面上的显示，进行人工中线划定或人工调整骨头轮廓线和人工路径规划。在步骤S802中，通过图形界面上显示的正位透视图像和侧位透视图像判断骨折是否需要继续复位，或者通过判断复位误差的绝对值是否小于预设值判断是否需要继续复位：若不需要，则骨折复位结束；若需要继续复位，则在图形界面重新进行复位路径规划，或者采用人工智能算法给出的复位路径规划，确认骨折复位规划路径，以及在图形界面中确认机器人运动后不会超出工作空间后，计算控制误差。其中，复位误差w，是描述骨折近侧断端和远侧断端之间相对位置关系的向量，可以是对应点的像素坐标差值以及骨折移动端和骨折固定端中线之间的夹角组成的向量，该误差表示了控制误差，理想状态是控制误差收敛到0。具体而言，在人工状态下，操作者通过图形界面上显示的正位透视图像和侧位透视图像判断骨折是否需要继续复位，或者通过判断复位误差w的绝对值是否小于设定值判断是否需要继续复位：若不需要，则骨折复位结束；若需要继续复位，则在图形界面上通过点击相应按钮进行复位路径规划，完成后在图形界面中确认机器人运动后不会超出其工作空间，然后计算控制误差e。其中，复位误差w的计算方法如下：令图形界面中正位透视图像中代表骨折固定端中线的线段与水平方向的夹角为θ1，其靠近骨折断端一侧的端点的像素坐标为x1,y1，代表骨折移动端中线的线段与水平方向的夹角为其靠近骨折断端一侧的端点的像素坐标为侧位透视图像中代表骨折固定端中线的线段与水平方向的夹角为θ2，其靠近骨折断端一侧的端点的像素坐标为x2,y2，代表骨折移动端中线的线段与水平方向的夹角为其靠近骨折断端一侧的端点的像素坐标为则骨折复位完成的标志是复位误差w为0，既实现解剖复位。控制误差e的计算方法如下：e＝[Δx1Δy1Δθ1Δx2Δy2Δθ2α]T，其中Δx1、Δy1、Δθ1分别是医生通过操作图形界面使得在正位透视图像中“代表机器人运动后骨折移动端将到达的位置的轮廓线”以及“代表机器人运动后骨折移动端的中线将到达的位置的线段”沿水平方向移动的距离、沿竖直方向移动的距离以及旋转的角度。Δx2、Δy2、Δθ2分别是医生通过操作图形界面使得在侧位透视图像中“代表机器人运动后骨折移动端将到达的位置的轮廓线”以及“代表机器人运动后骨折移动端的中线将到达的位置的线段”沿水平方向移动的距离，沿竖直方向移动的距离以及旋转的角度。α表示代表机器人运动后移动端沿骨轴线转动角度的双向箭头和竖直方向的夹角。在步骤S803中，根据控制误差按照视觉伺服控制律计算相应的机器人控制量。可以理解的是，利用步骤S802得到的控制误差e，按照视觉伺服控制律计算相应的机器人控制量r，其特征在于该计算过程只用到了控制误差e，图像特征的变化历史和机器人控制量的变化历史，不需要借助CT或者红外光学导航系统提供的数据。具体而言，利用步骤S802得到的控制误差e，按照基于图像的免标定视觉伺服控制律计算相应的机器人控制量r，表达式如下：其中，如果采用Stewart型机器人，控制量r为骨折复位机器人中六个杆的杆长改变量，为矢量；kP、kI、kD分别为视觉伺服控制律的比例系数、积分系数、微分系数；J为雅克比矩阵；∫edt为控制误差e对时间t的积分，为控制误差e对时间t的导数。在步骤S804中，将机器人控制量发送给骨折复位机器人，以根据机器人控制量进行运动。具体而言，远程控制工作站将步骤S803中计算得到的控制量r发送给骨折复位机器人，机器人根据该控制量进行运动；运动完成后，重新返回步骤S801。安装在机器人操作端和患肢固定装置之间的力传感器测量机器人运动过程中的力的幅值变化率，当力突然增加时，即认为骨断端之间出现接触，控制系统自动停止机器人运动，并报警。医生通过拍摄的X光图像对骨折复位情况进行检查，如果复位完成，则停止操作，否则重新进行路径规划，重新返回步骤S801或步骤S802。下面将通过具体实施例对骨折复位手术机器人系统的控制方法进行进一步阐述。如图9所示，图9示出了视觉伺服控制软件的流程图。该软件安装在远程操作工作站中。如图2所示，远程操作工作站4包括工作站主机，显示器，键盘和鼠标。远程操作工作站配备有用于骨折复位路径规划的图形用户界面3和用于机器人控制量计算的骨折复位机器人控制程序。安装在远程操作工作站上的用于骨折复位路径规划的图形用户界面在图3中示出。控制算法的流程图如图9所示。图5的细节解释和基于视觉伺服的机器人运动控制方法描述如下：1考虑到骨折复位的要求，在本实施例中使用G臂X射线机5。或C臂X射线机从垂直方向获取图像。由G臂X射线机获取的图像显示在图形用户的X射线图像显示区域3-1和3-2上界面3分别显示AP图像和LT图像。2在每个图像中的相应位置上显示路径规划相关的标记线，轮廓和箭头。如图5所示，路径规划相关的标记线和轮廓包括：“表示近端骨段中线的标记线”3-3和3-4，“表示远端骨段中线的标记线”3-5和3-6，“在机器人运动“3-7和3-8”之后，标记线代表远端骨段的中线，远端骨段“3-9和3-10”的轮廓线，在远端骨段之后的轮廓线机器人运动“3-11和3-12，以及”表示机器人运动后远端骨段轴线旋转角度的双箭头“3-13。3用于手动骨折复位路径规划的按钮包括AP和LT图像显示区域下方的6个按钮3-14，分别表示“向上移动”，“向下移动”，“向左移动”，“向右移动”，“顺时针旋转”“和”逆时针旋转“。当按下这些按钮时，“表示远端骨段中线的标记线”3-5和3-6，以及“远端骨段的轮廓线”3-9和3-10将平移或相应地旋转。按钮还包括两个按钮3-15，表示“顺时针旋转”和“逆时针旋转”。当按下这两个按钮时，“表示机器人移动后的远端骨段的轴的旋转角度的双箭头”3-13将相应地旋转。4当按下用于路径规划的按钮时，3-19中所示的并联机器人的状态也相应地改变。在如图2所示的实施例中，如图2所示，如果直线推杆1-4超过其行程限制或万向节1-3超过其角度限制，则支直线推杆1-4或接头1-3的颜色将相应地改变。5当按下复位按钮时，路径规划相关的标记线，轮廓和箭头将返回其原始位置，即“表示机器人移动后远端骨段中线的标记线”3-7并且3-8回到“代表远端骨段中线的标记线”3-5和3-6；“机器人运动后的远端骨段的轮廓线”3-11和3-12返回到“远端骨段的轮廓线”3-9和3-10的位置；“表示机器人运动后远端骨段轴线旋转角度的双箭头”3-13返回竖直方向。6当按下翻转按钮3-17时，“表示远端骨段的中线的标记线”3-5和3-6将交换位置，其中“标记线代表近端骨段的中线；删除现有的轮廓线3-9和3-10，示出了另一个骨段的轮廓线，并且该骨段现在称为远端骨段。该功能用于图像处理算法错误地将远端骨段作为近端骨段或将近端骨段作为远端骨段的情况。7当按下运行按钮3-18时，工作站4计算控制误差并将该控制误差发送到机器人控制程序以计算机器人控制量。将Δx1，Δy1和Δθ1设为AP图像上的“机器人运动后远端骨段轮廓线”与“机器人运动后代表远端骨段中线的标记线”之间的水平位移，垂直位移和旋转角度。医生通过图形用户界面在AP图像中进行操作。将Δx2、Δy2、Δθ2设为LT图像上的“机器人运动后远端骨段轮廓线”与“机器人运动后代表远端骨段中线的标记线”之间的水平位移，垂直位移和旋转角度。在LT图像中通过图形用户界面。设α为垂直方向与“表示机器人移动后的远端骨段的轴的旋转角度的双箭头”之间的角度。因此，控制误差e由下式给出：e＝[Δx1Δy1Δθ1Δx2Δy2Δθ2α]T。8由于控制误差e，根据“无模型基于图像的视觉伺服”控制律，控制量r可以给出如下：其中，r是表示Stewart平台的六个直线推杆的长度变化的矢量；kP,kI,kD分别是比例系数，积分系数和微分系数；J是通过卡尔曼滤波图像特征骨碎片的标记线和机器人控制指令获得的雅可比矩阵，其建立了图像的变化与骨折复位机器人的运动之间的关系；∫edt是控制误差e随时间的积分，是控制误差e随时间的导数。然后让机器人根据控制量r移动。设l为表示Stewart平台的六个直线推杆的当前长度的矢量，然后将所需的直线推杆长度l+r发送到Stewart平台并相应地移动；计算复位误差w。在AP透视图像中，令水平方向和表示近端骨段中线的标记线之间的角度为θ1，并且其端点靠近断裂段的侧面的像素坐标为x1,y1；令水平方向和表示远端骨段中线的标记线之间的角度为并且其端点靠近断裂段的侧面的像素坐标为在LT荧光检查图像中，令水平方向和表示近端骨段中线的标记线之间的角度为θ2，并且其端点靠近断裂段的侧面的像素坐标为x2,y2；令水平方向和表示远端骨段中线的标记线之间的角度为并且其端点靠近断裂段的侧面的像素坐标为根据这些定义，减少误差w由下式给出：随后，若||w||≥ε则获取新的透视图像；如果||w||＜ε则停止循环并且断裂减少则过程结束。根据手术要求，阈值ε是提前设定好的预定阈值。9在操作界面上提供了返回上一步的按钮3-20，以避免因为操作者对旋转角度方向判断错误导致的误操作。另外，如图10所示，AIArtificialIntelligence，人工智能路径规划算法是U-net和基于FCNFullyConvolutionalNetworks，完整卷积网络开发。网络的输入是断裂部分的X射线图像，输出是复位路径，其由一系列基本操作表示，包括牵引、弯曲、旋转或它们的组合。应用AI技术的一个重要步骤是用CNNConvolutionalNeuralNetworks，卷积神经网络训练数据。数据收集和预处理过程如图11所示：1收集临床骨折复位手术病例的X射线图像序列，使每个图像序列记录完整的骨折复位过程；2归一化这些图像序列，包括尺寸归一化和灰度归一化；3分析序列中相邻图像之间的差异，从图像序列中提取运动信息；4将这些运动分类为若干基本操作，包括牵引，弯曲，旋转或它们的组合，以这种方式将每个图像序列的缩小过程描述为一系列基本操作。训练数据分别是上述步骤2和步骤4的归一化图像序列和相应的基本操作序列。根据本发明实施例提出的骨折复位手术机器人系统的控制方法，在手术中仅依赖于手术室普遍采用的G型或C型X光机进行闭环控制，取消了复杂且给患者带来额外损伤和痛苦的基于导航技术所需要的注册过程及附带的光学标志点，特别是在长骨骨折复位时，不再需要用钢钉将患者的骨断端固定在机器人操作端上，且操作图形界面使得医生可以进行人工骨折复位路径规划，检验人工智能算法的路径规划结果，从而有效避免了额外标志物的安装以及标定与注册过程，且比起传统基于“术前规划-术中执行”机器人控制方法可以获得更高的手术精度，并具有构成简单、使用方法清晰直观、且可以应对各种复杂的骨折情况的优点。在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

权利要求：1.一种骨折复位手术机器人系统，其特征在于，包括：手术图像采集设备，用于采集手术实时的透视图像；远程控制工作站，所述远程控制工作站包括图形界面，用于接收所述透视图像，并通过所述图形界面显示所述透视图像，以生成或接收医生的骨折复位规划路径，并且通过所述图形界面显示骨折复位规划路径，以及根据所述骨折复位规划路径获取机器人控制量；以及骨折复位机器人，用于接收所述机器人控制量，并根据所述机器人控制量执行相应运动，以完成骨折复位手术。2.根据权利要求1所述的系统，其特征在于，所述手术图像采集设备为G型臂或C型臂X光机，其中，所述C型臂具备采集两幅正交X光图像的能力，使得所述X光图像通过数据线或无线网络连接所述远程控制工作站。3.根据权利要求1所述的系统，其特征在于，所述远程控制工作站通过数据线或者无线网络连接所述骨折复位机器人，且安装的规划复位路径的所述图形界面通过显示器展示。4.根据权利要求1所述的系统，其特征在于，还包括：可拆装的消毒工作平台，所述消毒工作平台安装在所述骨折复位机器的操作平台之上，所述消毒工作平台和肢体之间通过固定装置相连接，并且所述骨折复位机器人的每个推杆上安装力传感器。5.根据权利要求4所述的系统，其特征在于，所述力传感器用于同时测量力和力的变化率。6.根据权利要求5所述的系统，其特征在于，还包括：报警装置，所述报警装置用于在所述力超过预设幅值或所述力的变化率出现突变时，进行报警提示。7.根据权利要求6所述的系统，其特征在于，还包括：控制装置，用于在接收到所述报警提示时，控制所述骨折复位机器人停止运动。8.根据权利要求1-7所述的系统，其特征在于，所述骨折复位机器人为实现骨折六自由度运动的机器人。9.根据权利要求8所述的系统，其特征在于，所述实现骨折六自由度运动的机器人为Stewart型并联机器人或者串联机器人。10.一种骨折复位手术机器人系统的控制方法，其特征在于，采用如权利要求1-9任一项所述的系统，其中，所述方法包括以下步骤：控制所述手术图像采集设备实时采集骨折患处的正位透视图像和侧位透视图像，通过数据线或无线网络发送到所述远程控制工作站上，远程控制所述远程控制工作站生成相应的规划复位路径的所述图形界面；通过所述图形界面上显示的正位透视图像和侧位透视图像判断骨折是否需要继续复位，或者通过判断复位误差的绝对值是否小于预设值判断是否需要继续复位：若不需要，则骨折复位结束；若需要继续复位，则在所述图形界面重新进行复位路径规划，或者采用人工智能算法给出的复位路径规划，确认骨折复位规划路径，以及在所述图形界面中确认机器人运动后不会超出工作空间后，计算控制误差；根据所述控制误差按照视觉伺服控制律计算相应的机器人控制量；将所述机器人控制量发送给所述骨折复位机器人，以根据所述机器人控制量进行运动。

百度查询： 清华大学 骨折复位手术机器人系统及方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD