申请/专利权人：刘洋;上海霖晏医疗科技有限公司

申请日：2017-08-21

公开（公告）日：2021-02-23

公开（公告）号：CN107374729B

主分类号：A61B34/20(20160101)

分类号：A61B34/20(20160101)

优先权：

专利状态码：有效-授权

法律状态：2021.02.23#授权;2018.03.13#专利申请权、专利权的转移;2017.12.22#实质审查的生效;2017.11.24#公开

摘要：本发明公开了一种基于AR技术的手术导航系统及方法，所述术导航系统包括扫描装置、处理器、动态定位获取装置和AR眼镜；扫描装置在手术前对患者进行扫描以获取扫描图像数据并发送至处理器；处理器接收扫描图像数据并生成患者的三维模拟图像；动态定位获取装置在手术中获取患者在动态定位获取装置坐标系中的定位图像和第一实时动态数据，还用于获取AR眼镜在动态定位获取装置坐标系中的第二实时动态数据，并发送至处理器；处理器根据三维模拟图像、定位图像、第一实时动态数据和第二实时动态数据生成三维导航图像并发送至AR眼镜；AR眼镜接收并显示三维导航图像。本发明能够在AR眼镜中动态呈现手术过程并与患者精准叠加。

主权项：1.一种基于AR技术的手术导航系统，其特征在于，所述手术导航系统包括扫描装置、处理器、动态定位获取装置和AR眼镜；所述扫描装置用于在手术前对患者进行扫描以获取扫描图像数据并发送至所述处理器；所述处理器用于接收所述扫描图像数据并生成所述患者的三维模拟图像；所述动态定位获取装置用于在手术中获取患者在动态定位获取装置坐标系中的定位图像和第一实时动态数据并发送至所述处理器，还用于获取所述AR眼镜在所述动态定位获取装置坐标系中的第二实时动态数据并发送至所述处理器；所述处理器还用于根据所述定位图像将所述三维模拟图像在所述动态定位获取装置坐标系中进行静态注册，并根据所述第一实时动态数据将静态注册后的三维模拟图像与所述患者进行动态配准；所述处理器根据所述第二实时动态数据和所述第一实时动态数据获取所述患者在AR眼镜坐标系中的坐标数据，并结合动态配准后的三维模拟图像生成与实际环境中患者实时重合的三维导航图像并发送至所述AR眼镜；所述AR眼镜用于接收并显示所述三维导航图像；所述动态定位获取装置包括光学动态追踪设备和定位摄像设备，所述定位摄像设备在所述动态定位获取装置坐标系中的坐标为一预设坐标；所述光学动态追踪设备用于获取所述第一实时动态数据和所述第二实时动态数据；所述定位摄像设备用于获取所述定位图像；所述处理器还用于根据所述预设坐标和所述定位图像生成坐标参数，并根据所述坐标参数进行所述静态注册；所述动态定位获取装置还包括若干个标记部件，所述标记部件包括定位部件和动态追踪部件；所述定位部件和所述动态追踪部件贴附在距离患者手术部位一定预设范围内的身体上，所述动态追踪部件还设置在所述AR眼镜上；所述扫描装置用于在手术前获取包含有定位部件图像的扫描图像数据；所述定位摄像设备用于在手术中获取包含有定位部件图像和动态追踪部件图像的定位图像；所述光学动态追踪设备用于在手术中识别所述动态追踪部件以获取所述第一实时动态数据和所述第二实时动态数据。

全文数据：基于AR技术的手术导航系统及方法技术领域[0001]本发明涉及一种基于AR技术的手术导航系统及方法。背景技术[0002]现有技术中，为了使医生能够清晰的了解手术器械相对病人解剖结构的位置，普遍采用计算机辅助导航技术，该导航技术的工作原理为:在患者的手术部位附近和手术器械上安装能够发出信号的装置，通常采用红外线作为发射源、CCD电荷耦合元件相机为接收器，利用发出的信号对患者的骨骼位置和手术器械的位置以及运动轨迹进行跟踪，同时将这些信息通过显示器展示给医生;在术中进行患者手术部位的X线透视，并将透视图像与得到的患者骨骼位置和手术器械位置图像进行合成，从而得到医生进行手术采用的导航图像。[0003]由于上述导航系统是将定位和引导信息显示在系统屏幕上，医生通过观察导航屏幕上的图像来进行手术操作，使得导航信息与手术场景相分离。术中，医生为了观察手术器械相对于病人解剖结构的位置，不得不在病人手术部位和导航屏幕之间来回切换视野，这不利于医生将注意力集中于病人手术部位进行手术，会干扰手术进程并加大导航定位误差。[0004]另一方面，导航信息不易理解。医生主要利用导航系统屏幕上显示的叠加了手术器械信息的断层图像来进行术中定位，而这些图像并不能很好地反映出病人当前体位，使得医生不能直观地理解真实手术场景中手术器械与实际病人解剖结构间的空间位置关系，造成手术导航系统的作用不能得到充分发挥。发明内容[0005]本发明要解决的技术问题是为了克服现有技术中AR眼镜中的导航信息与实际手术场景不能精准的动态叠加的缺陷，提供一种基于AR技术的手术导航系及方法。[0006]本发明是通过下述技术方案解决上述技术问题：[0007]—种基于AR技术的手术导航系统，包括扫描装置、处理器、动态定位获取装置和AR眼镜；[0008]所述扫描装置用于在手术前对患者进行扫描以获取扫描图像数据并发送至所述处理器；[0009]所述处理器用于接收所述扫描图像数据并生成所述患者的三维模拟图像；[0010]所述动态定位获取装置用于在手术中获取患者在动态定位获取装置坐标系中的定位图像和第一实时动态数据并发送至所述处理器，还用于获取所述AR眼镜在所述动态定位获取装置坐标系中的第二实时动态数据并发送至所述处理器；[0011]所述处理器还用于根据所述定位图像将所述三维模拟图像在所述动态定位获取装置坐标系中进行静态注册，并根据所述第一实时动态数据将静态注册后的三维模拟图像与所述患者进行动态配准；[0012]所述处理器根据所述第二实时动态数据和所述第一实时动态数据获取所述患者在AR眼镜坐标系中的坐标数据，并结合动态配准后的三维模拟图像生成与实际环境中患者实时重合的三维导航图像并发送至所述AR眼镜，所述静态注册是获取实际患者在动态定位获取装置坐标系的坐标，所述动态配准是获取患者在动态定位获取装置坐标系的动态坐标。[0013]所述AR眼镜用于接收并显示所述三维导航图像。[0014]较佳地，所述动态定位获取装置包括光学动态追踪设备和定位摄像设备，所述定位摄像设备在所述动态定位获取装置坐标系中的坐标为一预设坐标；[0015]所述光学动态追踪设备用于获取所述第一实时动态数据和所述第二实时动态数据；[0016]所述定位摄像设备用于获取所述定位图像；[0017]所述处理器还用于根据所述预设坐标和所述定位图像生成坐标参数，并根据所述坐标参数进行所述静态注册。[0018]较佳地，所述动态定位获取装置还包括若干个标记部件，所述标记部件包括定位部件和动态追踪部件;所述定位部件和所述动态追踪部件贴附在距离患者手术部位一定预设范围内的身体上，所述动态追踪部件还设置在所述AR眼镜上；[0019]所述扫描装置用于在手术前获取包含有定位部件图像的扫描图像数据；[0020]所述定位摄像设备用于在手术中获取包含有定位部件图像和动态追踪部件图像的定位图像；[0021]所述光学动态追踪设备用于在手术中识别所述动态追踪部件以获取所述第一实时动态数据和所述第二实时动态数据。[0022]较佳地所述定位部件的正面图案和反面图案相同；[0023]所述正面图案为硫酸钡的涂痕，所述扫描装置用于在手术前扫描获取包含有所述涂痕的扫描图像数据，所述扫描装置包括CT设备，硫酸钡能够被CT设备的X线显影；[0024]所述反面图案在贴附所述定位部件时印制在患者皮肤上形成水印图案，所述定位摄像设备用于在手术中获取包含有所述水印图案的定位图像，患者做完*^后，将定位标记移除，反面图案的水印图案可以留在皮肤上一周左右的时间。[0025]较佳地，所述动态追踪部件还设置在手术器械上；[0026]所述定位摄像设备用于在手术中获取包含有定位部件图像、动态追踪部件图像和手术器械图像的定位图像；[0027]所述光学动态追踪设备还用于在手术中识别所述动态追踪部件以获取所述手术器械的第三实时动态数据；[0028]所述处理器用于根据所述第一实时动态数据和所述第三实时动态数据将静态注册后的三维模拟图像与所述患者进行动态配准。[0029]一种基于AR技术的手术导航方法，所述手术导航方法利用如上各优选项任意组合的手术导航系统实现，包括：[0030]所述扫描装置在手术前对患者进行扫描以获取扫描图像数据并发送至所述处理器，所述处理器接收所述扫描图像数据并生成所述患者的三维模拟图像；[0031]所述动态定位获取装置在手术中获取患者在动态定位获取装置坐标系中的定位图像和第一买时动态数据并发送至所述处理器，还用于获取所述AR眼镜在所述动态定位获取装置坐标系中的第二实时动态数据并发送至所述处理器；[0032]所述处理器根据所述定位图像将所述三维模拟图像在所述动态定位获取装置坐标系中进行静态注册，并根据所述第一实时动态数据将静态注册后的三维模拟图像与所述患者进行动态配准；[0033]所述处理器根据所述第二实时动态数据和所述第一实时动态数据获取所述患者在AR眼镜坐标系中的坐标数据，并结合动态配准后的三维模拟图像生成与实际环境中患者实时重合的三维导航图像并发送至所述AR眼镜；[0034]所述AR眼镜接收并显示所述三维导航图像。[0035]较佳地，所述动态定位获取装置包括光学动态追踪设备和定位摄像设备，所述定位摄像设备在所述动态定位获取装置坐标系中的坐标为一预设坐标；[0036]所述光学动态追踪设备获取所述第一实时动态数据和所述第二实时动态数据，所述定位摄像设备用于获取所述定位图像；[0037]所述处理器根据所述预设坐标和所述定位图像生成坐标参数，并根据所述坐标参数进行所述静态注册。[0038]较佳地，所述动态定位获取装置还包括若干个标记部件，所述标记部件包括定位部件和动态追踪部件;所述定位部件和所述动态追踪部件贴附在距离患者手术部位一定预设范围内的身体上，所述动态追踪部件还设置在所述AR眼镜上；[0039]所述扫描装置在手术前获取包含有定位部件图像的扫描图像数据；[0040]所述定位摄像设备在手术中获取包含有定位部件图像和动态追踪部件图像的定位图像；[0041]所述光学动态追踪设备在手术中识别所述动态追踪部件以获取所述第一实时动态数据和所述第二实时动态数据。[0042]较佳地，所述定位部件的正面图案和反面图案相同；[0043]所述正面图案为硫酸钡的涂痕，所述扫描装置在手术前扫描获取包含有所述涂痕的扫描图像数据；[0044]所述反面图案在贴附所述定位部件时印制在患者皮肤上形成水印图案，所述定位摄像设备在手术中获取包含有所述水印图案的定位图像。[0045]较佳地，所述动态追踪部件还设置在手术器械上；[0046]所述定位摄像设备在手术中获取包含有定位部件图像、动态追踪部件图像和手术器械图像的定位图像；[0047]所述光学动态追踪设备在手术中识别所述动态追踪部件以获取所述手术器械的第三实时动态数据；[0048]所述处理器根据所述第一实时动态数据和所述第三实时动态数据将静态注册后的三维模拟图像与所述患者进行动态配准。[0049]本发明的积极进步效果在于:本发明的手术导航系统通过扫描设备获取患者三维模拟图像，并依靠动态定位获取装置实时将患者和手术器械的实时动态数据叠加到三维模拟图像中，再结合AR眼镜的实时动态数据，使得在AR眼镜中呈现的图像与现实环境中的患者精准叠加，同时更直观的呈现手术器械相对患者解剖结构的空间位置图，更好的辅助医生进行手术。附图说明[0050]图1为本发明实施例1的基于AR技术的手术导航系统的结构框图。[0051]图2为本发明实施例2的基于AR技术的手术导航系统的结构框图。[0052]图3为本发明实施例3的基于AR技术的手术导航系统的结构框图。[0053]图4为本发明实施例5的基于AR技术的手术导航系统的结构框图。[0054]图5为本发明实施例6的基于AR技术的手术导航方法的流程图。[0055]图6为本发明实施例6的基于AR技术的手术导航方法中生成三维导航图像的流程图。[0056]图7为本发明实施例7的基于AR技术的手术导航方法的流程图。[0057]图8为本发明实施例7的基于AR技术的手术导航方法中生成三维导航图像的流程图。[0058]图9为本发明实施例8的基于AR技术的手术导航方法的流程图。[0059]图10为本发明实施例9的基于AR技术的手术导航方法的流程图。[0060]图11为本发明实施例10的基于AR技术的手术导航方法的流程图。[0061]图12为本发明实施例10的基于AR技术的手术导航方法中生成三维导航图像的流程图。具体实施方式[0062]下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。下列实施例中未注明具体条件的实验方法，按照常规方法和条件，或按照商品说明书选择。[0063]实施例1[0064]一种基于AR技术的手术导航系统，具体如图1所示，包括扫描装置1、处理器2、动态定位获取装置3和AR眼镜4,其中，扫描装置1、动态定位获取装置3和AR眼镜4分别与处理器2通信连接。[0065]扫描装置1用于在手术前对患者5进行扫描以获取扫描图像数据并发送至处理器2,本实施例中的扫描装置1可以为CT设备，患者经过CT设备扫描后会生成多张断层图像，这些断层图像即上述的扫描图像数据。[0066]处理器2用于接收扫描图像数据，并根据扫描图像数据生成患者5的三维模拟图像，需要说明的是，生成的三维模拟图像与患者5为一比一等比例模拟，并且，通过该三维模拟图像可以观察到患者5的骨骼、血管、肌肉组织等。[0067]另外，在患者5位于动态定位获取装置3的有效测试范围内时，动态定位获取装置3可以在手术中获取患者5在动态定位获取装置坐标系中的初始静态的定位图像和第一实时动态数据，并将这些信息发送至处理器2，处理器2通过机器视觉算法对定位图像进行处理，从定位图像中获取目标图像，并计算出目标图像在动态定位获取装置坐标系中的坐标参数。[0068]同时，动态定位获取装置3还用于获取AR眼镜4在动态定位获取装置坐标系中的第二实时动态数据并发送至处理器2。具体地说，可以在AR眼镜上设置可被动态定位获取装置3追踪的标记部件，动态定位获取装置3通过追踪该标记部件进而获取AR眼镜4在动态定位获取装置坐标系中的第二实时动态数据。[0069]上述提到的处理器2还用于根据患者5的坐标参数将三维模拟图像在动态定位获取装置坐标系中进行静态注册，并根据第一实时动态数据将静态注册后的三维模拟图像与患者5进行动态配准。需要解释的是，静态注册就是将处理器2中存储的三维模拟图像放入到动态定位获取装置坐标系中，使得三维模拟图像的坐标与实际环境中患者5的坐标是相同的。动态配准就是根据获取的第一实时动态数据，使三维模拟图像和现实环境中患者5同步运动。[0070]考虑到在手术时，佩戴AR眼镜4的医生不可避免的需要移动，为了方便医生手术观察，本实施例可以将AR眼镜4中的虚拟成像与现实环境中的患者5进行实时重合，具体如下：[0071]处理器2根据第二实时动态数据和第一实时动态数据获取患者5在AR坐标系中的坐标数据，并结合动态配准后的三维模拟图像生成与实际环境中患者实时重合的三维导航图像并发送至AR眼镜4，AR眼镜4用于接收并显示三维导航图像。[0072]也就是说，以AR眼镜4为视点，并以该视点为坐标原点构建AR坐标系，实时计算出患者5在AR坐标系中的坐标数据，并将注册配准后的三维模拟图像移入到该坐标数据代表的位置。而在实际情况中，患者5在动态定位获取装置坐标系中的坐标是能够被获取的，AR眼镜4在动态定位获取装置坐标系中的坐标也是能够被获取的，不难理解，通过处理器2将患者5在动态定位获取装置坐标系中的坐标减去AR眼镜4在动态定位获取装置坐标系中的坐标，即可得到患者5在AR坐标系中的坐标，从而处理器2将注册配准后的三维模拟图像放入AR坐标系的相应坐标中，便可生成三维导航图像，并且，该三维导航图像与实际环境中的患者5是实时重合的。[0073]在手术时，即使佩戴AR眼镜4的医生位置发生移动，处理器2也会实时根据AR眼镜4以及患者5在动态定位获取装置坐标系中的坐标，间接计算出患者5在AR坐标系中的坐标，将注册配准后的三维模拟图像放入AR坐标系中，确保医生在AR眼镜4中看到的虚拟图像与现实环境中的患者是实时重合的，使得在AR眼镜4中呈现的图像与现实环境中的患者5精准叠加，从而便于医生对患者的实体以及虚拟成像进行观察，有利于手术的开展。[0074]实施例2[0075]本实施例的基于AR眼镜的手术导航系统是在实施例1的基础上进一步改进，具体如图2所示，动态定位获取装置3包括光学动态追踪设备32和定位摄像设备31，比如NDI光学动态追踪设备和双目摄像机，光学动态追踪设备32用于获取第一实时动态数据和第二实时动态数据;定位摄像设备31用于获取定位图像。处理器2还用于根据预设坐标和定位图像生成坐标参数，该坐标参数即表示患者在动态定位获取装置坐标系中的位置。处理器2根据坐标参数将将三维模拟图像在动态定位获取装置坐标系中进行静态注册。[0076]需要说明的是，定位摄像设备31在动态定位获取装置坐标系中的坐标为一预设坐标，即定位摄像设备31在动态定位获取装置坐标系中的的位置已知，本实施例以NDI光学动态追踪设备和双目摄像机为例进行具体说明。[0077]双目摄像机位于NDI光学动态追踪设备的有效追踪范围内，NDI光学动态追踪设备可以获取双目摄像机的坐标位置。具体实现方式是，可以通过在双目摄像机上装设能够被NDI光学动态追踪设备追踪的定位标记，该定位标记可以是有源标记也可以是无源标记，本实施例对此不作具体限定。NDI光学动态追踪设备通过追踪定位标记发射的红外光或定位标记反射的红外光，从而获取双目摄像机在动态定位获取装置坐标系下的坐标，并发送至处理器2。[0078]值得注意的是，光学动态追踪设备32也是具有定位测距的功能，但是精度小于专业的定位摄像设备，因此，为确保手术过程中获取到的动、静态数据的精度，本实施例选用光学动态追踪设备和定位摄像设备两种设备，由光学动态追踪设备获取患者5的第一实时动态数据和AR眼镜4的第二实时动态数据，由定位摄像设备获取患者5的定位图像，其中由于定位摄像设备在动态定位获取装置坐标系中的坐标为一预设坐标，再结合定位图像即可完成静态注册。[0079]实施例3[0080]本实施例的基于AR眼镜的手术导航系统是在实施例2的基础上进一步改进，具体如图3所示，动态定位获取装置3还包括若千个标记部件，标记部件包括定位部件61和动态追踪部件62;定位部件61和动态追踪部件62贴附在距离患者手术部位一定预设范围内的身体上，动态追踪部件62还设置在AR眼镜4上；[0081]扫描装置1用于在手术前获取包含有定位部件图像的扫描图像数据；[0082]定位摄像设备31用于在手术中获取包含有定位部件图像和动态追踪部件图像的定位图像；[0083]光学动态追踪设备32用于在手术中识别动态追踪部件以获取第一实时动态数据和第二实时动态数据.[0084]本实施例中，通过在患者和AR眼镜上设有定位部件和动态追踪部件，定位部件能够被定位摄像设备识别，动态追踪部件能够被光学动态追踪设备识别。[0085]实施例4[0086]本实施例的基于AR眼镜的手术导航系统是在实施例3的基础上进一步改进，主要改进之处在于:定位部件的正面图案和反面图案相同，正面图案为硫酸钡的涂痕，扫描装置用于在手术前扫描获取包含有涂痕的扫描图像数据;反面图案在贴附定位部件时印制在患者皮肤上形成水印图案，定位摄像设备用于在手术中获取包含有水印图案的定位图像。[0087]需要解释的是，考虑到在实际情况中，患者扫描与手术并不是同期进行，中间往往存在间隔，间隔的时间可以是三天、五天或者一周，在此期间，患者进行的生活活动，例如洗澡、睡觉等，这些行为可能会导致定位部件偏移，使得在手术时，定位摄像设备获取的含有定位部件图像的定位图像不准确，从而影响三维模拟图像在动态定位获取装置坐标系中的定位。因此，反面图案在贴附定位部件时可以印制在患者皮肤上形成水印图案，水印图案可以在患者体表保持一段时间，避免发生偏移。[0088]本实施例中，定位部件为薄膜状，正反面设有图案且相同，图案可以是网格状、同心圆、等距点等，定位部件上设有1个或多个特殊点，用于在手术过程中进行定位参考，定位部件的正面采用硫酸钡的涂痕，硫酸钡能够被CT设备的X线显影即能够实现被CT设备识别。[0089]实施例5[0090]本实施例的基于AR眼镜的手术导航系统是在实施例3的基础上进一步改进，具体如图4所示，动态追踪部件还设置在手术器械7上；[0091]定位摄像设备31用于在手术中获取包含有定位部件图像、动态追踪部件图像和手术器械图像的定位图像；[0092]光学动态追踪设备32还用于在手术中识别动态追踪部件62以获取手术器械7的第三实时动态数据；[0093]处理器2用于根据第一实时动态数据和第三实时动态数据将静态注册后的三维模拟图像与患者进彳丁动态配准。[0094]值得一提的是，手术导航系统还包括报警装置，报警装置与处理器通信连接。而三维导航图像上标记有提醒部位，该提醒部位可以是重要的血管或者神经等，处理器实时计算手术器械与提醒部位之间的最小距离，当手术器械与提醒部位之间的最小距离小于或等于预设值时，处理器控制报警装置发出提醒信号，提醒医生需小心操作，当手术器械与提醒部位之间的最小距离小于或等于预设危险值时，处理器控制报警装置发出警示信号，提醒医生当前操作风向较高，通过上述报警装置提高手术的安全系数。[0095]本实施例中，通过在手术器械上设置标记部件，手术过程中实时获取手术器械的动态数据并纳入到三维模拟图像中，使得医生能够更加直观的呈现手术器械相对于患者解剖结构的空间位置图，更好的辅助医生进行手术。[0096]实施例6[0097]如图5-6所示，一种基于AR技术的手术导航方法，其特征在于，手术导航方法利用实施例1中的手术导航系统实现，包括一下步骤：[0098]步骤101、扫描装置在手术前对患者进行扫描以获取扫描图像数据并发送至处理器；[0099]步骤102、处理器接收扫描图像数据并生成患者的三维模拟图像；[0100]步骤103、动态定位获取装置在手术中获取患者在动态定位获取装置坐标系中的定位图像和第一实时动态数据并发送至处理器，获取AR眼镜在动态定位获取装置坐标系中的第二实时动态数据并发送至处理器；[0101]步骤104、处理器根据接收到的三维模拟图像、定位图像、第一实时动态数据和第二实时动态数据生成三维导航图像并发送至AR眼镜；[0102]具体的，包括以下步骤：[0103]步骤1041、根据定位图像将三维模拟图像在动态定位获取装置坐标系中进行静态注册；[0104]步骤1042、根据第一实时动态数据将静态注册后的三维模拟图像与患者进行动态配准；[0105]—步骤1043、根据第二实时动态数据和第一实时动态数据获取患者在AR眼镜坐标系中的坐标数据，并结合和动态配准后的三维模拟图像生成与实际环境中患者实时重合的三维导航图像。[0106]步骤105、AR眼镜接收并显示三维导航图像。[0107]本实施例中，通过扫描设备获取患者三维模拟图像，并依靠动态定位获取装置实时的将患者的实时动态数据叠加到三维模拟图像中，再结合AR眼镜的实时动态数据，使得在AR眼镜中呈现的图像与现实环境中的患者精准叠加，更好的辅助医生进行手术。[0108]实施例7[0109]如图7-8所示，本实施例的基于AR眼镜的手术导航方法是在实施例6的基础上进一步改进，动态走位获取装置包括光学动态追踪设备和定位摄像设备，定位摄像设备在动态定位获取装置坐标系中的坐标为一预设坐标；[0110]步骤103用步骤103a替换：[0111]步骤l〇3a、定位摄像设备在手术中获取患者在动态定位获取装置坐标系中的定位图像并发送至处理器，光学动态追踪设备获取手术中患者在动态定位获取装置坐标系中的第一实时动态数据和AR眼镜的第二实时动态数据并发送至处理器。[0112]步骤1041用步骤1041a替换：[0113]l〇41a、处理器根据预设坐标和定位图像生成坐标参数，并根据坐标参数进行静态注册。[0114]本实施例中，为确保手术过程中获取到的动静态数据的精度，结合光学动态追踪设备和定位摄像设备两种设备，由光学动态追踪设备获取患者的第一实时动态数据和AR眼的第一头时动态数据，由定位摄像设备获取患者的定位图像，其中由于定位摄像设备在动态定位获取装置坐标系中的坐标为一预设坐标，再结合定位图像即可完成静态注册。[0115]实施例8[0116]如图9所示，本实施例的基于AR眼镜的手术导航方法是在实施例7的基础上进一步改进，动态定位获取装置还包括若干个标记部件，标记部件包括定位部件和动态追踪部件；定位部件和动态追踪部件贴附在距离患者手术部位一定预设范围内的身体上，动态追踪部件还设置在AR眼镜上；[0117]步骤101用步骤l〇la替换：[0118]步骤101a、扫描装置在手术前对患者进行扫描以获取包含有定位部件图像的扫描图像数据并发送至处理器；[0119]步骤103a用步骤103b替换：[0120]步骤l〇3b、定位摄像设备在手术中获取在动态定位获取装置坐标系中的包含有定位部件图像和动态追踪部件图像的定位图像并发送至处理器，光学动态追踪设备在手术中识别动态追踪部件以获取手术中患者在动态定位获取装置坐标系中的第一实时动态数据和AR眼镜的第二实时动态数据并发送至处理器。[0121]本实施例中，通过在患者和AR眼镜上设有定位部件和动态追踪部件，定位部件能够被定位摄像设备识别，动态追踪部件能够被光学动态追踪设备识别。[0122]实施例9[0123]如图10所示，本实施例的基于AR眼镜的手术导航方法是在实施例8的基础上进一步改进，定位部件的正面图案和反面图案相同；正面图案为硫酸钡的涂痕，反面图案在贴附定位部件时印制在患者皮肤上形成水印图案；[0124]步骤l〇la用步骤l〇lb替换：[0125]步骤l〇lb、扫描装置在手术前对患者进行扫描以获取包含有涂痕的扫描图像数据并发送至处理器；[0126]步骤103b用步骤103c替换：[0127]步骤103C、定位摄像设备在手术中获取在动态定位获取装置坐标系中的包含有水印图案和动态追踪部件图像的定位图像并发送至处理器，光学动态追踪设备在手术中识别动态追踪部件以获取手术中患者在动态定位获取装置坐标系中的弟一买时动态数据和八尺眼镜的第二实时动态数据并发送至处理器。[0128]本实施例中，定位部件为薄膜状，正反面设有图案且相同，图案可以是网格状、同心圆、等距点等，定位部件上设有1个或多个特殊点，用于在手术过程中进行定位参考，定位部件的正面采用硫酸钡的涂痕，硫酸钡能够被CT设备的X线显影即能够实现被CT设备识别，另外，由于一般患者做完CT后，往往不能即可进行手术，则需要定位部件长时间贴在患者上，这种情况下，定位标记部件很容易移为且不方便，通过印制的方式使得水印图案保留在患者上，水印图案可以保留一周时间。[0129]实施例10[0130]如图11-12所示，本实施例的基于AR眼镜的手术导航方法是在实施例8的基础上进一步改进，动态追踪部件还设置在手术器械上；[0131]步骤103b用步骤103d替换：[0132]步骤103d、定位摄像设备在手术中获取在动态定位获取装置坐标系中的包含有定位部件图像、动态追踪部件图像和手术器械图像的定位图像并发送至处理器，光学动态追踪设备在手术中识别动态追踪部件以获取手术中患者在动态定位获取装置坐标系中的第一实时动态数据、AR眼镜的第二实时动态数据和手术器械的第三实时动态数据并发送至处理器。[0133]步骤1042用步骤1042b替换：[0134]步骤l〇42b、根据第一实时动态数据和第三实时动态数据将静态注册后的三维模拟图像与患者进行动态配准。[0135]本实施例中，通过在手术器械上设置标记部件，手术过程中实时获取手术器械的动态数据并纳入到三维模拟图像中，使得医生能够更加直观的呈现手术器械相对于患者解剖结构的空间位置图，更好的辅助医生进行手术。[0136]虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背尚本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

权利要求：1.一种基于AR技术的手术导航系统，其特征在于，所述手术导航系统包括扫描装置、处理器、动态定位获取装置和AR眼镜；所述扫描装置用于在手术前对患者进行扫描以获取扫描图像数据并发送至所述处理器；所述处理器用于接收所述扫描图像数据并生成所述患者的三维模拟图像；所述动态定位获取装置用于在手术中获取患者在动态定位获取装置坐标系中的定位图像和第一实时动态数据并发送至所述处理器，还用于获取所述AR眼镜在所述动态定位获取装置坐标系中的第二实时动态数据并发送至所述处理器；所述处理器还用于根据所述定位图像将所述三维模拟图像在所述动态定位获取装置坐标系中进行静态注册，并根据所述第一实时动态数据将静态注册后的三维模拟图像与所述患者进行动态配准；所述处理器根据所述第二实时动态数据和所述第一实时动态数据获取所述患者在AR眼镜坐标系中的坐标数据，并结合动态配准后的三维模拟图像生成与实际环境中患者实时重合的三维导航图像并发送至所述AR眼镜；所述AR眼镜用于接收并显示所述三维导航图像。2.如权利要求1所述的手术导航系统，其特征在于，所述动态定位获取装置包括光学动态追踪设备和定位摄像设备，所述定位摄像设备在所述动态定位获取装置坐标系中的坐标为一预设坐标；所述光学动态追踪设备用于获取所述第一实时动态数据和所述第二实时动态数据；所述定位摄像设备用于获取所述定位图像；所述处理器还用于根据所述预设坐标和所述定位图像生成坐标参数，并根据所述坐标参数进行所述静态注册。3.如权利要求2所述的手术导航系统，其特征在于，所述动态定位获取装置还包括若干个标记部件，所述标记部件包括定位部件和动态追踪部件;所述定位部件和所述动态追踪部件贴附在距离患者手术部位一定预设范围内的身体上，所述动态追踪部件还设置在所述AR眼镜上；所述扫描装置用于在手术前获取包含有定位部件图像的扫描图像数据；所述定位摄像设备用于在手术中获取包含有定位部件图像和动态追踪部件图像的定位图像；所述光学动态追踪设备用于在手术中识别所述动态追踪部件以获取所述第一实时动态数据和所述第二实时动态数据。4.如权利要求3所述的手术导航系统，其特征在于，所述定位部件的正面图案和反面图案相同；所述正面图案为硫酸钡的涂痕，所述扫描装置用于在手术前扫描获取包含有所述涂痕的扫描图像数据；所述反面图案在贴附所述定位部件时印制在患者皮肤上形成水印图案，所述定位摄像设备用于在手术中获取包含有所述水印图案的定位图像。5.如权利要求3所述的手术导航系统，其特征在于，所述动态追踪部件还设置在手术器械上；所述定位摄像设备用于在手术中获取包含有定位部件图像、动态追踪部件图像和手术器械图像的定位图像；所述光学动态追踪设备还用于在手术中识别所述动态追踪部件以获取所述手术器械的第三实时动态数据；所述处理器用于根据所述第一实时动态数据和所述第三实时动态数据将静态注册后的三维模拟图像与所述患者进行动态配准。6.—种基于AR技术的手术导航方法，其特征在于，所述手术导航方法利用如权利要求1所述的手术导航系统实现，包括：所述扫描装置在手术前对患者进行扫描以获取扫描图像数据并发送至所述处理器，所述处理器接收所述扫描图像数据并生成所述患者的三维模拟图像；所述动态定位获取装置在手术中获取患者在动态定位获取装置坐标系中的定位图像和第一实时动态数据并发送至所述处理器，还用于获取所述AR眼镜在所述动态定位获取装置坐标系中的第二实时动态数据并发送至所述处理器；所述处理器根据所述定位图像将所述三维模拟图像在所述动态定位获取装置坐标系中进行静态注册，并根据所述第一实时动态数据将静态注册后的三维模拟图像与所述患者进行动态配准；所述处理器根据所述第二实时动态数据和所述第一实时动态数据获取所述患者在AR眼镜坐标系中的坐标数据，并结合动态配准后的三维模拟图像生成与实际环境中患者实时重合的三维导航图像并发送至所述AR眼镜；所述AR眼镜接收并显示所述三维导航图像。7.如权利要求6所述的手术导航方法，其特征在于，所述动态定位获取装置包括光学动态追踪设备和定位摄像设备，所述定位摄像设备在所述动态定位获取装置坐标系中的坐标为一预设坐标；所述光学动态追踪设备获取所述第一实时动态数据和所述第二实时动态数据，所述定位摄像设备用于获取所述定位图像；所述处理器根据所述预设坐标和所述定位图像生成坐标参数，并根据所述坐标参数进行所述静态注册。8.如权利要求7所述的手术导航系统，其特征在于，所述动态定位获取装置还包括若干个标记部件，所述标记部件包括定位部件和动态追踪部件;所述定位部件和所述动态追踪部件贴附在距离患者手术部位一定预设范围内的身体上，所述动态追踪部件还设置在所述AR眼镜上；所述扫描装置在手术前获取包含有定位部件图像的扫描图像数据；所述定位摄像设备在手术中获取包含有定位部件图像和动态追踪部件图像的定位图像；所述光学动态追踪设备在手术中识别所述动态追踪部件以获取所述第一实时动态数据和所述第二实时动态数据。9.如权利要求8所述的手术导航系统，其特征在于，所述定位部件的正面图案和反面图案相同；所述正面图案为硫酸钡的涂痕，所述扫描装置在手术前扫描获取包含有所述涂痕的扫描图像数据；所述反面图案在贴附所述定位部件时印制在患者皮肤上形成水印图案，所述定位摄像设备在手术中获取包含有所述水印图案的定位图像。10.如权利要求8所述的手术导航系统，其特征在于，所述动态追踪部件还设置在手术器械上；所述定位摄像设备在手术中获取包含有定位部件图像、动态追踪部件图像和手术器械图像的定位图像；、=所述光学动态追踪设备在手术中识别所述动态追踪部件以获取所述手术器械的弟二实时动态数据；々路太炸册户的二所述处理器根据所述第一实时动态数据和所述第三实时动态数据将靜…维模拟图像与所述患者进行动态配准。

百度查询： 刘洋;上海霖晏医疗科技有限公司 基于AR技术的手术导航系统及方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD