申请/专利权人：临沂大学

申请日：2024-01-31

公开（公告）日：2024-04-30

公开（公告）号：CN117671012B

主分类号：G06T7/73

分类号：G06T7/73;G06N3/0455;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.30#授权;2024.03.26#实质审查的生效;2024.03.08#公开

摘要：本发明公开了一种术中内窥镜绝对与相对位姿计算的方法、装置及设备，属于计算机视觉与图像处理技术领域。方法包括步骤：构建RMIS场景下的虚拟数据集和真实世界‑模拟数据集；对上述数据集进行数据预处理；建立单编码器‑双解码器的内窥镜位姿估计模型；对内窥镜位姿估计模型进行训练和评估，得到训练后的内窥镜位姿估计模型；实时采集RMIS过程中内窥镜系统捕获的患者体内图像数据，并输入至训练后的内窥镜位姿估计模型，获得实时图像对应的内窥镜绝对位姿数据；基于内窥镜绝对位姿数据，计算内窥镜的实时相对位姿。本发明提高了RMIS场景下的自动化水平与手术机器人响应外科医生的准确性，保证了机器人辅助微创手术中患者的安全。

主权项：1.一种术中内窥镜绝对与相对位姿计算的方法，其特征在于，包括以下步骤：采集虚拟相机模拟内窥镜动作时数据，构建RMIS场景下的虚拟数据集；基于通过外部标定技术获取内窥镜坐标系相对于传感器坐标系的位姿，采集模拟手术操作带动内窥镜进行运动时的数据，构建RMIS场景下的真实世界-模拟数据集；对所述的虚拟数据集和真实世界-模拟数据集进行数据预处理，将预处理后的虚拟数据集划分为第一训练集和第一测试集，将预处理后的真实世界-模拟数据集划分为第二训练集和第二测试集；基于编码器-解码器架构建立单编码器-双解码器的内窥镜位姿估计模型，所述内窥镜位姿估计模型包括编码器、特征跳跃连接器、语义分割解码器和位姿估计解码器；所述编码器用于提取RMIS过程中图像数据的各级特征图，所述各级特征图包含图像的不同抽象级别信息；所述特征跳跃连接器用于将编码器所提取的各级特征图送入语义分割解码器；所述语义分割解码器用于学习从特征图中恢复图像细节的能力并为位姿估计解码器提供隐式几何约束；所述位姿估计解码器用于从特征图中回归分析内窥镜的绝对位姿并输出RMIS过程中图像对应的内窥镜绝对位姿；采用预处理后的虚拟数据集和真实世界-模拟数据集对所述内窥镜位姿估计模型进行训练和评估，得到训练后的内窥镜位姿估计模型；实时采集RMIS过程中内窥镜系统捕获的患者体内图像数据，并输入至训练后的内窥镜位姿估计模型，获得RMIS过程中实时图像对应的内窥镜绝对位姿数据；基于RMIS过程中实时图像对应的内窥镜绝对位姿数据，计算RMIS过程中内窥镜的实时相对位姿；所述基于编码器-解码器架构建立单编码器-双解码器的内窥镜位姿估计模型，包括：获取编码器的初始模型参数并加载至编码器，并去除编码器的全连接分类层，使之成为一个全卷积网络；将选定数据集的训练集中的若干个图像输入编码器；依据全卷积网络各卷积块的输出尺寸将所有卷积层划分为若干层级，对训练图像进行编码操作，得到各训练图像在各层级卷积层的第一特征图；根据选用的编码器所划分出的层级数，设置数量相同、输出尺寸与编码器各层级一一对应的级联子解码器，由所有子解码器及预测模块构成语义分割解码器，语义分割解码器的最后一级子解码器块的输出尺寸与原始训练图像尺寸相同；设置一高维全连接层与一维数与位姿向量长度相同的全连接层，构成位姿估计解码器；语义分割解码器的最低级子解码器接收尺寸最小的第一特征图作为输入，次低级解码器接收最低级子解码器的输出作为输入，以此类推，最后位姿估计解码器输出内窥镜绝对位姿向量；所述采用预处理后的虚拟数据集和真实世界-模拟数据集对所述内窥镜位姿估计模型进行训练和评估，得到训练后的内窥镜位姿估计模型，包括：基于第一训练集，为内窥镜位姿估计模型的语义分割解码器和位姿估计解码器分别设置损失函数，并将两个损失函数进行加权组合作为总损失函数，依次将模型的输出的语义分割结果与位姿估计结果以及相应的标注代入，计算损失值，采用优化器进行内窥镜位姿估计模型的预训练并更新权重，直至内窥镜位姿估计模型收敛，在预训练收敛后保存整体网络模型权重；为内窥镜位姿估计模型加载保存的预训练收敛后的整体网络模型权重，输入第一测试集中的图像样本，获取各样本所对应的内窥镜位姿估计值并度量其与相应位姿真值的误差，对内窥镜位姿估计模型对于虚拟内窥镜位姿估计的效果进行评估；基于第二训练集，为内窥镜位姿估计模型的语义分割解码器和位姿估计解码器分别设置损失函数，并将两个损失函数进行加权组合作为总损失，依次将模型的输出的语义分割结果与位姿估计结果以及相应的标注代入，计算损失值，采用优化器进行内窥镜位姿估计模型的微调训练并更新权重，直至内窥镜位姿估计模型收敛，在微调训练收敛后保存整体网络模型权重；为内窥镜位姿估计模型加载微调训练后的模型权重，输入第二测试集中的图像样本，获取各样本所对应的内窥镜位姿估计值并度量其与相应位姿地面真值的误差，评估内窥镜位姿估计模型的位姿估计效果。

全文数据：

权利要求：

百度查询： 临沂大学 术中内窥镜绝对与相对位姿计算的方法、装置及设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD