申请/专利权人：浙江大学

申请日：2024-01-12

公开（公告）日：2024-04-12

公开（公告）号：CN117876453A

主分类号：G06T7/557

分类号：G06T7/557;G06N3/0464;G06N3/0455;G06N3/045;G06N3/096;G06N3/0895;G06N3/0499;G06N3/084

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.30#实质审查的生效;2024.04.12#公开

摘要：本发明公开了一种用于腹腔镜视频图像的单目自监督深度估计方法及系统，包括：构建深度估计网络和相机运动估计网络；其中，深度估计网络由预训练ViT编码器、视觉提示令牌和CNN解码器组成；相机运动估计网络主体结构与深度估计网络类似，但在解码器上引入坐标注意力模块，并采用全连接层作为位姿头输出6自由度的位姿；对深度估计网络和相机运动估计网络进行自监督训练，使用低秩矩阵微调和视觉提示令牌进行两个阶段训练；使用真实人类腹腔镜视频进行自监督微调，最终得到训练好的深度估计模型；将经过图像预处理的腹腔镜视频有效帧输入训练好的深度估计模型，获得逐像素的深度估计结果。利用本发明，可以提高深度估计结果的准确度。

主权项：1.一种用于腹腔镜视频图像的单目自监督深度估计方法，其特征在于，包括以下步骤：1构建深度估计网络和相机运动估计网络；其中，深度估计网络的架构包括预训练的ViT编码器和CNN解码器，并在ViT编码器的部分层引入视觉提示令牌，在CNN解码器的输出端设置深度头；相机运动估计网络用于联合训练深度估计网络，其架构与深度估计网络相同，并在对应ViT编码器的部分层引入视觉提示令牌，在对应CNN解码器上引入坐标注意力模块，在CNN解码器的输出端设置全连接层作为位姿头；2使用公开的猪腹腔镜视频对深度估计网络和相机运动估计网络进行自监督训练；训练过程包含低秩矩阵微调和视觉提示令牌两个阶段训练；3使用医院收集的真实人类腹腔镜视频小数据集对深度估计网络和相机运动估计网络进行自监督微调，最终得到训练好的深度估计模型；4在应用过程中，将经过图像预处理的腹腔镜视频有效帧作为待估计图像，输入训练好的深度估计模型，获得逐像素的深度估计结果。

全文数据：

权利要求：

百度查询： 浙江大学 一种用于腹腔镜视频图像的单目自监督深度估计方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD