申请/专利权人：山东大学

申请日：2020-09-14

公开（公告）日：2024-03-19

公开（公告）号：CN112037263B

主分类号：G06T7/246

分类号：G06T7/246;G16H40/20;G06N3/0464;G06N3/0442;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.03.19#授权;2020.12.22#实质审查的生效;2020.12.04#公开

摘要：本发明公开了基于卷积神经网络和长短期记忆网络的手术工具跟踪系统，获取模块，获取内窥镜手术工具工作状态视频流，从视频流中提取相邻两帧图像；对第一帧图像的手术工具边界框进行标记；特征提取模块，对第一帧图像和第二帧图像进行特征提取，得到手术工具的空间运动特征；特征融合模块，将特征输入到第一LSTM模型中，第一LSTM模型对手术工具的空间运动特征进行处理得到第一特征向量；特征识别模块，将特征与第一特征向量进行融合后，输入到第二LSTM模型中，第二LSTM模型输出第二特征向量；对第二特征向量输入到全连接层中，得到最终特征向量；得到第二帧图像的手术工具的边界框。

主权项：1.基于卷积神经网络和长短期记忆网络的手术工具跟踪系统，其特征是，包括：获取模块，其被配置为：获取内窥镜手术工具工作状态视频流，从视频流中提取相邻两帧图像；所述相邻两帧图像分别为：第一帧图像和第二帧图像；对第一帧图像的手术工具边界框进行标记；特征提取模块，其被配置为：对第一帧图像和第二帧图像进行特征提取，得到手术工具的空间运动特征；特征融合模块，其被配置为：将手术工具的空间运动特征输入到第一LSTM模型中，第一LSTM模型对手术工具的空间运动特征进行处理得到第一特征向量；特征识别模块，其被配置为：将手术工具的空间运动特征与第一特征向量进行融合后，输入到第二LSTM模型中，第二LSTM模型输出第二特征向量；对第二特征向量输入到全连接层中，得到最终特征向量；根据所述最终特征向量，得到第二帧图像的手术工具的边界框；输入图像先进行预处理：遍历整张图上的所有像素点，如果此像素点的红色通道的值明显大于蓝色通道和绿色通道的值，则认为此像素点属于背景，同理，如果此像素点三通道的值相近，则认为此像素点属于手术工具；将输入图像由三通道减少为红绿或红蓝二通道，等比例的缩减网络中各层的层数。

全文数据：

权利要求：

百度查询： 山东大学 基于卷积神经网络和长短期记忆网络的手术工具跟踪系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD