申请/专利权人：河北大学

申请日：2023-03-31

公开（公告）日：2024-02-20

公开（公告）号：CN116563216B

主分类号：G06T7/00

分类号：G06T7/00;G06V10/44;G06V10/80;G06V10/82;G06N3/0442;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.02.20#授权;2023.08.25#实质审查的生效;2023.08.08#公开

摘要：本发明提供了一种基于标准站点智能识别的内镜超声扫查控制优化系统及方法。所述系统包括数据收集及预处理模块、标准站点实时分类模型构建模块、模型训练及验证优化模块、标准站点扫查可视化模块。数据收集及预处理模块用于收集EUS视频数据集，并对数据集进行预处理；标准站点实时分类模型构建模块用于识别输入的数据当前帧是否为标准站点图像以及标准站点图像的空间位置；模型训练及验证优化模块用于对标准站点实时分类模型的模型参数进行优化；标准站点扫查可视化模块用于对标准站点实时分类模型的数据结果进行统计、分析和可视化，以保证EUS标准站点的连续扫查。本发明可以用于临床环境或医师培训中的EUS操作智能导航和扫查控制优化。

主权项：1.一种基于标准站点智能识别的内镜超声扫查控制优化系统，其特征是，包括数据收集及预处理模块、标准站点实时分类模型构建模块、模型训练及验证优化模块和标准站点扫查可视化模块；数据收集及预处理模块用于获取内镜超声检查过程中光学式传感器和超声探头传感器采集的光学和超声两种模态的实时视频数据，并对所获取的数据进行预处理；标准站点实时分类模型构建模块用于根据标准站点实时分类的需求，构建标准站点图像实时筛选模型和标准站点空间位置实时分类模型；所述标准站点图像实时筛选模型包括特征提取模块、特征加权交互模块和标准站点实时筛选模块；所述特征提取模块包括两个轻量化特征提取模块以及两个LSTM长短记忆网络模块；所述特征加权交互模块包括双模态序列特征注意力机制模块；所述标准站点实时筛选模块包括全连接神经网络和softmax函数；所述标准站点图像实时筛选模型对预处理后的光学和超声双模态实时视频，分别提取光学视频帧和超声视频帧，并输入轻量化特征提取模块，得到每一个当前帧的光学图像特征和超声图像特征；从第10帧开始，将当前第i帧与其前9帧的光学图像特征和超声图像特征进行封装，分别得到光学图像特征子序列和超声图像特征子序列；再将这两个图像特征子序列各输入一个LSTM长短记忆网络模块，以提取每个图像特征子序列中相邻10帧的光学图像和超声图像所对应的特征向量之间的相关性，并得到相邻10帧的光学视频总特征和超声视频总特征；使获得的当前帧及其前9帧的光学视频总特征和超声视频总特征通过双模态序列特征注意力机制模块进行逐通道相加以实现特征加权交互融合，生成光学内镜超声内镜双模态特征向量；所述标准站点实时筛选模块中的全连接神经网络判断光学图像特征子序列和超声图像特征子序列中最后一帧图像是否为标准站点图像，若最后一帧图像为标准站点图像，将其光学图像和超声图像分别输入标准站点空间位置实时分类模型；依次处理第i+1，i+2，……，直到最后一帧；i≥10；所述标准站点空间位置实时分类模型包括编码器、多模态图像特征融合模块、解码器和分类器；所述编码器包括颜色空间变换模块和两个密集卷积层；所述解码器包括卷积层和通道注意力模块，所述分类器包括全连接神经网络和softmax函数；所述标准站点空间位置实时分类模型首先对标准站点的光学图像采用颜色空间变换模块将其从RGB色彩空间变换到YUV色彩空间，再采用密集卷积层提取Y通道特征得到其特征向量；对于标准站点的超声图像，采用密集卷积层得到其特征向量；之后通过多模态图像特征融合模块得到光学特征和超声特征融合后的特征向量，并进一步通过解码器中的卷积层和通道注意力模块提取融合后的特征；最后通过分类器中的全连接神经网络对标准站点图像帧的位置进行分类；模型训练及验证优化模块用于对标准站点图像实时筛选模型和标准站点空间位置实时分类模型的参数进行优化及验证；标准站点扫查可视化模块用于对标准站点空间位置实时分类模型的数据结果进行统计和分析，并对已经检查过的标准站点、当前所在的标准站点和漏检的标准站点进行实时统计和展示，具体为：生成并显示上消化道虚拟解剖结构图，并显示10个标准站点的位置及编号；根据对标准站点空间位置实时分类模型的统计和分析结果对标准站点编号进行分类显示，检查过的标准站点编号用第一颜色显示，当前所在的标准站点编号用第二颜色显示，同时出现当前标准站点的操作注意事项，漏检的标准站点编号用闪烁的第三颜色显示，提醒操作者在检查过程中出现跳站的情况，须退回到此标准站点再次进行检查，若扫描过程中没有出现跳站，则在当前标准站点编号被点亮之后，下一个要扫描的标准站点编号用第四颜色显示；第一颜色、第二颜色、第三颜色和第四颜色是四个不同的颜色；10个标准站点按编号顺序依次为：标准站点1肝门及胃食管交界处→标准站点2腹主动脉站→标准站点3胰颈、胰体站→标准站点4胰尾站→标准站点5脾门站→标准站点6门静脉汇合三角站→标准站点7十二指肠降部胰头站→标准站点8门静脉站→标准站点9胃部胰头站→标准站点10十二指肠球部。

全文数据：

权利要求：

百度查询： 河北大学 基于标准站点智能识别的内镜超声扫查控制优化系统及方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD