申请/专利权人：浙江工业大学

申请日：2021-08-25

公开（公告）日：2024-03-29

公开（公告）号：CN113781489B

主分类号：G06V10/26

分类号：G06V10/26;G06V10/80;G06V10/82;G06N3/0464;G06N3/0455;G06T5/20;G16H30/20

优先权：

专利状态码：有效-授权

法律状态：2024.03.29#授权;2021.12.28#实质审查的生效;2021.12.10#公开

摘要：本发明公开了一种息肉影像语义分割方法及装置。该装置包括采集模块、分割模块和显示模块。使用方法为：采集模块采集肠镜视频，转换为图像帧。分割模块对转换后的图像进行预处理，去除反光的部分，然后输入由编码器、中间层、解码器组成的Ext‑HarDNet网络，抛弃图像的浅层特征，提取深层特征对应的注意力特征，经过特征融合后进行双线性采样。得到的分割结果由显示模块展示。本方法可以克服主流的去反光方法导致的图片压缩、模块问题，使用低流量的HarDNet框架构建主干网络，可以提高速度，满足实时性。中间层可以加强全局特征联系。解码器的融合方法可以提升有效感受野的比例。最终实现对息肉图像的精准、快速分割。

主权项：1.一种息肉影像语义分割方法，其特征在于：具体包括以下步骤：步骤一、数据获取将拍摄的肠镜视频转换为息肉图像，作为样本Image；制作样本Image对应的单通道标签Label；将样本Image与标签Label一一对应后，按比例划分为训练集和验证集；步骤二、数据预处理使用分步掩模法对训练集和验证集中的样本Image进行预处理：提取图像中的高亮区域，然后进行插值修复，将修复后的高亮区域与原图像中不反光的部分相或，得到去反光的样本Image；步骤三、网络构建构建包括编码器、中间层、解码器的Ext-HarDNet网络；编码器基于HarDNet主干网络，提取输入数据的浅层特征和不同尺寸的深层特征，并将浅层特征丢弃、深层特征输入到中间层；中间层引入注意力机制，对不同尺寸的深层特征分别进行注意力特征图提取；解码器通过PPM和深层聚合上采样，对中间层提取的多张注意力特征图进行融合，将融合后的一张特征图进行双线性采样，输出分割结果；所述编码器用于提取得到不同尺寸的浅层特征和深层特征；编码器的结构依次为卷积层、最大池化层、HardBlock×8结构块、最大池化层、HardBlock×16结构块、HardBlock×16结构块、最大池化层、HardBlock×16结构块、最大池化层和HardBlock×4结构块；其中HardBlock×h结构块为HarDNet网络的主干部分，h为结构块中节点的个数；编码器对于HardBlock×h结构块中的第l个节点，如果l能整除2p，则第l个节点与第l-2p个节点相连，其中0p≤h、l-2p≥0；第l个节点的信道数为其中hmax是满足l整除以2h的最大数，m为压缩因子，k为第l个节点的初始增长率；使用编码器提取不同尺寸的浅层特征和深层特征的方法为：s3.1.1、将步骤二得到的去反光的样本Image依次进行步长为2、卷积核为3×3的卷积，步长为1、卷积核为3×3的卷积和步长为2的最大池化，得到初步下采样的特征图；s3.1.2、将初步下采样的特征图输入到HardBlock×8结构块后再进行步长为2的最大池化，得到通道数为128、尺寸为88×88的浅层特征图f1；s3.1.3、将浅层特征图f1输入到HardBlock×16结构块进一步压缩，得到通道数为256、尺寸为88×88的浅层特征图f2；s3.1.4、将浅层特征图f2输入到HardBlock×16结构块后再进行步长为2的最大池化，得到通道数为320、尺寸为44×44的深层特征图f3；s3.1.5、将深层特征图f3输入到HardBlock×16结构块后再进行步长为2的最大池化，得到通道数为640、尺寸为22×22的深层特征图f4；s3.1.6、将深层特征图f4输入到HardBlock×4结构块进一步压缩，得到通道数为1024、尺寸为11×11的深层特征图f5；使用中间层得到注意力特征图的方法为：s3.2.1、将得到的深层特征图f3、f4、f5分别线性映射为Query矩阵Q3，Q4，Q5；s3.2.2、随机初始化外部记忆矩阵Mkn∈Sn×d，n＝3、4、5；其中Sn是外部记忆矩阵Mkn的像素个数，d是特征维度；通过矩阵相乘计算Query矩阵Qn与对应的外部记忆矩阵Mkn的相似性An，然后对相似性An进行Softmax归一化，用于表示深层特征中第i个像素与外部记忆矩阵中第j个像素之间的关系： s3.2.3、将s3.2.2中归一化后的相似性An与外部记忆矩阵Mkn的权重Mvn进行矩阵相乘，得到深层特征fn对应的注意力特征图Foutn：Foutn＝AnMvn其中注意力特征图Fout3、Fout4、Fout5的尺寸大小分别为：44×44、22×22、11×11，通道数分别为320、640和1024；步骤四、网络训练优化将经过步骤二预处理的训练集数据输入到步骤三构建的Ext-HarDNet网络中进行语义分割，网络通过训练集的样本Image和对应的标签Label训练网络模型参数，训练1个batch后，将预处理后验证集的样本Image输入到Ext-HarDNet网络中进行语义分割，将输出结果与对应的验证集标签Label进行计算，得到模型分割结果的指标，根据指标修改网络参数完善网络，从而完成模型的训练优化；步骤五、息肉图像分割将待检测的肠镜视频转换为息肉图像，经过步骤二预处理后输入步骤四优化后的网络进行语义分割，得到分割后的息肉轮廓图像。

全文数据：

权利要求：

百度查询： 浙江工业大学 一种息肉影像语义分割方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD