申请/专利权人：河北工业大学

申请日：2024-01-23

公开（公告）日：2024-04-26

公开（公告）号：CN117934489A

主分类号：G06T7/10

分类号：G06T7/10;G06T7/00;G06V10/40;G06V10/774;G06V10/80;G06V10/82;G06N3/0455;G06N3/0464;G06N3/084

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.14#实质审查的生效;2024.04.26#公开

摘要：本发明公开一种基于残差和金字塔切分注意力的眼底硬渗出物分割方法，该方法采用预训练的ResNet50作为UNet网络的主干特征提取部分，增强眼底图像特征的提取能力；在UNet网络的瓶颈层添加PSA模块，可以获取多尺度感受野，有效地提取更细粒度的多尺度空间信息；在UNet网络的跳跃连接之间加入改进的残差注意力机制模块,可以降低浅层冗余信息的干扰，同时避免了网络可能出现的退化现象；此外，为了解决正负样本不均衡问题，设计了一种加权交叉熵损失和DiceLoss的联合损失函数。本发明方法对于改善眼底图像分析的准确性和鲁棒性具有重要意义，为眼底疾病的早期诊断和治疗提供更可靠、高效的辅助工具，有望对糖尿病性视网膜病变的诊断和预防产生重要影响。

主权项：1.基于残差和金字塔切分注意力的眼底硬渗出物分割方法，其特征在于，该方法包括下述步骤：步骤1：获取眼底硬渗出物分割数据集获取眼底彩色图像，首先对其进行尺寸归一化处理，然后通过labelme标注工具对眼底彩色图像中的硬渗出物病变区域进行人工标注，生成标签图像，其中硬渗出物病变区域被标记为“硬渗出物”类别，其他区域标记为“非硬渗出物”类别，即为“背景”区域，得到硬渗出物分割数据集；硬渗出物分割数据集中的一个数据样本为一张眼底彩色图像和一张对应的标签图像，将获得的硬渗出物分割数据集按照9：1的数量比例随机划分为训练集和测试集；步骤2：对训练集和测试集的眼底彩色图像和对应的标签图像进行预处理对训练集和测试集进行预处理，具体为：采用中值滤波法去除每个数据集中的眼底彩色图像中的噪声，同时对眼底彩色图像进行裁剪，裁剪掉眼底彩色图像中黑色冗余边框，只保留眼底彩色图像中感兴趣区域；步骤3：对经过步骤2预处理后的训练集和测试集进行Patch处理对训练集和测试集分别进行Patch处理，具体为：采用随机裁剪法对训练集中的眼底彩色图像和标签图像进行随机裁剪，裁剪后的眼底彩色图像和标签图像大小为256×256；采用滑动窗口法对测试集中的眼底彩色图像和标签图像进行切片处理，步长为128，切片后的眼底彩色图像和标签图像大小为256×256；对于随机裁剪或切片处理得到的不含有病变区域的子图进行剔除，以确保每张子图都含有病变区域；步骤4：对经过步骤3Patch处理后的训练集和测试集进行数据增强对经过Patch处理后的训练集中的眼底彩色图像和对应的标签图像进行数据增强，得到训练数据集；对经过Patch处理后的测试集中的眼底彩色图像和对应的标签图像进行数据增强，得到测试数据集；步骤5：构建眼底硬渗出物分割网络模型所述眼底硬渗出物分割网络模型包括主干特征提取部分、PSA模块、残差注意力部分以及解码器部分；所述主干特征提取部分包括五个特征提取模块，分别为Res-Block1、Res-Block2、Res-Block3、Res-Block4和Res-Block5，每一个特征提取模块后面连接一个最大池化层操作；所述Res-Block1由一个7×7卷积层、BN层、ReLU激活函数和最大池化操作依次串联构成，用于对输入图像的预处理，对于输入图像K，经过Res-Block1处理后，输出特征图F0；Res-Block2、Res-Block3、Res-Block4和Res-Block5结构相似，分别依次由3、4、6、3个Bottleneck残差块串联组成；每个Bottleneck残差块包括1×1卷积、3×3卷积、1×1卷积、ReLU激活函数和恒等映射identity，对于输入特征图X，首先依次经过1×1卷积、3×3卷积、1×1卷积处理，将卷积处理的最终结果和X的恒等映射identity进行相加操作，然后经过ReLU激活函数，得到该Bottleneck残差块的输出；多个Bottleneck残差块串联时，则前一个Bottleneck残差块的输出作为后一个Bottleneck残差块的输入；特征图F0经过一个最大池化层操作，再经过Res-Block2的3个Bottleneck残差块处理后，得到特征图F1；特征图F1经过一个最大池化层操作，再经过Res-Block3的4个Bottleneck残差块处理后，得到特征图F2；特征图F2经过一个最大池化层操作，再经过Res-Block4的6个Bottleneck残差块处理后，得到特征图F3；特征图F3经过一个最大池化层操作，再经过Res-Block5的3个Bottleneck残差块处理后，得到特征图F4；输入图像K的大小为256×256，经过5次下采样后，输出的特征图F4大小为16×16；所述PSA模块串联在Res-Block5之后，对特征图F4经过一个最大池化层操作得到的特征图Y进行特征增强；PSA模块是由SPC模块和SEWeight模块组成，首先，利用多尺度特征提取算子SPC将输入的病灶特征图拆分成S块，获得通道方面的多尺度特征图，接着，利用SEWeight模块对不同尺度的特征图进行注意力提取，得到每个尺度特征图的通道级注意力向量，然后，利用Softmax对通道级注意力向量进行重新校准，得到多尺度重新校准权重，最后，将重新校准的权重和相应的特征图进行逐元素相乘操作，得到含有丰富多尺度特征信息的特征图；PSA模块的工作原理与流程如下：1SPC模块先将输入特征图Y分成S组[Y0,Y1,Y2,…,YS-1]，然后在多个尺度上并行处理输入张量，最后利用分组卷积的方法提取出每个通道级特征图上的空间信息，计算公式如下：Mi＝Convki×ki,GiYi，i＝0,1,2,…,S-1其中，ki为第i个内核大小，Gi为第i个组大小；表示第i个特征图，CI为每组具有的通道数；最后将这些不同尺度的特征图拼接起来，得到完整的多尺度特征图M，其计算公式如下：M＝Cat[M0,M1,…,MS-1]2利用SEWeight模块提取不同尺度的输入特征图的注意力，获得通道级注意向量，然后通过concat方式获得整个多尺度通道注意向量；SEWeight主要分为压缩和激励两个阶段，在Squeeze阶段，将包含全局信息的H×W×C的特征图经过全局平均池化，压缩为1×1×C的特征向量，让每个通道用一个数值表示；在Excitation阶段，利用两个全连接层对压缩后的特征向量进行通道特征学习，为每个通道赋予不同的权重；不同尺度的通道级注意向量可以表示为：Zi＝SEWeightMi，i＝0,1,2,…,S-1整个多尺度通道注意向量可以表示为： 3为了建立长期的通道注意力依赖，并且实现多尺度通道注意力之间的信息交互，利用Softmax对不同尺度上的通道注意力信息进行权值重新标定，得到重校准权重atti，然后对特征重标定的通道注意进行concat融合，得到整个多尺度通道注意权重att；不同尺度上通道注意力的重校准权重atti可以表示为： 整个多尺度通道注意权重att可以表示为： 4将对应尺度的特征图Mi与进行权值重标定的通道注意力权重atti进行channel-wise级别的相乘，即：M′i＝Mi⊙atti，i＝1,2,3,…,S-1最后，将得到的多尺度通道注意力加权之后的特征图进行纬度拼接，输出一个多尺度信息更为丰富的特征图M'out，具体计算如下：M′out＝Cat[M′0,M′1,…,M′s-1]残差注意力部分包括第一Rse模块、第二Rse模块、第三Rse模块、第四Rse模块，四个Rse模块的基本构架相同；所述第一Rse模块由残差结构融合SE注意力机制，具体包括1×1的卷积层、主路径和跳跃路径，输入的特征图经过1×1的卷积层处理后，得到的特征图P分别输入到主路径和跳跃路径；其中，主路径首先通过两个并行的分支对输入特征进行处理，其中第一个分支对输入特征进行3×3的普通卷积操作和标准化操作，第二个分支对输入特征进行扩张率为3的3×3空洞卷积处理和标准化操作，然后将两个分支的输出特征图拼接融合为一个特征图，并将其作为主路径的SE注意力机制模块的输入；跳跃路径将1×1的卷积层的输出特征图P与SE注意力机制模块的输出进行加和操作，再经过ReLU激活函数的处理，得到第一Rse模块的最终输出；所述SE注意力机制模块，首先对H×W×C的输入特征图U进行全局平均池化，压缩为1×1×C的特征向量,即输入特征U被压缩为Z，Z∈R1×1×C，具体公式如下所示： 上式中，Uc是输入特征U的第c个通道的特征图，Zc是特征向量Z的第c个元素，H、W分别表示输入特征图的高、宽；特征向量Z再依次经过第一全连接层、ReLU激活函数、第二全连接层、Sigmoid激活函数的处理，生成衡量每个通道信息的重要性的权重该过程如下式所示： 其中ω1和ω2表示使用大小为1×1卷积核的卷积操作实现的全连接层，δ表示ReLU激活函数，σ表示Sigmoid激活函数；最后，将生成的权重向量对特征图U进行权重赋值，得到H×W×C的输出特征图具体公式如下： 其中，Fscale表示每个特征通道的特征映射与通道权重相乘的运算；所述解码器部分包括第一Up-Block模块、第二Up-Block模块、第三Up-Block模块、第四Up-Block模块，四个Up-Block模块的基本构架相同；所述第一Up-Block模块是由两个3×3的卷积层、两个BN层以及两个ReLU激活函数组成；输入的特征图依次经过第一3×3的卷积层、第一BN层、第一ReLU激活函数、第二3×3的卷积层、第二BN层、第二ReLU激活函数的处理，得到第一Up-Block模块的输出；对于主干特征提取部分的Res-Block1、Res-Block2、Res-Block3、Res-Block4和Res-Block5输出的特征图F0、F1、F2、F3、F4，将特征图F3经过第一Rse模块处理之后的结果与PSA模块输出的特征图经过双线性插值上采样处理之后的结果进行特征拼接，将拼接后的结果作为第一Up-Block模块的输入，得到第一级上采样输出特征；将特征图F2经过第二Rse模块处理之后的结果与第一级上采样输出特征经过双线性插值上采样处理之后的结果进行特征拼接，将拼接后的结果作为第二Up-Block模块的输入，得到第二级上采样输出特征；将特征图F1经过第三Rse模块处理之后的结果与第二级上采样输出特征经过双线性插值上采样处理之后的结果进行特征拼接，将拼接后的结果作为第三Up-Block模块的输入，得到第三级上采样输出特征；将特征图F0经过第四Rse模块处理之后的结果与第三级上采样输出特征经过双线性插值上采样处理之后的结果进行特征拼接，将拼接后的结果作为第四Up-Block模块的输入，得到第四级上采样输出特征；第四级上采样输出特征经过1×1的卷积，输出PR-ResNet网络模型的分割结果；步骤6：训练眼底硬渗出物分割网络模型设置模型训练超参数：网络的初始化学习率为0.01，batchsize为16，迭代轮次设置为200，权值衰减因子设置为1e-4，冲量系数为0.9；将步骤4的训练数据集中的一个批次的眼底彩色图像输入到完成初始化的眼底硬渗出物分割网络模型中，通过前向传播得到模型输出的预测标签图像；将该批次的眼底彩色图像的预测标签图像与其真实标签图像进行比较，计算该批次眼底彩色图像的训练损失，一张眼底彩色图像的训练损失计算公式如下：Loss＝ρLossSeg+1-ρLossDice其中，ρ的取值为0.5，LossSeg代表交叉熵损失函数,LossDice代表Dice损失函数；交叉熵损失函数是通过计算模型预测结果与真实标签之间的差异来评估模型性能的一种损失函数，一个像素点的交叉熵损失函数定义公式如下： 其中，yv表示像素点v的真实标签，也就是每个像素点所属的类别，硬渗出物用1来表示，非硬渗出物用0表示，表示像素点v属于硬渗出物类别的预测概率；LossSeg为一张眼底彩色图像的每个像素点的交叉熵损失之和；一个批次眼底彩色图像的训练损失为该批次每张眼底彩色图像的训练损失的均值；DiceLoss是通过计算模型预测结果与真实标签图像之间的相似度来评估模型性能的一种损失函数，定义公式如下： 其中，|N∩N‘|表示真实标签图像和预测标签图像之间交集元素的个数，|N|和|N‘|分别表示真实标签图像、预测标签图像的元素个数；根据该批次眼底彩色图像的训练损失，利用反向传播计算训练损失的梯度信息，通过Adam优化器更新学习率，完成在一个批次数据上的训练；将上一批次眼底彩色图像训练完成时的学习率，作为下一批次眼底彩色图像训练时的初始学习率，重复执行随机不重复选择一个批量数据、前向传播、计算损失、反向传播、学习率更新的过程，直至遍历整个训练数据集，即完成一个轮次的训练；将第一个轮次训练完成时网络参数作为第二个轮次训练的初始参数，每训练完一轮，使用步骤4的测试数据集对网络模型进行验证，当前一个轮次的Dice系数小于后一个轮次的Dice系数时，则以后一个轮次训练完成的网络参数作为初始参数，进行下一个轮次的训练；当前一个轮次的Dice系数大于后一个轮次的Dice系数时，则以前一个轮次训练完成的网络参数作为初始参数，进行下一轮的训练，直至训练轮数达到200，将Dice系数值最大的轮次训练完成时的网络参数进行保存，得到最优网络模型；Dice系数用于评估预测标签图像与真实标签图像之间的相似度，一张眼底彩色图像的Dice系数计算公式如下： 其中，TP表示实际为正样本且正确预测为正样本的样本数；FP表示实际为负样本且错误预测为正样本的样本数；TN表示实际为负样本且正确预测为负样本的样本数；FN表示实际为正样本且错误预测为负样本的样本数；一个轮次的Dice系数为测试数据集中每张眼底彩色图像的Dice系数的均值；步骤7：眼底硬渗出物分割获取待分割的眼底彩色图像，对其进行一系列的预处理，依次为尺寸归一化处理、采用中值滤波法去除噪声、采用滑动窗口法切片处理，得到一系列256×256的切片图像；将该一系列的切片图像输入到步骤6中的最优网络模型中，得到每个切片图像对应的预测标签图像；根据该预测标签图像，即可得到该眼底彩色图像的病变情况。

全文数据：

权利要求：

百度查询： 河北工业大学 基于残差和金字塔切分注意力的眼底硬渗出物分割方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD