申请/专利权人：齐鲁工业大学(山东省科学院);山东省人工智能研究院

申请日：2023-12-18

公开（公告）日：2024-03-22

公开（公告）号：CN117422880B

主分类号：G06V10/26

分类号：G06V10/26;G06V10/82;G06N3/0464;G06N3/08;G06T7/00

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2024.02.06#实质审查的生效;2024.01.19#公开

摘要：本发明涉及计算机视觉与医学图像处理领域，尤其涉及一种改进的注意力机制与CV模型相结合的分割方法及其系统，步骤如下：选取脑卒中病变数据为数据集，将其划分为训练集和测试集；对训练集和测试集预处理，导入库后进行数据加载，并将其转换成数组类型的数据，重新设置原始训练集和测试集的大小；对训练集数据进行图像增强，再对训练集进行训练，并保存最优权重和偏置量；将增强后数据中的输入图像进行融合获得注意力系数，再读取最优权重和偏置量，以及数据预处理后的测试集中的数据，通过网络解码器输出水平集函数，将其转换成概率分布图，最后加权获得测试集的分割结果。本发明使分割结果的边缘信息等低级特征更清晰，获得更准确的分割结果。

主权项：1.一种改进的注意力机制与CV模型相结合的分割方法，其特征是，包括以下步骤：S1.选取脑卒中病变数据作为数据集，将数据集按比例划分为训练集Xi和测试集Yj；S2.对步骤S1获取的训练集Xi和测试集Yj进行预处理，将训练集Xi和测试集Yj导入读写医学影像文件的nibabel库后进行数据加载，然后将加载后的数据转换成数组类型的数据，重新设置原始训练集Xi和测试集Yj的大小，计算两者的终止尺寸；S2的具体步骤为：对步骤S1获取的训练集Xi和测试集Yj进行预处理，将训练集Xi和测试集Yj导入nibabel库后对训练集进行加载，然后得到Numpy数组类型的数据；重新设置原始训练集Xi和测试集Yj的大小，用原始尺寸减去目标尺寸后除以2作为重新设置数据大小的起始尺寸，用起始尺寸加上目标尺寸为两者的终止尺寸， end_size＝begin_size+target_shape，其中data_shape为原始数据的尺寸大小，target_shape为目标尺寸大小，begin_size为目标的起始尺寸，end_size为目标的终止尺寸；S3.首先进行数据增强，读取步骤S2中设置后的训练集Xi，随机裁剪大小为m个切片，以n的概率上下左右翻转对训练集Xi中的数据进行图像增强，得到增强后的数据然后将步骤S2中设置后的训练集Xi输入到模型中进行训练，并将模型训练中得到的最优权重weight与偏置量bias进行保存；S3的具体步骤为：将步骤S2中重新设置尺寸的训练集输入到模型中进行训练，并将模型训练中得到的最优权重与偏置量进行保存，具体包括两个阶段，第一阶段经过解码器中的卷积块获得水平集函数Φx，第二阶段通过第一阶段获取的水平集函数Φx最小化CV模型来训练优化模型，通过反向传播算法调整训练过程，计算出的模型的权重weight和偏置量bias，并多次迭代训练获得最终权重weight和偏置量bias并保存，CV模型是Chan-Vese主动轮廓模型；第一阶段为：首先进行数据增强，读取训练集Xi中的数据，随机裁剪大小为m个切片，以n的概率上下左右翻转对训练集Xi中的数据进行图像增强，得到增强后的数据然后设置网络结构，设计编码器，解码器，Chan-Vese主动轮廓模型模块和边缘增强的注意力EEAM模块；1编码器结构和解码器结构分别由四个卷积块构成，EEAM模块分别放置在编码器第一个卷积块与解码器第四个卷积块的跳跃连接处和编码器第二个卷积块和解码器第三个卷积块的跳跃连接处；2编码器的第一个卷积块读取增强后的数据经过编码器的第一个卷积得到的特征图的维度是C1×H1×W1×D1，将编码器第一个卷积块得到的特征图输入到EEAM模块中，其中C1，H1，W1，D1，分别代表编码器第一个卷积块得到的特征图的通道数、高度、宽度和深度，编码器的第一个卷积块包含两个卷积核为[3,3,3]，步长为1，填充为1的卷积层、BatchNorm归一化层、ReLU激活函数和下采样系数为[2,2,2]的最大值池化；3编码器的第二个卷积块读取编码器的第一个卷积块得到的特征图经过编码器的第二个卷积块得到特征图的维度是C2×H2×W2×D2，将编码器第二个卷积块得到的特征图输入到EEAM模块中，其中C2，H2，W2，D2，分别代表编码器第二个卷积块得到的特征图的通道数、高度、宽度和深度，编码器的第二个卷积块包含两个卷积核为[3,3,3]，步长为1，填充为1的卷积层、BatchNorm层、ReLU激活函数和下采样系数为[2,2,2]的最大值池化；4编码器的第三个卷积块读取编码器的第二个卷积块得到的特征图经过编码器的第三个卷积块得到特征图的维度是C3×H3×W3×D3，其中C3，H3，W3，D3，分别代表编码器第三个卷积块得到的特征图的通道数、高度、宽度和深度，编码器的第三个卷积块包括两个卷积核为[3,3,3]，步长为1，填充为1的卷积层、BatchNorm层、ReLU激活函数和下采样系数为[2,2,2]的最大值池化；5编码器的第四个卷积块读取编码器的第三个卷积块得到的特征图经过编码器的第四个卷积块得到特征图的维度是C4×H4×W4×D4，其中C4，H4，W4，D4，分别代表编码器第四个卷积块得到的特征图的通道数、高度、宽度和深度，编码器的第四个卷积块包括两个卷积核为[3,3,3]，步长为1，填充为1的卷积层、BatchNorm层、ReLU激活函数和下采样系数为[2,2,2]的最大值池化；6解码器第一个卷积块读取编码器中第四个卷积块得到的特征图进行上采样得到和进行拼接，拼接得到的结果输入到解码器的第一个卷积块中，得到输出特征图的维度是C4×H4×W4×D4，其中C4，H4，W4，D4，分别代表解码器第一个卷积块得到的特征图的通道数、高度、宽度和深度，与编码器第四个卷积块得到的特征图的通道数、高度、宽度和深度相同，解码器的第一个卷积块包括一个卷积核大小为[3,3,3]，步长为2，填充为1的上采样层、两个卷积核大小为[3,3,3]，步长为2，padding为1的卷积层、BatchNorm层和ReLU激活函数；7解码器第二个卷积块读取解码器中第一个卷积块得到的特征图进行上采样得到和拼接，拼接得到的结果输入到解码器的第二个卷积块中，得到输出特征图的维度是C3×H3×W3×D3，其中C3，H3，W3，D3，分别代表解码器第二个卷积块得到的特征图的通道数、高度、宽度和深度，与编码器第三个卷积块得到的特征图的通道数、高度、宽度和深度相同，解码器的第二个卷积块包括一个卷积核大小为[3,3,3]，步长为2，填充为1的上采样层和两个卷积核大小为[3,3,3],步长为2，填充为1的卷积层，BatchNorm层，ReLU激活函数；8解码器第三个卷积块读取解码器中第二个卷积块得到的特征图进行上采样得到将上采样特征图输入到EEAM模块中和步骤3中获到的特征图分别进行1×1×1的卷积，将和卷积后得到的两个结果进行加权，经过ReLU函数，1×1×1的卷积操作和Sigmoid函数的映射得到表示第二个EEAM模块获得的第一个归一化后的结果，引入另一分支读取增强后的数据分别经过1×1×1和3×3×3的卷积之后与上采样特征图进行加权，经过Sigmoid函数得到表示第二个EEAM模块获得的第二个归一化后的结果，将和进行加权，采用最值归一化的方式最终输出注意力系数α2，将获得的注意力系数α2与上采样特征图进行相乘，得到注意力权重图将与上采样特征图进行拼接，拼接得到的结果输入到解码器的第三个卷积块中，得到输出特征图的维度是C2×H2×W2×D2，其中C2，H2，W2，D2，分别代表解码器第三个卷积块得到的特征图的通道数、高度、宽度和深度，与编码器第二个卷积块得到的特征图的通道数、高度、宽度和深度相同，解码器的第三个卷积块包括一个卷积核大小为[3,3,3]，步长为2，填充为1的上采样层和两个卷积核大小为[3,3,3]，步长为2，填充为1的卷积层，BatchNorm层，ReLU激活函数；9解码器第四个卷积块读取解码器中第三个卷积块得到的特征图进行上采样得到将上采样特征图输入到EEAM模块中和步骤2中获得的特征图分别进行1×1×1的卷积，以维持通道数一致，将和卷积后得到的两个结果进行加权，经过ReLU函数，1×1×1的卷积操作和Sigmoid函数的映射得到表示第一个EEAM模块获得的第一个归一化后的结果，引入另一分支读取增强后的数据分别经过1×1×1和3×3×3的卷积之后与上采样特征图进行加权，经过Sigmoid函数得到表示第一个EEAM模块获得的第二个归一化后的结果，将和进行加权，采用最值归一化的方式将加权后的结果限制在[0,1]的区间上，最终输出注意力系数α1，将获得的注意力系数α1与上采样特征图进行相乘，得到注意力权重图将与上采样特征图进行拼接，拼接得到的结果输入到解码器的第四个卷积块中，得到输出特征图的维度是C1×H1×W1×D1，其中C1，H1，W1，D1，分别代表解码器第四个卷积块得到的特征图的通道数、高度、宽度和深度，与编码器第一个卷积块得到的特征图的通道数、高度、宽度和深度相同，解码器的第四个卷积块包括一个卷积核大小为[3,3,3]，步长为2，填充为1的上采样层和两个卷积核大小为[3,3,3]，步长为2，填充为1的卷积层，BatchNorm层，ReLU激活函数；10将解码器第四个卷积块获得特征图经过符号距离函数输出为水平集函数Φx， 其中，||x-y||2代表x和y之间的欧氏距离，Sin代表图像边界内，Sout代表图像边界外，代表图像的边界上，inf是数学符号，表示无穷大，x和y表示特征图的坐标；第二阶段为：将水平集函数Φx输入到Chan-Vese模型中作为一个辅助监督分支，用于拟合图像边缘信息，即通过水平集函数来最小化Chan-Vese模型的能量泛函，以此来训练优化模型；引用Chan-Vese模型能量函数Fc1,c2,Φ和DiceLoss为损失函数，Ltotal＝LDice+Fc1,c2,Φ， 其中c1为目标区域的像素平均值，c2为背景区域的像素平均值，u0x,y为图像上点的像素值，λ1表示目标区域的权重因子，λ2表示背景区域的权重因子，H代表Heaviside函数，代表梯度，Ltotal表示总损失函数，LDice表示DiceLoss损失函数，μ和v表示参数的权重，Ω表示闭合轮廓区域，Φ·表示水平集函数；网络使用MultiStepLR学习率调整策略，使用Adam优化器，通过反向传播算法调整训练过程，计算出的模型的权重weight和偏置量bias；通过多次迭代训练，不断的更新网络的权重weight和偏置量bias，将最优的网络参数保存，最终完成对训练集Xi的训练；S4.将增强后的数据中的输入图像I进行卷积操作加入到注意力模型中，先后与上采样和下采样得到的特征图进行融合获得注意力系数αi，然后读取训练模型保存的最优权重weight和偏置量bias，以及步骤S2中预处理后的测试集Yj的数据，通过网络解码器输出水平集函数，再将其转换成[0,1]区间上的概率分布图，最后进行加权获得测试集的分割结果；S4的具体步骤为：将步骤S3中得到的增强后的数据中的输入图像I进行卷积操作加入到注意力模型中，先后与上采样和下采样得到的特征图进行融合，以达到对图像的病变进行增强的效果，最终获得注意力系数αi，如公式所示：注意力系数的计算公式为： 其中I代表输入图像，Θ代表最值归一化，R代表ReLU激活函数，Sig代表Sigmoid函数，表示三维卷积，Wx、Wg和ψ均表示1×1×1卷积块；再读取步骤S3中训练好的模型中保存的权重weight和偏置量bisa，以及测试集数据Yj，在网络解码器输出水平集函数Φx，通过HeavisideFunction生成[0,1]区间上的概率分布图，然后与解码器上最后一层的EEAM模块中获得的注意力系数α1进行加权，获得测试集的最终分割结果；水平集函数Φx计算公式为 HeavisideFunction的计算公式为： 最终的分割结果计算公式为：Final_Out＝α1+Probably_Map，其中α1为编码器第一个卷积块和解码器第四个卷积块中EEAM模块得到的注意力系数，Probably_Map为本发明的网络经过步骤S3第二阶段训练后的训练集Xi中的分割概率图。

全文数据：

权利要求：

百度查询： 齐鲁工业大学(山东省科学院);山东省人工智能研究院 改进的注意力机制与CV模型相结合的分割方法及其系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD