申请/专利权人：东南大学

申请日：2023-12-20

公开（公告）日：2024-03-19

公开（公告）号：CN117455906B

主分类号：G06T7/00

分类号：G06T7/00;G06T7/10;G06N3/0464;G06N3/08;G06N3/0455

优先权：

专利状态码：有效-授权

法律状态：2024.03.19#授权;2024.02.13#实质审查的生效;2024.01.26#公开

摘要：本发明公开了一种基于多尺度交叉融合和边界引导的数字化病理胰腺癌神经分割方法。包括步骤：注释神经，并对神经掩膜做距离变换，在1000um的距离做截断，生成了阴性掩膜和神经掩膜；对全视野数字切片分别在多个分辨率下提取得到对应的不重叠的图像块；将与设计的轻量级的DSAFormer层交替连接形成新颖的混合编码器网络，得到高分辨率中间特征；构建FCN网络作为辅助分支，得到低分辨率中间特征；构建多尺度双交叉注意力模块融合多尺度及多分辨率信息；使用交叉熵损失和Dice损失的组合损失函数来指导和约束模型的优化。本发明可以对胰腺癌的全视野病理切片图像中的神经实现精准分割。

主权项：1.一种基于多尺度交叉融合和边界引导的数字化病理胰腺癌神经分割方法，其特征在于，所述方法包括以下步骤：S1：一组病理学家合作从胰腺癌全视野数字切片图像中注释出神经，保证1000um范围内无其他阳性样本，使用距离变换在阳性区域周围生成阴性掩膜，对神经掩膜做距离变换操作，在1000um的距离处做截断，由此生成无阳性目标的纯阴性掩膜；S2：基于神经掩膜和步骤S1中生成的阴性掩膜，对WSI分别在多个分辨率下提取得到对应的不重叠的图像块和对应标签，由此提取得到的图像块可作为多分辨率数据集来进行模型训练；S3：使用VGG19-Net在大型自然图像上的预训练权重，将其拆分为五个阶段与设计的轻量级的DSAFormer层交替连接形成新颖的混合编码器网络，并将步骤S2中构建的数据集中高分辨率的图像块作为高分辨率分支的输入，得到高分辨率分支每层编码器的中间特征；S4：构建轻量级的FCN网络作为辅助分支，将步骤S2中构建的数据集中低分辨率的图像块作为辅助的低分辨率分支的输入，得到低分辨率分支每层编码器的中间特征；S5：构建多尺度双交叉注意力模块作为模型的skip-connection结构，对步骤S3和步骤S4中得到的多尺度和多分辨率信息进行融合，融合后的特征保留浅层特征以及融合之后的多尺度信息；S6：构建边界引导的解码器，将步骤S5得到的融合后的信息作为输入，使用Canny边界检测方法分别从低层特征和高层特征提取得到边界增强特征，并将边界增强特征作为先验，前一个解码器层得到的特征作为输入，将边界信息注入到每一层解码器；S7：使用交叉熵损失和Dice损失的组合损失函数来指导和约束模型的优化，最终对胰腺癌的全视野病理切片图像中的神经实现精准分割；其中，所述步骤S3中主干分支的分割模型是以VGG19-Net网络为基础提取局部特征，轻量级的DSAFormer层辅助提取图像块的长距离依赖关系，首先将VGG19-Net拆分为五个阶段，每个阶段均包含卷积核大小为3×3的2D卷积层和激活函数为ReLU的激活层交替两次，并在每层最后加入最大池化层得到特征Fcnn，然后将设计的轻量级的DSAFormer层与VGG19-Net的五个阶段交替连接形成CNN-Transformer混合模型，其中轻量级的DSAFormer层总共由特征嵌入、双压缩注意力和MLP三个部分组成，将经过VGG19-Net得到的特征Fcnn首先通过LayerNormalization的归一化层，其次对每个图像块的向量进行卷积投影得到图像块嵌入，然后送入到双压缩注意力层计算注意力权重，最终通过MLP层得到输出FDSA，其中双压缩注意力分为两个模块，分别在水平和垂直方向对特征进行压缩来计算压缩注意力，每个模块分为上下两个部分，其中下部分是采用压缩后的特征计算全局注意力，上部分是使用卷积层补充局部信息，首先将图像块嵌入通过卷积投影后的query作为Q，key作为K，以及value作为V，三者作为双压缩注意力层的输入，其中将Q、K和V在通道维度进行拼接作为每个模块的上部分的输入来补充局部信息，下部分是将三者分别自水平和垂直方向进行压缩来计算压缩注意力，并将压缩注意力得到的输出作为权重对上部分的局部信息进行重新加权，通过双压缩注意力层得到的权重和CNN编码器层的输出Fcnn进行残差连接，得到编码器层的中间特征Fzg作为下一编码器层和相应解码器层的输入；其中：所述步骤S4中的辅助分支的分割模型是FCN网络，采用步骤S2中低分辨率的图像作为输入来提取全局特征，辅助分支网络与对应主干网络拥有相同的深度，以便进行特征融合，辅助分支的网络总共五个阶段，每个阶段均包含卷积核大小为3×3的2D卷积层和激活函数为LeakyReLU的激活层交替两次，最后加入最大池化层得到特征Ffz；其中，所述步骤S5中双交叉注意力分别在多尺度和多分辨率上进行注意力的计算，首先将步骤S3得到的四个主干编码器层的中间特征Fzg映射为多头注意力的四个Q，将步骤S4得到的四个辅助编码器层的中间特征Ffz进行拼接，并映射为K和V，分别和主干多尺度的信息计算全局注意力，从而得到融合多尺度的信息Fmulti；其次将多尺度信息Fskip1作为下一交叉注意力的输入，并映射为V，将步骤s4得到四个辅助编码器层的中间特征Ffz映射为Q和K，分别和多尺度信息计算全局注意力，从而得到融合多尺度及多分辨率信息的Fskip，其中，所述步骤S6中采用的解码器网络与编码器网络是对称结构，每个阶段均包含卷积核大小为3×3的2D卷积层和激活函数为ReLU的激活层交替两次，并在每层最后加入上采样层得到特征Fjm，因此通过四次上采样操作，特征的尺寸依次上升，直到与输入图像的尺寸一致；首先使用Canny边界检测方法分别对步骤S5中得到的融合后的低层次特征Fskip1和高层次特征Fskip4提取边界，并将两个高低分辨率的边界在通道维度进行拼接，使用1×1卷积将其在通道维度进行融合得到边界增强特征，其次将边界增强特征作为先验，前一个解码器层得到的特征和相应skip-connection层特征Fskip作为输入，将边界信息注入到每一层解码器，通过逐层解码，最后通过Sigmod激活函数得到最终的神经分割掩膜，其中，所述步骤S7中的损失函数采用的是交叉熵损失函数与Dice损失函数，表示为：losstotal＝weightce×lossce+weightdice×lOssdice 其中，y是真实标签值，正分类值为1，负分类值为0，为预测标签值losstotal为总的损失，lossce为交叉损失，lossdice为Dice损失，weightce为交叉熵损失所占权重，weightdice为Dice损失所占权重。

全文数据：

权利要求：

百度查询： 东南大学 基于多尺度交叉融合和边界引导的数字化病理胰腺癌神经分割方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD