申请/专利权人：陕西师范大学

申请日：2020-09-25

公开（公告）日：2023-12-29

公开（公告）号：CN112164077B

主分类号：G06T7/11

分类号：G06T7/11;G06T7/136;G06T3/40;G06V10/774;G06V10/80

优先权：

专利状态码：有效-授权

法律状态：2023.12.29#授权;2021.01.19#实质审查的生效;2021.01.01#公开

摘要：一种基于自下而上路径增强的细胞实例分割方法，由数据预处理、构建实例分割网络、训练实例分割网络、保存模型、验证实例分割网络、测试实例分割网络步骤组成。采用构建实例分割网络步骤中的主干网分支来提取图片中的特征，预测头分支生成实例的定位、分类、掩码系数信息，原型掩码分支生成原型掩码，通过线性结合掩码系数与原型掩码，对图片中的细胞进行实例分割。本发明与现有的Yolact方法相比，通过改进构建实例分割网络中的特征融合部分，充分利用了图片中信息，提高了物体的定位、分类的准确率，可用于细胞的定位、分类与实例分割。

主权项：1.一种基于自下而上路径增强的细胞实例分割方法，其特征在于由下述步骤组成；1数据预处理从PanNuke数据集中取原始图片分为验证集、测试集、训练集，验证集与测试集、训练集的数量比为1：1：4，训练集、验证集、测试集中的图片大小为550×550像素，将训练集、验证集、测试集图片中的每个细胞提取出来生成新的包含单个细胞的掩码图片，掩码图片的大小为550×550像素，用pycocotools工具将训练集、验证集、测试集中的图片和对应数据集的掩码图片转化为标签文件；2构建实例分割网络实例分割网络由主干网分支1、预测头分支2、原型掩码分支3连接构成，主干网分支1的输出与预测头分支2和原型掩码分支3中的输入相连，主干网分支1、预测头分支2、原型掩码分支3的构建方法如下：1构建主干网分支a特征金字塔网络提取特征图将训练集中的每张图片输入到特征金字塔网络的基础特征提取网络1-1中提取特征图，得到基础特征图集合{C1，C2，C3，C4，C5}；b融合特征图将基础特征图集合{C1，C2，C3，C4，C5}输入到特征金字塔网络1-2中，进行特征融合，得到融合特征图集合{P3，P4，P5，P6，P7}，用最近邻上采样法进行上采样，得到256通道的特征图集合，在特征金字塔网络输出的特征图上依次连接5个卷积核大小为3×3、步长为2的卷积层，构成路径增强网络1-3，由下式得到路径增强网络特征图集合{N3，N4，N5，N6，N7}，构建成主干网分支1； 式中R为rule激活函数，C3为卷积核大小为3×3、步长为2的卷积层，U为矩阵相加，i∈{3，4，5，6，7}；2构建预测头分支预测头分支包括定位分支、分类分支、掩码系数分支；a构建定位分支将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的每个特征图上的每个像素点设置面积依次为[24,48,96,192,384]，长与宽比分别为1、12、2的锚，构成锚特征图，将锚特征图输入卷积层2-1、卷积层2-2，经2次卷积核大小为3×3、步长为1的卷积操作，得到A×S，Lj，Lj的特征图，将A×S，Lj，Lj的特征图的第一维与第三维位置进行交换，得到Lj，Lj，A×S的特征图，再将Lj，Lj，A×S的特征图第一维、第二维、第三维中的A进行相乘，得到Lj×Lj×A，S的预测结果，其中A为每个像素点设置的3个锚，S为锚的中心点和左上角点的坐标；将得到的Lj×Lj×A，S预测结果的第一维进行列拼接操作，得到C，S的定位结果，其中C由下式确定： 式中Lj∈{69,35,18,9,5}，j∈{1,2,3,4,5}，构建成定位分支2-3；b构建分类分支将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的每个特征图上的每个像素点设置面积依次为[24,48,96,192,384]，长与宽比分别为1、12、2的锚，构成锚特征图，将锚特征图输入卷积层2-1、卷积层2-2，经卷积核大小为3×3、步长为1的卷积操作，得到A×D，Lj，Lj的特征图，将A×D，Lj，Lj特征图的第一维与第三维位置进行交换，得到Lj，Lj，A×D的特征图，再将Lj，Lj，A×D的特征图第一维、第二维、第三维中的A进行相乘，得到Lj×Lj×A，D的预测结果，其中D表示训练集中离体的细胞类别数，将得到的Lj×Lj×A，D预测结果的第一维进行列拼接操作，得到C，D的分类结果，构建成分类分支2-4；c构建掩码系数分支将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的每个特征图上的每个像素点设置面积依次为[24,48,96,192,384]，长与宽比分别为1、12、2的锚，构成锚特征图，锚特征图输入卷积层2-1、卷积层2-2，经卷积核大小为3×3、步长为1的卷积操作，得到A×K，Lj，Lj的特征图，将A×K，Lj，Lj的特征图的第一维与第三维位置进行交换，得到Lj，Lj,A×K的特征图，再将Lj，Lj，A×K的特征图第一维、第二维、第三维中的A进行相乘，得到Lj×Lj×A，K的预测结果，其中K是生成掩码系数的个数，K为32或64；将得到的Lj×Lj×A，K预测结果的第一维进行列拼接操作，得到C，K的二维掩码系数，构建成掩码系数分支2-5；3构建原型掩码分支将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的N3输入卷积层3-1、卷积层3-2，经卷积核大小为3×3、步长为1的卷积操作，用最近邻上采样法将卷积后的N3上采样到原始图片尺寸的14，经2次重复的卷积层3-3、3-4，得到32,138,138的特征图，将32,138,138的特征图的第一维与第三维进行位置交换，得到138，138，32的原型掩码P，构建成原型掩码分支3；3训练实例分割网络a确定损失函数损失函数Loss包括类别损失Lcls、预测框回归损失Lbox、掩码损失Lmask，损失函数loss由下式确定：Loss＝αLcls+βLbox+θLmask式中α、β、θ为三个损失的不同权重，分别为1、1.5、6.125；b训练实例分割网络将训练集、对应的标签文件、ImageNet网络上的预训练模型输入到实例分割网络中进行训练，在训练过程中，设定实例分割网络的学习率γ为0.0001，优化器设定为自适应矩估计优化器，迭代M次，每次迭代使用图片的数量为B，M和B为有限正整数，训练至实例分割网络的损失函数Loss收敛；4保存权重文件每迭代F次保存1次权重文件，其中F≤M，得到保存权重文件；5验证实例分割网络将验证集和对应的标签文件输入到实例分割网络中进行验证，网络每F次进行一次验证；6测试实例分割网络将保存权重文件、测试数据集以及对应的标签文件输入到实例分割网络中进行测试，按下式得到实例掩码Q：Q＝σPWT式中P为原型掩码，W为经过非极大值抑制和得分阈值处理后保留N×K大小的掩码系数，T为矩阵的转置，σ为sigmoid非线性激活函数，用构建预测头分支步骤2得到的C，S的定位结果对实例掩码Q进行裁剪和阈值为0.5的阈值化处理，得到细胞的实例分割。

全文数据：

权利要求：

百度查询： 陕西师范大学 基于自下而上路径增强的细胞实例分割方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD