申请/专利权人：志诺维思(北京)基因科技有限公司

申请日：2018-02-05

公开（公告）日：2020-07-24

公开（公告）号：CN108074243B

主分类号：G06T7/00(20170101)

分类号：G06T7/00(20170101);G06T7/11(20170101);G06T7/136(20170101)

优先权：

专利状态码：有效-授权

法律状态：2020.07.24#授权;2018.06.19#实质审查的生效;2018.05.25#公开

摘要：本发明涉及一种细胞定位方法以及细胞分割方法。本发明所述细胞定位方法及细胞分割方法在包含有细胞定位信息的第一染色图像上进行机器学习，获得预测模型，将所述预测模型用于未包含细胞定位信息的第二染色图像，预测所述第二染色图像的细胞定位信息，并依据所述细胞定位信息对所述第二染色图像进行细胞分割。本发明所述方法在细胞定位以及分割细胞上具有自动识别，无需或减少人工标注、省事省力等优点。

主权项：1.一种细胞定位方法，其特征在于，所述方法包括以下步骤：步骤S1.获取第一染色图像，所述第一染色图像为细胞染色图像，包含辅助染色信息以及根据辅助染色信息标注的细胞定位信息；步骤S2.以第一染色图像为学习对象，通过机器学习的方式，建立根据辅助染色信息预测细胞定位信息的预测模型并验证所述预测模型是否合格，合格的预测模型用于第二染色图像的细胞定位；步骤S3.获取第二染色图像，所述第二染色图像为细胞染色图像，包含辅助染色信息，不包含细胞定位信息；步骤S4.将所述第二染色图像的辅助染色信息输入所述模型，预测所述第二染色图像的细胞定位信息，即得所述第二染色图像的细胞定位信息;步骤S5.根据细胞定位信息对所述第二染色图像进行细胞分割;所述步骤S2具体包括：步骤S201.获取第一染色图像的辅助染色信息和细胞定位信息，所述辅助染色信息通过颜色反卷积的方式获得；步骤S202.将所述辅助染色信息和所述细胞定位信息进行切分，获得多个辅助染色信息子集和对应的细胞定位信息子集；步骤S203.将所述辅助染色信息子集和对应的细胞定位信息子集分成训练集和校验集；步骤S204.以辅助染色信息为输入值，对应的细胞定位信息为输出值，在所述训练集中建立机器学习任务，获得通过细胞染色信息预测细胞定位信息的预测模型；步骤S205.使用所述校验集验证所述预测模型的准确性，准确性合格的模型用于预测所述第二染色图像中细胞的位置。

全文数据：一种细胞定位方法以及细胞分割方法技术领域[0001]本发明涉及生物医学图像处理领域，具体而言，涉及一种细胞定位方法以及细胞分割方法。背景技术[0002]细胞染色是一项广泛应用于临床工作以及科学研宄的技术手段，其通过染色信息反映待测样本的细胞形态和分子标记物的表达情况，能够为临床医生和科研工作者提供重要的决策信息。其中，细胞定位和细胞分割在细胞分类、计数和染色结果分析方面具有重要意义。[0003]目前，细胞定位和细胞分割一般通过细胞核染色的方式获取。然而，由于细胞之间多有粘连和重叠，细胞染色图像中的细胞核染色也容易出现类似现象，导致难以根据细胞核染色信息快速准确地获取细胞核位置信息以及辨别单个细胞，需要专业人士专门对染色图像进行细胞核信息标注和细胞分割，费事费力。[0004]另外，在免疫组化染色图像中，有些分子标物的染色结果与细胞核染色结果重叠，进一步增大细胞核定位以及细胞分割的难度。[0005]因此，便捷、准确地预测细胞核位置并进行细胞分割，对细胞染色图像的分析具有重大意义。[0006]有鉴于此，特提出本发明。发明内容[0007]本发明的第一目的在于提供一种细胞定位方法，所述方法通过机器学习的方式建立预测模型，基于该模型可以自动预测待分析图像中的细胞位置，无需专业人士进行人工标记，省时省力，为细胞水平下的图像自动化分析提供基础。[0008]进一步地，本发明所述方法在学习对象的选择上灵活多变，可利用容易获得细胞定位信息的或已标注大量细胞定位信息的染色图像如，已存在大量标注的HE染色图像为学习对象，训练预测模型，所得模型可用于不易获得、标注难度大或未标注只标注少量细胞定位信息的染色图像如，免疫组化染色图像）。[0009]本发明的第二目的在于提供一种细胞分割方法，所述方法基于预测得到的细胞定位信息进行细胞分割，无需人工标注细胞定位信息和人工分割细胞，有利于图像分析信息的自动化。[0010]进一步地，本发明所述方法基于区域划分方法进行初步分割，并对大面积分割区域进行迭代分割，提高细胞分割的准确性。[0011]为了实现本发明的上述目的，特采用以下技术方案：[0012]一种细胞定位方法，所述方法包括以下步骤：[0013]步骤S1•获取第一染色图像，所述第一染色图像为细胞染色图像，包含辅助染色信息以及根据辅助染色信息标注的细胞定位信息；[0014]步骤S2•以第一染色图像为学习对象，通过机器学习的方式，建立根据辅助染色信息预测细胞定位信息的预测模型并验证所述预测模型是否合格，合格的预测模型用于第二染色图像的细胞定位；[0015]步骤S3•获取第二染色图像，所述第二染色图像为细胞染色图像，包含辅助染色信息，不包含细胞定位信息；[0016]步骤S4•将所述第二染色图像的辅助染色信息输入所述模型，预测所述第二染色图像的细胞定位信息，即得所述第二染色图像的细胞定位结果。[0017]本发明还涉及一种细胞分割方法，所述方法包括:执行前述步骤S1〜S4,获得所述第二染色图像的细胞定位信息；以及[0018]执行步骤S5•根据细胞定位结果对所述第二染色图像进行细胞分割。[0019]在一些具体的实施方式中，本发明前述方法中的步骤S2具体包括：[0020]步骤S201•获取第一染色图像的辅助染色信息和细胞定位信息，优选地，所述辅助染色信息通过颜色反卷积的方式获取；[0021]步骤S202•将所述辅助染色信息和所述定位信息进行切分，获得多个辅助染色信息子集和对应的细胞定位信息子集；[0022]步骤S2〇3.将所述辅助染色信息子集和对应的细胞定位信息子集分成训练集和校验集；[0023]步骤S204•以辅助染色信息为输入值，对应的细胞定位信息为输出值，在所述训练集中建立机器学习任务，获得通过辅助染色信息预测细胞定位信息的预测模型；[0024]步骤S20f5•使用所述校验集验证所述预测模型的准确性，准确性合格的模型用于预测所述第二染色图像中细胞的位置。[0025]在一些具体的实施方式中，本发明所述机器学习的方式为神经网络模型或概率图模型;优选地，所述机器学习为神经网络模型;更优选地，所述神经网络模型为全卷积神经网络模型。[0026]在一些具体的实施方式中，合格模型的预测准确率为80%以上；优选地，85%以上，更优选地，90%以上，最优选地，95%以上。[0027]在一些具体的实施方式中，本发明所述步骤S4包括：[0028]步骤S401.从所述第二染色图像中获取所述辅助染色信息，优选地，所述辅助染色信息通过颜色反卷积的方式获取获取；[0029]步骤S402.将所述辅助染色信息输入所述预测模型，获得细胞定位信息的预测结果；[0030]步骤S403•将所述细胞定位信息的预测结果与所述第二染色图像融合;优选地，所述细胞定位信息在融合前进行阈值处理；[0031]可选地，所述步骤S401和所述步骤402之间还包括将步骤S401获得的辅助染色信息的通道与第一染色图像中的辅助染色信息的通道对齐，优选地，所述对齐利用像素直方图或对抗生成网络的方式对齐。[0032]在一些具体的实施方式中，所述步骤S5包括：[0033]步骤S5〇l•将细胞定位信息定义为标记marker，采用区域划分方法，获得多个分割区域，优选地，所述区域划分的方法为分水岭算法；[0034]步骤S502.根据初步分割结果，计算每个分割区域的面积大小；[0035]步骤S503.判断每个分割区域的面积大小与第一预定值和第二预定值的关系，所述第一预定值大于所述第二预定值：[0036]如果所述区域的面积大于所述第一预定值，则利用区域划分的方式进行迭代分割，直至所述区域的面积小于所述第一预定值，优选地，所述区域划分的方式包括高斯混合模型或模糊C均值法；[0037]如果所述区域的面积在第一预定值与第二预定值之间，则不再继续进行分割，所述区域标记为分割已完成状态；[0038]如果所述区域的面积小于所述第二预定值，则将所述分割区域剔除；[0039]步骤S504•所有分割E域均标记为分割己完成状态，即所述辅助染色区域的细胞分割完成。[0040]在一些具体的实施方式中，本发明所述方法中的所述步骤S201利用高斯混合模型GaussianMixtureModel，GMM算法获取辅助染色信息。[0041]在一些具体的实施方式中，本发明所述方法中的所述步骤401利用GMM算法获取辅助染色信息。[0042]在一些具体的实施方式中，所述第一染色图像与第二染色图像为同类样品或非同类样品的染色图像，所述非同类样品包含同种细胞;优选地，所述第一染色图像与所述第二染色图像为同类样品的染色图像;更优选地，所述第一染色图像与所述第二染色图像为同一受试者的同类样品。[0043]在一些具体的实施方式中，所述第一染色图像为组织切片、细胞涂片或细胞爬片的染色图像，所述第二染色图像为组织切片、细胞涂片或细胞爬片的染色图像；[°044]在一些具^的实施方式中，所述辅助染色信息为细胞核染色信息，所述细胞定位信息为细胞核位置信息;优选地，所述辅助染色信息为苏木精染色信息或DAPI染色信息。[0045]在一些具体的实施方式中，所述第一染色图像为易获得细胞定位信息或已标注大量细胞定位信息染色图像，例如，HE染色图像;所述第二染色图像为难获得细胞定位信息或未标注细胞定位信息或只标注有少量细胞定位信息的染色图像，例如免疫组化染色图像。[0046]在一些具体的实施方式中，所述细胞定位信息为细胞核定位信息。[0047]在一些具体的实施方式中，所述步骤S1〜S5均为自动化操作。[0048]术语解释[0049]染色图像:是指对生物样品进行染色后所获取的图像，其包括但不限于组织切片染色图像、细胞涂片染色图像和细胞爬片染色图像。[0050]辅助染色信息:是指能够反映细胞位置和或形态边界的染色信息，所述辅助染色信息包括但不限于细胞核染色信息。[0051]细胞分割:是指将染色图像中的细胞分割成单个细胞，根据染色情况不同，所述细胞分割包括但不限于，根据细胞核染色信息进行的细胞分割和根据辅助染色进行的细胞分割。附图说明[0052]为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。[0053]图1为实施例1所述第一染色图像，所述染色图像为苏木精-伊红HE染色图像；[0054]图2为实施例1从所述第一染色图像中获取的细胞核染色信息的图像；[0055]图3为实施例1从所述第一染色图像中获取的细胞核定位信息的图像；[0056]图4为实施例1所述多层全卷积神经网络模型的结构图；[0057]图5为实施例1中的细胞核位置信息预测图（图5A、细胞核位置信息标注图（图5B和细胞核染色图（图5C;[0058]图6为实施例1中第二染色图像含CD3染色的免疫组化图像）；[0059]图7为实施例1中，从所述第二染色图像中获取的细胞核染色信息图像；[0060]图8为实施例1中，经过预测和阈值处理后，所述第二染色图像的细胞核分布图；[0061]图9为实施例1中，经过融合后，所述第二染色图像上的细胞核定位结果图；[0062]图10为实施例1中，第二染色图像的细胞核位置信息人工标注图；[0063]图11为实施例2中，经过阈值处理后的第二染色图像上的细胞核预测结果图（二值图像）；[0064]图12为实施例2中，第二染色图像上的细胞初步分割图；[0065]图13为实施例2中，第二染色图像上的迭代分割结果图；[0066]图14为实施例2中，第二染色图像上分割完成后的细胞核染色区域细胞分割结果图，其中，方框为细胞分割的结果。具体实施方式[0067]下面将结合实施例对本发明的实施方案进行详细描述，但是本领域技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限制本发明的范围。实施例中未注明具体条件者，按照常规条件或制造商建议的条件进行。所用试剂或仪器未注明生产厂商者，均为可以通过市购买获得的常规产品。[0068]实施例1[0069]如图1所示，本发明实施例1提供一种细胞定位方法。所述方法涉及的第一染色图像为染色的结肠癌图像，第二染色图像为含⑶3标记物染色的免疫组化染色图像。所述方法具体包括：[0070]步骤S1•获取第一染色图像（图1所示HE图像，来源组织为结肠癌组织，数据集含100张5〇0祁00的图像），所述图像包括细胞核染色（即，辅助染色）以及人工标注的细胞核定位信息（即，细胞定位信息）。[0071]步骤S2.以第一染色图像为学习对象，通过机器学习的方式，建立根据细胞核染色信息预测细胞核位置的预测模型：[0072]g骤S201•获取第一染色图像的细胞核染色信息（如图2所示和细胞核定位信息如图3所示）。其中，细胞核染色信息通过颜色分离的方法获得，所述颜色分离方法为:根据原图的染色情况，通过颜色反卷积，从原图中分离出细胞核染色信息通道和其他染色信息通道，细胞核染色信息通道用于后续处理。对于颜色反卷积得到的细胞核染色信息通道初步结果，进行标准化处理，将像素值转化到0〜255之间，之后用OTSU方法进行阈值操作，得到细胞核染色信息。[0073]步骤S202.将所述细胞核染色信息和所述细胞核定位信息的数据集切分为尺寸为64祁4的一系列小图，小图在原图上的位置可以由左上角坐标描述，左上角的坐标为随机值;小图所在的图像编号也随机生成，获得多个细胞核染色信息子集和对应的细胞核定位信息子集。[0074]步骤S2〇3.将所述细胞核染色信息子集和对应的细胞核定位信息子集随机划分成训练集和校验集，在100张图像的原始数据集中，由80张图像生成训练集并训练模型，在另外2〇张图像上进行校验，验证模型效果，模型中采用的损失函数为平均绝对值误差，优化器为Nesterov加速自适应矩估计（Nesterovacceleratedadaptivemomentestimation，Nadam算法。[0075]步骤S204•以细胞核染色信息为输入值，对应的细胞核位定位信息为输出值，使用Tensorflow框架在GTX1080显卡上训练可以预测细胞核定位信息的多层全卷积神经网络模型，所述模型结构如图4所示。[0076]步骤S2〇f5•使用所述校验集验证所述预测模型的准确性，准确性高于85%的模型用于预测所述第二细胞染色图像中的细胞核定位信息，具体地：[0077]最终模型在校验集上进行验证，平均绝对值误差为0.0397，像素级预测准确率为0•9603，均方误差为0•0388，验证结果如下所示：[0078]图5A为细胞核定位信息的预测图，图5B为人工标注的细胞核定位信息图，图5C为细胞核染色图。[0079]预测结果判定标准:对于每个标注细胞的中心，若其周围半径为10的范围内有预测点则认为预测成功。[0080]根据上述预测结果判定标准，图5A所示标注细胞的总数为150,图5B所示预测细胞的总数为167,其中预测成功的细胞总数为133,准确率为88.7%。考虑到原数据集标注存在标注不全的问题，模型预测结果在可接受范围内。[0081]步骤S3•获取第二染色图像如图6所示），所述染色图像包括细胞核染色信息，无人工标注的细胞核定位信息。[0082]步骤S4•将所述第二染色图像的细胞核染色信息输入所述模型，预测所述细胞核定位信息，即得所述第二染色图像的细胞定位结果，具体地：[0083]步骤S401•从所述第二染色图像中获取所述细胞核染色信息（如图7所示），颜色分离方法为:颜色反卷积，从原图中分离出细胞核通道、CD3染色通道以及基质通道。对于颜色反卷积得到的细胞核通道初步结果，进行标准化处理，将像素值转化到〇〜255之间，之后用0TSU方法进行阈值操作，得到细胞核染色信息。[0084]步骤S401’•将步骤S401获得的细胞核染色信息的通道与第一染色图像中的辅助染色信息的通道利用像素直方图对齐。[0085]步骤S402•将所述细胞核染色信息以步长为32的滑动窗口切分为尺寸为6扭64的一系列小图，将每张小图输入所述预测模型，并对预测结果做阈值处理，保留预测概率大于〇•5的点，获得每张小图上的细胞核定位信息的预测结果；[0086]步骤S403.将所述小图的预测结果，取每张小图中心32*32的部分进行合并，得到全图细胞核定位信息的预测结果如图8所示）。[0087]选取典型区域进行细胞核定位效果评估：比较图9所述定位结果与对应人工标注结果如图10所示），其中，图9标注的细胞数目为45,图10预测的细胞数目为42,预测成功的细胞数目为42，细胞核预测的准确率为93•3%;未成功预测的3个细胞，其中一处人工标注为连在一起的两个细胞而细胞核预测结果将其预测为1个细胞，另外两处染色较浅可认为实际上市下一次细胞），人工标注对此进行标注，而预测模型将其忽略，在细胞核预测结果上未显示。[0088]步骤S5.人工划定感兴趣领域regionofinterest，R0I，利用细胞核定位结果对R0I区域进行细胞分割，所述步骤S5包括：[0089]步骤S501.将细胞核定位信息预测结果如图11所示）中的细胞核定位信息定义为标记marker，细胞核为待分割的未知区域，采用分水岭算法进行细胞的初步分割，获得多个初步分割区域如图12所示）；[0090]步骤S502.根据每个初步分割区域包含的像素点个数计算每个初步分割区域的面积大小；[0091]步骤S503.判断每个初步分割区域的面积大小与第一预定值100、第二预定值10的关系：[0092]如果所述区域的面积大于所述100,则利用GMM进行迭代分割，直至所述区域的面积小于100G丽迭代分割结果如图13所示）；[0093]如果所述区域的面积在1〇〇与1〇之间，则不再继续进行分割，所述区域标记为分割已完成状态；[0094]如果所述区域的面积小于10,则将所述分割区域剔除；[0095]步骤S504.每个分割区域均为分割完成状态，即细胞核染色区域的细胞分割完成分割结果如图14所示）。[0096]最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明，但本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

权利要求：1.一种细胞定位方法，其特征在于，所述方法包括以下步骤：步骤S1.获取第一染色图像，所述第一染色图像为细胞染色图像，包含辅助染色信息以及根据辅助染色信息标注的细胞定位信息；步骤S2•以第一染色图像为学习对象，通过机器学习的方式，建立根据辅助染色信息预测细胞定位信息的预测模型并验证所述预测模型是否合格，合格的预测模型用于第二染色图像的细胞定位；步骤S3.获取第二染色图像，所述第二染色图像为细胞染色图像，包含辅助染色信息，不包含细胞定位信息；步骤S4•将所述第二染色图像的辅助染色信息输入所述模型，预测所述第二染色图像的细胞定位信息，即得所述第二染色图像的细胞定位结果。2.—种细胞分割方法，其特征在于，所述方法包括:执行权利要求1所述步骤S1〜S4,获得所述第二染色图像的细胞定位信息；以及执行步骤S5•根据细胞定位结果对所述第二染色图像进行细胞分割。3.根据权利要求1或2所述的方法，其特征在于，所述步骤S2具体包括：步骤S201.获取第一染色图像的辅助染色信息和细胞定位信息，优选地，所述辅助染色信息通过颜色反卷积的方式获得；步骤S202.将所述辅助染色信息和所述细胞定位信息进行切分，获得多个辅助染色信息子集和对应的细胞定位信息子集；步骤S203•将所述辅助染色信息子集和对应的细胞定位信息子集分成训练集和校验集；步骤S204•以辅助染色信息为输入值，对应的细胞定位信息为输出值，在所述训练集中建立机器学习任务，获得通过细胞染色信息预测细胞定位信息的预测模型；步骤S205•使用所述校验集验证所述预测模型的准确性，准确性合格的模型用于预测所述第二染色图像中细胞的位置。4.根据权利要求3所述的方法，其特征在于，所述机器学习为神经网络模型或概率图模型；优选地，所述机器学习为神经网络模型；更优选地，所述神经网络模型为全卷积神经网络模型。5.根据权利要求1或2所述的方法，其特征在于，所述步骤S4包括：步骤S401•从所述第二染色图像中获取所述辅助染色信息，优选地，所述辅助染色信息通过颜色反卷积的方式获取；步骤S402•将所述辅助染色信息输入所述预测模型，获得细胞定位信息的预测结果；步骤S403.将所述细胞定位信息的预测结果与所述第二染色图像融合;优选地，所述细胞定位信息在融合前进行阈值处理；可选地，所述步骤S401和所述步骤402之间还包括将步骤S401获得的辅助染色信息的通道与第一染色图像中的辅助染色信息的通道对齐，优选地，所述对齐利用像素直方图或对抗生成网络的方式对齐。6.根据权利要求2所述的方法，其特征在于，所述步骤S5包括：步骤S501.将细胞定位信息定义为标记marker，采用区域划分法，获得多个分割区域，优选地，所述区域划分的方法为分水岭算法；步骤S502.根据初步分割结果，计算每个分割区域的面积大小；步骤S503.判断每个分割区域的面积大小与第一预定值和第二预定值的关系，所述第一预定值大于所述第二预定值：如果所述区域的面积大于所述第一预定值，则利用区域划分的方式进行迭代分割，直至所述区域的面积小于所述第一预定值，优选地，所述区域划分的方式包括高斯混合模型GaussianMixtureModel,GMM或模糊C均值法（FuzzyC-Means，FCM;如果所述区域的面积在第一预定值与第二预定值之间，则不再继续进行分割，所述区域标记为分割已完成状态；如果所述区域的面积小于所述第二预定值，则将所述分割区域剔除；步骤S504•所有分割区域均标记为分割己完成状态，即所述细胞分割完成。7.根据权利要求1或2所述的方法，其特征在于，所述第一染色图像与第二染色图像为同类样品或非同类样品的染色图像，所述非同类样品包含同种细胞;优选地，所述第一染色图像与所述第二染色图像为同类样品的染色图像;更优选地，所述第一染色图像与所述第二染色图像为同一受试者的同类样品。8.根据权利要求1或2所述的方法，其特征在于，所述第一染色图像为组织切片、细胞涂片或细胞爬片的染色图像，所述第二染色图像为组织切片、细胞涂片或细胞爬片的染色图像。9.根据权利要求1或2所述的方法，其特征在于，所述第一染色图像为易获得细胞定位信息或已标注大量细胞定位信息的染色图像，例如，苏木精-伊红hematoxy1in-eosin，HE染色图像;所述第二染色图像为难获得细胞定位信息或未标注细胞定位信息或只标注有少量细胞定位彳目息的染色图像，例如免疫组化immunohistochemistry，IHC染色图像。10.根据权利要求1或2所述的方法，其特征在于，所述辅助染色信息为细胞核染色信息，所述细胞定位信息为细胞核位置信息;优选地，所述辅助染色信息为苏木精染色信息或DAPI染色信息。

百度查询： 志诺维思(北京)基因科技有限公司 一种细胞定位方法以及细胞分割方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD