买专利,只认龙图腾
首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

【发明授权】染色图片处理方法及装置_志诺维思(北京)基因科技有限公司_201810720913.9 

申请/专利权人:志诺维思(北京)基因科技有限公司

申请日:2018-06-29

公开(公告)日:2020-10-16

公开(公告)号:CN109035210B

主分类号:G06T7/00(20170101)

分类号:G06T7/00(20170101);G06T7/90(20170101)

优先权:

专利状态码:有效-授权

法律状态:2020.10.16#授权;2019.01.11#实质审查的生效;2018.12.18#公开

摘要:本发明实施例提供了一种染色图片处理方法及装置,涉及染色图片处理技术领域。应用于一电子设备,所述方法包括:获取待拆分染色图片;将所述待拆分染色图片输入到预先训练完成的生成器中,输出多通道图片。相较已有方法更有效。

主权项:1.一种染色图片处理方法,其特征在于,应用于一电子设备,所述方法包括:获取待拆分染色图片;将所述待拆分染色图片输入到预先训练完成的生成器中,输出多通道图片;其中,在获取待拆分染色图片之前,所述方法还包括:获取N个明场扫描图片,N为大于零的正整数;将获取到的初始生成器及判别器合并,以所述N个明场扫描图片为输入,基于预设的损失函数,对所述初始生成器的参数进行优化计算;基于优化计算后的生成器,生成N个样本,截取M个多通道的样本,M为大于零的正整数,并对生成的样本标记为第一标识,多通道的样本标记为第二标识,基于预设的损失函数,对所述判别器进行优化计算,重复优化生成器与判别器直到满足结束条件,以获得所述预先训练完成的生成器。

全文数据:染色图片处理方法及装置技术领域[0001]本发明涉及染色图片处理技术领域,具体而言,涉及一种染色图片处理方法及装置。背景技术[0002]目前染色图片处理方法包括解光学方程和颜色反卷积方法。解光学方程:根据输入光的波段得到多组观察结果后根据输入光的波段和观测结果列出方程,解出各通道强度。缺点在于需要输入光的不同部分波长相差较大,对于光波段区域精度受限如可见光)的情况下难以解出正确结果。颜色反卷积:得到所有染色的典型颜色后假设所有像素都是这些颜色的线性或乘法叠加,对于每个点在线性或对数空间进行线性拟合解出线性叠加的权重。缺点在于这种模型假设反射光较弱,投射光较强。但实际染色中(如免疫组织化学染色染色较深的染料会覆盖染色较浅的染料如抗体染色覆盖苏木精染色),且不透明度非常高,反射光信号远大于透射光信号,导致被遮盖的信号无法被还原。发明内容[0003]本发明的目的在于提供一种染色图片处理方法及装置,以改善上述问题。为了实现上述目的,本发明采取的技术方案如下:[0004]第一方面,本发明实施例提供了一种染色图片处理方法,应用于一电子设备,所述方法包括:获取待拆分染色图片;将所述待拆分染色图片输入到预先训练完成的生成器中,输出多通道图片。[0005]第二方面,本发明实施例提供了一种染色图片处理装置,运行于一电子设备,所述装置包括:染色图片获取单元和输出单元。染色图片获取单元,用于获取待拆分染色图片。输出单元,用于将所述待拆分染色图片输入到预先训练完成的生成器中,输出多通道图片。[0006]本发明实施例提供了一种染色图片处理方法及装置,应用于一电子设备,所述方法包括:获取待拆分染色图片;将所述待拆分染色图片输入到预先训练完成的生成器中,输出多通道图片。此方法相较于已有方法更有效。[0007]本发明的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。附图说明[0008]为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。[0009]图1为一种可应用于本发明实施例中的电子设备的结构框图;[0010]图2为本发明实施例提供的染色图片处理方法的流程图;[0011]图3为本发明实施例提供的染色图片处理方法中染色图片示意图;[0012]图4为本发明实施例提供的染色图片处理方法中输出结果示意图;[0013]图5为本发明实施例提供的染色图片处理方法中CD3明场扫描图片示意图;[0014]图6为本发明实施例提供的染色图片处理方法中多通道荧光染色中DAPI通道图片示意图;[0015]图7为本发明实施例提供的染色图片处理方法中CD3通道图片示意图;[0016]图8为本发明实施例提供的染色图片处理装置的结构框图。具体实施方式[0017]为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。[0018]应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。[0019]图1示出了一种可应用于本发明实施例中的电子设备100的结构框图。如图1所示,电子设备100可以包括存储器102、存储控制器104、一个或多个(图1中仅示出一个)处理器106、外设接口108、输入输出模块110、音频模块112、显示模块114、射频模块116和染色图片处理装置。[0020]存储器1〇2、存储控制器104、处理器106、外设接口108、输入输出模块110、音频模块II2、显示模块114、射频模块lie各元件之间直接或间接地电连接,以实现数据的传输或交互。例如,这些元件之间可以通过一条或多条通讯总线或信号总线实现电连接。染色图片处理方法分别包括至少一个可以以软件或固件firmware的形式存储于存储器102中的软件功能模块,例如所述染色图片处理装置包括的软件功能模块或计算机程序。[0021]存储器102可以存储各种软件程序以及模块,如本申请实施例提供的染色图片处理方法及装置对应的程序指令模块。处理器106通过运行存储在存储器102中的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现本申请实施例中的染色图片处理方法。[0022]存储器102可以包括但不限于随机存取存储器RandomAccessMemory,RAM,只读存储器(ReadOnlyMemory,R0M,可编程只读存储器(ProgrammableRead-OnlyMemory,PR0M,可擦除只读存储器(ErasableProgrammableRead-OnlyMemory,EPR0M,电可擦除只读存储器ElectricErasableProgrammableRead-OnlyMemory,EEPR0M等。[0023]处理器106可以是一种集成电路芯片,具有信号处理能力。上述处理器可以是通用处理器,包括中央处理器(CentralProcessingUnit,简称CPU、网络处理器(NetworkProcessor,简称NP等;还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。[0024]所述外设接口108将各种输入输出装置耦合至处理器1〇6以及存储器102。在一些实施例中,外设接口108、处理器1〇6以及存储控制器104可以在单个芯片中实现。在其他一些实例中,他们可以分别由独立的芯片实现。[0025]输入输出模块110用于提供给用户输入数据实现用户与电子设备100的交互。所述输入输出模块110可以是,但不限于,鼠标和键盘等。[0026]音频模块II2向用户提供音频接口,其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。[0027]显示模块114在电子设备100与用户之间提供一个交互界面例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中,所述显示模块114可以是液晶显示器或触控显示器。若为触控显示器,其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作,并将该感应到的触控操作交由处理器106进行计算和处理。[0028]射频模块lie用于接收以及发送电磁波,实现电磁波与电信号的相互转换,从而与通信网络或者其他设备进行通信。[0029]可以理解,图1所示的结构仅为示意,电子设备100还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。[0030]于本发明实施例中,电子设备100可以作为用户终端,或者作为服务器。用户终端可以为PCpersonalcomputer电脑、平板电脑、手机、笔记本电脑、智能电视、带有辅助显示设备的显微镜等终端设备。[0031]请参阅图2,本发明实施例提供了一种染色图片处理方法,应用于一电子设备,所述方法包括:步骤S200和步骤S210。[0032]步骤S200:获取待拆分染色图片。[0033]待拆分染色图片可以为第一标记物抗体染色图片,第一标记物可以为CD3,如图3所示的CD3抗体染色图片。[0034]步骤S210:将所述待拆分染色图片输入到预先训练完成的生成器中,输出多通道图片。[0035]如图4所示,对图3所示的染色图片进行拆分,输出了2个通道的图片,图4a为CD3通道,图4b为核染色通道。能够分离CD3抗体染色图像中的苏木精染色和抗体染色。[0036]在步骤S200之前,所述方法还可以包括:[0037]获取N个明场扫描图片,N为大于零的正整数;[0038]将获取到的初始生成器及判别器合并,以所述N个明场扫描图片为输入,基于预设的损失函数,对所述初始生成器的参数进行优化计算;[0039]基于优化计算后的生成器,生成N个样本,截取M个多通道的样本,M为大于零的正整数,并对生成的样本标记为第一标识,多通道的样本标记为第二标识,基于预设的损失函数,对所述判别器进行优化计算,重复优化生成器与判别器直到满足结束条件,以获得所述预先训练完成的生成器。[0040]在本实施例中,多通道的样本指通过暗场荧光染色,扫描后进行通道分离得到的样本。[0041]在本实施例中,所述预设的损失函数可以为,但不限于为交叉熵。结束条件可以为最大迭代次数。此外,若到达最大迭代次数,算法性能不再提升等且没有出现生成器输入输出对比度反转、损失函数无法计算等问题。出现此类问题时可采取重新初始化网络参数,或是读取较早迭代的参数。[0042]在本实施例中,N=512,第一标识为〇。第二标识为1。预设迭代次数为40。如图5所示的CD3明场扫描图片(16个不同视野)。[0043]为了进一步获取更好的效果,在获取N个明场扫描图片之前,所述方法还包括:[0044]将预先获取到的第一标记物与第二标记物通道图片使用光学模型进行叠加,获得叠加后的数据;[0045]基于叠加后的数据训练生成器,获得初始生成器;[0046]基于所述初始生成器与预先获取到的真实样本,训练判别器,生成器输出样本标记为第一标识,真实样本标记为第二标识。[0047]在本实施例中,第一标记物为可以为,但不限于为CD3,第二标记物可以为,但不限于为DAPI。如图6、图7所示,图6所示的多通道荧光染色中DAPI通道图片。图7所示的CD3通道图片。[0048]在本实施例中,所述生成器为5层的全卷积网络,所述5层的全卷积网络可以为,但不限于为:输入大小为64*64,;^1丨61'个数分别为512、512、256、128、3,卷积大小均为3*3,padding模式设为same。[0049]进一步地,所述判别器为7层网络,所述7层网络可以为,但不限于为:前四层为卷积大小为4*4,filter个数分别为64、128、256、512的卷积层,后三层为节点数分别为1、128、2的全连接层,倒数2、3层使用batchnormalization作为规则项,ReLU作为激活函数,最后一层使用SoftMax函数作为激活函数。[0050]本发明实施例提供了一种染色图片处理方法,应用于一电子设备,所述方法包括:获取待拆分染色图片;将所述待拆分染色图片输入到预先训练完成的生成器中,输出多通道图片。较于已有方法更有效。[0051]请参阅图8,本发明实施例提供了一种染色图片处理装置400,运行于一电子设备,所述装置400包括染色图片获取单元410和输出单元42〇。[0052]染色图片获取单元410,用于获取待拆分染色图片。[0053]输出单元420,用于将所述待拆分染色图片输入到预先训练完成的生成器中,输出多通道图片。[0054]所述装置400还可以包括:迭代训练单元402。[0055]迭代训练单元402,用于获取N个明场扫描图片,N为大于零的正整数;将获取到的初始生成器及判别器合并,以所述N个明场扫描图片为输入,基于预设的损失函数,对所述初始生成器的参数进行优化计算;基于优化计算后的生成器,生成N个样本,截取M个多通道的样本,并对生成的样本标记为第一标识,多通道的样本标记为第二标识,基于预设的损失函数,对所述判别器进行优化计算,重复优化生成器与判别器直到满足结束条件,以获得所述预先训练完成的生成器。[0056]所述装置400还包括预训练单元401。[0057]预训练单元401,用于将预先获取到的第一标记物与第二标记物通道图片使用光学模型进行叠加,获得叠加后的数据;基于叠加后的数据训练生成器,获得初始生成器;基于所述初始生成器与预先获取到的真实样本,训练判别器,生成器输出样本标记为第一标识,真实样本标记为第二标识。[0058]所述生成器为5层的全卷积网络,所述5层的全卷积网络可以为,但不限于为:输入大小为6牡64,:£11丨61'个数分别为512、512、256、128、3,卷积大小均为3*3,?1^呢模式设为same。[0059]所述判别器为7层网络,所述7层网络可以为,但不限于为:前四层为卷积大小为4*4,filter个数分别为64、128、256、512的卷积层,后三层为节点数分别为1、128、2的全连接层,倒数2、3层使用batchnormalization作为规则项,ReLU作为激活函数,最后一层使用SoftMax函数作为激活函数。[0060]以上各单元可以是由软件代码实现,此时,上述的各单元可存储于存储器102内。以上各单元同样可以由硬件例如集成电路芯片实现。[0061]本发明实施例提供的染色图片处理装置400,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。[0062]在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和或流程图中的每个方框、以及框图和或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。[0063]另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。[0064]所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备可以是个人计算机,服务器,或者网络设备等执行本发明各个实施例所述方法的全部或部分步骤。而目U述的存储介质包括:U盘、移动硬盘、只读存储器R〇M,Read_OnlyMemory、随机存取存储器RAM,RandomAccessMemory、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。[0065]以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。[0066]以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

权利要求:1.一种染色图片处理方法,其特征在于,应用于一电子设备,所述方法包括:获取待拆分染色图片;将所述待拆分染色图片输入到预先训练完成的生成器中,输出多通道图片。2.根据权利要求1所述的方法,其特征在于,在获取待拆分染色图片之前,所述方法还包括:获取N个明场扫描图片,N为大于零的正整数;将获取到的初始生成器及判别器合并,以所述N个明场扫描图片为输入,基于预设的损失函数,对所述初始生成器的参数进行优化计算;基于优化计算后的生成器,生成N个样本,截取M个多通道的样本,M为大于零的正整数,并对生成的样本标记为第一标识,多通道的样本标记为第二标识,基于预设的损失函数,对所述判别器进行优化计算,重复优化生成器与判别器直到满足结束条件,以获得所述预先训练完成的生成器。3.根据权利要求2所述的方法,其特征在于,在获取N个明场扫描图片之前,所述方法还包括:将预先获取到的第一标记物与第二标记物通道图片使用光学模型进行叠加,获得叠加后的数据;基于叠加后的数据训练生成器,获得初始生成器;基于所述初始生成器与预先获取到的真实样本,训练判别器,生成器输出样本标记为第一标识,真实样本标记为第二标识。4.根据权利要求2所述的方法,其特征在于,所述生成器为5层的全卷积网络,所述5层的全卷积网络为:输入大小为64*64,filter个数分别为512、512、256、128、3,卷积大小均为3*3,padding模式设为same。5.根据权利要求2所述的方法,其特征在于,所述判别器为7层网络,所述7层网络为:前四层为卷积大小为4*4,filter个数分别为64、128、256、512的卷积层,后三层为节点数分别为1、128、2的全连接层,倒数2、3层使用batchnormalization作为规则项,ReLU作为激活函数,最后一层使用SoftMax函数作为激活函数。6.—种染色图片处理装置,其特征在于,运行于一电子设备,所述装置包括:染色图片获取单元,用于获取待拆分染色图片;输出单元,用于将所述待拆分染色图片输入到预先训练完成的生成器中,输出多通道图片。7.根据权利要求6所述的装置,其特征在于,所述装置还包括:迭代训练单元,用于获取N个明场扫描图片,N为大于零的正整数;将获取到的初始生成器及判别器合并,以所述N个明场扫描图片为输入,基于预设的损失函数,对所述初始生成器的参数进行优化计算;基于优化计算后的生成器,生成N个样本,截取M个多通道的样本,M为大于零的正整数,并对生成的样本标记为第一标识,多通道的样本标记为第二标识,基于预设的损失函数,对所述判别器进行优化计算,重复优化生成器与判别器直到满足结束条件,以获得所述预先训练完成的生成器。8.根据权利要求7所述的装置,其特征在于,所述装置还包括预训练单元,用于将预先获取到的第一标记物与第二标记物通道图片使用光学模型进行叠加,获得叠加后的数据;基于置加后的效据训练生成器,获得初始生成器;基于所述初始生成器与预先获取到的真实样本,训练判别器,生成器输出样本标记为第一标识,真实样本标记为第二标识。9.根据权利要求7所述的装置,其特征在于,所述生成器为5层的全卷积网络,所述5层的全卷积网络为:输入大小为64*64,;^1161'个数分别为512、512、256、128、3,卷积大小均为3*3,padding模式设为same。10.根据权利要求7所述的装置,其特征在于,所述判别器为7层网络,所述7层网络为:前四层为卷积大小为4*4,filter个数分别为64、128、256、512的卷积层,后三层为节点数分别为1、128、2的全连接层,倒数2、3层使用batchnormalization作为规则项,ReLU作为激活函数,最后一层使用SoftMax函数作为激活函数。

百度查询: 志诺维思(北京)基因科技有限公司 染色图片处理方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。