申请/专利权人：北京羽医甘蓝信息技术有限公司

申请日：2019-03-12

公开（公告）日：2022-05-20

公开（公告）号：CN109949319B

主分类号：G06T7/11

分类号：G06T7/11;G06T7/00;G06N3/04;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2022.05.20#授权;2019.07.23#实质审查的生效;2019.06.28#公开

摘要：本发明提供一种基于深度学习的全景片恒牙识别方法及装置。该方法包括：将原始全景片输入基于深度学习的牙槽骨线分割模型，以得到牙槽骨线分割结果；根据牙槽骨分割结果生成贴合矩形框，然后根据贴合矩形框生成扩展矩形框，然后根据扩展矩形框从原始全景片中剪裁出牙周区域图像块；将牙周区域图像块输入基于深度学习的恒牙分割模型，以得到恒牙分割结果；对恒牙分割结果中的各个恒牙进行牙号标注。

主权项：1.一种基于深度学习的全景片恒牙识别方法，其特征在于，包括：将原始全景片输入基于深度学习的牙槽骨线分割模型，以得到牙槽骨线分割结果；根据所述牙槽骨线分割结果生成贴合矩形框，然后根据所述贴合矩形框生成扩展矩形框，然后根据所述扩展矩形框从所述原始全景片中剪裁出牙周区域图像块；将所述牙周区域图像块输入基于深度学习的恒牙分割模型，以得到恒牙分割结果；对所述恒牙分割结果中的各个恒牙进行牙号标注；所述基于深度学习的牙槽骨线分割模型是通过如下方式得到的：1模型设计阶段：网络结构包含编码器部分和解码器部分，所述编码器部分采用Xception网络结构，所述解码器部分采用FPN多尺度融合结构，并且从所述编码器部分抽取五个不同深度的卷积层作为输入；2模型训练阶段：对牙槽骨线分割训练数据进行尺寸归一化、灰度归一化、数据增强化、数据平衡化处理，编码器部分的参数采用大型公开图像数据集ImageNet上预训练好的参数，解码器部分的参数采用随机初始化，采用梯度下降算法对模型进行迭代训练以取得网络最优解，根据在验证集上的Dice值来确定模型的最优参数；所述基于深度学习的恒牙分割模型是通过如下方式得到的：1模型设计阶段：网络结构包含编码器部分和解码器部分，所述编码器部分采用Xception网络结构，所述解码器部分采用FPN多尺度融合结构，并且从所述编码器部分抽取五个不同深度的卷积层作为输入，在解码器部分的上采样层加入scSE结构；2模型训练阶段：对恒牙分割训练数据进行尺寸归一化、灰度归一化、数据增强化、数据平衡化处理，编码器部分的参数采用大型公开图像数据集ImageNet上预训练好的参数，解码器部分的参数采用随机初始化，采用梯度下降算法对模型进行迭代训练以取得网络最优解，根据在验证集上的Dice值来确定模型的最优参数。

全文数据：基于深度学习的全景片恒牙识别的方法和装置技术领域本发明涉及计算机图像处理技术领域，特别地涉及一种基于深度学习的全景片恒牙识别的方法和装置。背景技术口腔全景片是进行口腔诊断的主要依据，其可以清晰、完整的显示上颌骨全貌、下颌骨全貌、上下颌牙列情况、牙槽骨情况、上颌窦腔、窦壁、窦底情况以及颞颌关节情况，并对颌骨周围疾病的诊断提供准确有效的帮助。恒牙牙齿的分割以及牙位标号的识别对后续的牙齿健康状况评估和疾病的诊断是必不可少的。图1展示了标准的牙位编号。在缺牙特别是缺牙时间较长的情况下，人工识别牙位存在一定难度。更何况我国医疗资源较稀缺，资深医学专家数量不足，倘若完全依靠人工作业会让作业人用眼疲劳，进一步降低判断结果的准确可信程度。在这种形势下，研发自动化处理全景片恒牙识别的方法和装置的需求变得迫切。发明内容有鉴于此，本发明提供一种基于深度学习的全景片恒牙识别方法及装置，以克服现有技术中的上述缺点。本发明实施例的基于深度学习的全景片恒牙识别方法，包括：将原始全景片输入基于深度学习的牙槽骨线分割模型，以得到牙槽骨线分割结果；根据所述牙槽骨分割结果生成贴合矩形框，然后根据所述贴合矩形框生成扩展矩形框，然后根据所述扩展矩形框从所述原始全景片中剪裁出牙周区域图像块；将所述牙周区域图像块输入基于深度学习的恒牙分割模型，以得到恒牙分割结果；对所述恒牙分割结果中的各个恒牙进行牙号标注。可选地，所述基于深度学习的牙槽骨线分割模型是通过如下方式得到的：1模型设计阶段：网络结构包含编码器部分和解码器部分，所述编码器部分采用Xception网络结构，所述解码器部分采用FPN多尺度融合结构，并且从所述编码器部分抽取五个不同深度的卷积层作为输入；2模型训练阶段：对牙槽骨线分割训练数据进行尺寸归一化、灰度归一化、数据增强化、数据平衡化处理，编码器部分的参数采用大型公开图像数据集ImageNet上预训练好的参数，解码器部分的参数采用随机初始化，采用梯度下降算法对模型进行迭代训练以取得网络最优解，根据在验证集上的Dice值来确定模型的最优参数。可选地，所述根据所述贴合矩形框生成扩展矩形框的步骤包括：所述贴合矩形框的左边界向左移动预设距离，以得到所述扩展矩形框的左边界；所述贴合矩形框的右边界向右移动所述预设距离，以得到所述扩展矩形框的右边界；所述贴合矩形框的上边界向上移动0.5倍贴合矩形框高度值，以得到所述扩展矩形框的上边界；所述贴合矩形框的下边界向上移动0.8倍贴合矩形框高度值，以得到所述扩展矩形框的下边界。可选地，所述基于深度学习的恒牙分割模型是通过如下方式得到的：1模型设计阶段：网络结构包含编码器部分和解码器部分，所述编码器部分采用Xception网络结构，所述解码器部分采用FPN多尺度融合结构，并且从所述编码器部分抽取五个不同深度的卷积层作为输入，在解码器部分的上采样层加入scSE结构；2模型训练阶段：对恒牙分割训练数据进行尺寸归一化、灰度归一化、数据增强化、数据平衡化处理，编码器部分的参数采用大型公开图像数据集ImageNet上预训练好的参数，解码器部分的参数采用随机初始化，采用梯度下降算法对模型进行迭代训练以取得网络最优解，根据在验证集上的Dice值来确定模型的最优参数。可选地，所述随机初始化的方法为：he_normal，lecun_uniform，glorot_normal，glorot_uniform或者lecun_normal。可选地，所述梯度下降算法的方法为：Adam，SGD，MSprop或者Adadelta。可选地，在所述根据所述恒牙分割结果对各个恒牙进行牙号标注的步骤之前，还包括：对所述恒牙分割结果进行形态学开运算处理。本发明实施例的基于深度学习的全景片恒牙识别装置，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明的任一所述的方法。根据本发明的技术方案，基于人工智能技术，利用深度学习算法实现了32颗恒牙的32类分割和识别，每一类对应一个牙号，能够自动化地完成以往的人工作业，具有客观、快速、重复性好等优点。附图说明附图用于更好地理解本发明，不构成对本发明的不当限定。其中：图1是标准牙位编号的示意图；图2是本发明实施例的基于深度学习的全景片恒牙识别的方法的流程示意图；图3是本发明实施例的根据牙槽骨分割结果生成贴合矩形框和扩展矩形框的示意图；图4是本发明实施例的恒牙分割结果的示意图。具体实施方式图1为本发明实施例的基于深度学习的全景片恒牙识别方法的流程示意图，包括如下的步骤A至步骤D。步骤A：将原始全景片输入基于深度学习的牙槽骨线分割模型，以得到牙槽骨线分割结果。可选地，步骤A中的基于深度学习的牙槽骨线分割模型是通过如下方式得到的：1模型设计阶段：网络结构包含编码器部分和解码器部分，编码器部分采用Xception网络结构，解码器部分采用FPN多尺度融合结构，并且从编码器部分抽取五个不同深度的卷积层作为输入；2模型训练阶段：对牙槽骨线分割训练数据进行尺寸归一化、灰度归一化、数据增强化、数据平衡化处理，编码器部分的参数采用大型公开图像数据集ImageNet上预训练好的参数，解码器部分的参数采用随机初始化，采用梯度下降算法对模型进行迭代训练以取得网络最优解，根据在验证集上的Dice值来确定模型的最优参数。步骤B：根据牙槽骨分割结果生成贴合矩形框，然后根据贴合矩形框生成扩展矩形框，然后根据扩展矩形框从原始全景片中剪裁出牙周区域图像块。需要说明的是，后续训练深度模型和应用深度模型，均是基于牙周区域图像块。这样比起完整全景片更有效地集中了信息，比起牙槽骨内范围更全面地采集了信息，因此更科学合理。可选地，步骤B中的“根据贴合矩形框生成扩展矩形框”的步骤具体包括：贴合矩形框的左边界向左移动预设距离，以得到扩展矩形框的左边界；贴合矩形框的右边界向右移动预设距离，以得到扩展矩形框的右边界；贴合矩形框的上边界向上移动0.5倍贴合矩形框高度值，以得到扩展矩形框的上边界；贴合矩形框的下边界向上移动0.8倍贴合矩形框高度值，以得到扩展矩形框的下边界。步骤C：将牙周区域图像块输入基于深度学习的恒牙分割模型，以得到恒牙分割结果。可选地，步骤C中的基于深度学习的恒牙分割模型是通过如下方式得到的：1模型设计阶段：网络结构包含编码器部分和解码器部分，编码器部分采用Xception网络结构，解码器部分采用FPN多尺度融合结构，并且从编码器部分抽取五个不同深度的卷积层作为输入，在解码器部分的上采样层加入scSE结构；2模型训练阶段：对恒牙分割训练数据进行尺寸归一化、灰度归一化、数据增强化、数据平衡化处理，编码器部分的参数采用大型公开图像数据集ImageNet上预训练好的参数，解码器部分的参数采用随机初始化，采用梯度下降算法对模型进行迭代训练以取得网络最优解，根据在验证集上的Dice值来确定模型的最优参数。步骤D：对恒牙分割结果中的各个恒牙进行牙号标注。需要说明的是，恒牙分割模型本质上是32类分割，训练完成的模型在预测时会产生32张分割结果图，对应32颗恒牙的分割结果。因此可以快速地将32张分割结果与牙号对应起来。最后这32张分割结果作为32个图层叠在一起，输出整张恒牙识别结果图像。需要说明的是，上文中训练模型阶段中的随机初始化的方法可以为：he_normal，lecun_uniform，glorot_normal，glorot_uniform或者lecun_normal，最优选he_normal。上文中训练模型阶段中的梯度下降算法的方法可以为：Adam，SGD，MSprop或者Adadelta，最优选Adam。可选地，在步骤D之前，还包括：对恒牙分割结果进行形态学开运算处理。经过先膨胀后收缩的形态学开运算处理，能够有效地去除假阳性分割结果。本发明实施例的基于深度学习的全景片恒牙识别装置，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的任一所述的方法。为使本领域技术人员更好地理解，下面结合具体实施例阐述本发明实施例的基于深度学习的全景片恒牙识别方法。一基于深度学习的牙槽骨线分割：设计牙槽骨线分割网络模型结构包含Encoder和Decoder两部分。Encoder部分使用Xception网络结构，Decoder部分使用FPN多尺度融合结构，从Encoder部分抽取不同深度的5个卷积层做为输入；记该模型为PanoNet-S1。对牙槽骨线分割训练数据进行尺长归一化和灰度归一化。具体地，首先对原始全景片图像的尺度1200×2700左右进行下采样，采样至448×896；然后对采样后的图像灰度值进行归一化处理，公式如下其中，x表示原始灰度值，y表示归一化后的灰度值：然后进行训练数据增强：通过对图像旋转-10度至10度和左右镜像方式，对原始数据集中的图像数据进行增加样本处理，以满足深度网络对数据量的需求。接着进行模型训练，将牙槽骨线分割训练数据包括原有的和增强的输入模型PanoNet-S1进行训练，PanoNet-S1的Encoder部分的参数使用在大型公开图像数据集ImageNet上预训练好的参数，Decoder部分的参数采用随机初始化。采用梯度下降算法Adam对模型进行迭代训练，经过不断迭代，取得网络最优解。根据在验证集上的Dice值来确定模型的最优参数。将测试全景片输入训练好的PanoNet-S1，得到牙槽骨线分割结果mask1。二提取牙周区域图像块如图3所示，为牙槽骨线分割结果mask1生成一个贴合矩形框rect，再经过延展得到扩展矩形框rect’，延展公式如下：w′＝w+2*swh′＝h+sh1+sh2sh1＝0.5*hsh2＝0.8*h其中，sw可以取值为250。根据得到的扩展矩形框rect’从原图上裁剪出牙周区域图像块patch1。三获取恒牙分割结果设计恒牙分割网络模型结构包含Encoder和Decoder两部分。Encoder部分使用Xception网络结构，Decoder部分使用FPN多尺度融合结构，从Encoder部分抽取不同深度的5个卷积层做为输入，并且在Decoder部分的上采样层加入scSE结构；记该模型为PanoNet-S2。对恒牙分割训练数据进行尺长归一化和灰度归一化。具体地，首先对原始全景片图像的采样至512×1024；然后对采样后的图像灰度值进行归一化处理具体方法同上文。然后进行训练数据增强：通过对图像旋转-10度至10度和左右镜像方式，对原始数据集中的图像数据进行增加样本处理，以满足深度网络对数据量的需求。接着进行模型训练，将恒牙分割训练数据包括原有的和增强的输入模型PanoNet-S2进行训练，PanoNet-S2的Encoder部分的参数使用在大型公开图像数据集ImageNet上预训练好的参数，Decoder部分的参数采用he_normal随机初始化。采用梯度下降算法Adam对模型进行迭代训练，经过不断迭代，取得网络最优解。根据在验证集上的Dice值来确定模型的最优参数。将牙周区域图像块patch1输入训练好的恒牙分割模型PanoNet-S2，得到恒牙分割结果mask2。优选地，对恒牙分割结果mask2进行形态学开运算处理，其主要目的是平滑牙齿分割结果的轮廓，同时去除一些分割出来的小的阴性非牙结构。四恒牙编号最后对恒牙分割结果mask2中的各个恒牙进行牙号标注，如图4所示。根据本发明的技术方案，基于人工智能技术，利用深度学习算法实现了32颗恒牙的32类分割和识别，能够自动化地完成以往的人工作业，具有客观、快速、重复性好等优点。上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

权利要求：1.一种基于深度学习的全景片恒牙识别方法，其特征在于，包括：将原始全景片输入基于深度学习的牙槽骨线分割模型，以得到牙槽骨线分割结果；根据所述牙槽骨分割结果生成贴合矩形框，然后根据所述贴合矩形框生成扩展矩形框，然后根据所述扩展矩形框从所述原始全景片中剪裁出牙周区域图像块；将所述牙周区域图像块输入基于深度学习的恒牙分割模型，以得到恒牙分割结果；对所述恒牙分割结果中的各个恒牙进行牙号标注。2.根据权利要求1所述的方法，其特征在于，所述基于深度学习的牙槽骨线分割模型是通过如下方式得到的：1模型设计阶段：网络结构包含编码器部分和解码器部分，所述编码器部分采用Xception网络结构，所述解码器部分采用FPN多尺度融合结构，并且从所述编码器部分抽取五个不同深度的卷积层作为输入；2模型训练阶段：对牙槽骨线分割训练数据进行尺寸归一化、灰度归一化、数据增强化、数据平衡化处理，编码器部分的参数采用大型公开图像数据集ImageNet上预训练好的参数，解码器部分的参数采用随机初始化，采用梯度下降算法对模型进行迭代训练以取得网络最优解，根据在验证集上的Dice值来确定模型的最优参数。3.根据权利要求1所述的方法，其特征在于，所述根据所述贴合矩形框生成扩展矩形框的步骤包括：所述贴合矩形框的左边界向左移动预设距离，以得到所述扩展矩形框的左边界；所述贴合矩形框的右边界向右移动所述预设距离，以得到所述扩展矩形框的右边界；所述贴合矩形框的上边界向上移动0.5倍贴合矩形框高度值，以得到所述扩展矩形框的上边界；所述贴合矩形框的下边界向上移动0.8倍贴合矩形框高度值，以得到所述扩展矩形框的下边界。4.根据权利要求1所述的方法，其特征在于，所述基于深度学习的恒牙分割模型是通过如下方式得到的：1模型设计阶段：网络结构包含编码器部分和解码器部分，所述编码器部分采用Xception网络结构，所述解码器部分采用FPN多尺度融合结构，并且从所述编码器部分抽取五个不同深度的卷积层作为输入，在解码器部分的上采样层加入scSE结构；2模型训练阶段：对恒牙分割训练数据进行尺寸归一化、灰度归一化、数据增强化、数据平衡化处理，编码器部分的参数采用大型公开图像数据集ImageNet上预训练好的参数，解码器部分的参数采用随机初始化，采用梯度下降算法对模型进行迭代训练以取得网络最优解，根据在验证集上的Dice值来确定模型的最优参数。5.根据权利要求2或4所述的方法，其特征在于，所述随机初始化的方法为：he_normal，lecun_uniform，glorot_normal，glorot_uniform或者lecun_normal。6.根据权利要求2或4所述的方法，其特征在于，所述梯度下降算法的方法为：Adam，SGD，MSprop或者Adadelta。7.根据权利要求1所述的方法，其特征在于，在所述根据所述恒牙分割结果对各个恒牙进行牙号标注的步骤之前，还包括：对所述恒牙分割结果进行形态学开运算处理。8.一种基于深度学习的全景片恒牙识别装置，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至7中任一所述的方法。

百度查询： 北京羽医甘蓝信息技术有限公司 基于深度学习的全景片恒牙识别的方法和装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD