申请/专利权人：天津中科智能识别产业技术研究院有限公司

申请日：2021-07-29

公开（公告）日：2024-04-05

公开（公告）号：CN113706469B

主分类号：G06T7/00

分类号：G06T7/00;G06T5/90;G06V10/774;G06V10/82;G06N3/0464;G06N3/08;G06T7/11;G06T5/60

优先权：

专利状态码：有效-授权

法律状态：2024.04.05#授权;2021.12.14#实质审查的生效;2021.11.26#公开

摘要：本发明公开了一种基于多模型投票机制的虹膜自动分割方法及系统，方法包括以下步骤：获取数据集进行预处理操作，以得到预处理数据集，将得到的预处理数据集输入训练好的第一个目标检测的卷积神经网络中，以得到每幅人眼虹膜图像中虹膜内外圆的矩形框；通过得到的矩形框拟合获取虹膜外圆的边界轮廓和内圆的边界掩膜，并根据该矩形框将虹膜整体裁剪下来，然后将裁剪下来的虹膜图像放大送入训练好的另外两个分割的深度卷积神经网络中，分别得到虹膜内圆的掩膜；最后通过两个分割模型的掩膜和目标检测模型得到的内圆边界掩膜进行投票得到最终的虹膜内圆结果。有利于虹膜区域内外边界的拟合与定位，为后续的虹膜归一化提供准确的输入参数。

主权项：1.一种基于多模型投票机制的虹膜自动分割方法，其特征在于，包括以下步骤：步骤一：获取虹膜图像数据集并进行预处理操作，以得到预处理数据集；步骤二：将步骤一得到的预处理数据集输入训练好的第一个目标检测的深度卷积神经网络中，以得到每幅人眼虹膜图像中虹膜内外圆区域的矩形框坐标、分类及置信度；步骤三：将步骤二得到的矩形框拟合得到虹膜内外圆区域的轮廓，并根据所述矩形框将人眼虹膜图像进行裁剪，得到裁剪后的虹膜图像和填充后的内圆边界掩膜图像；步骤四：将步骤三得到的裁剪后的虹膜图像输入到训练好的另外两个分割的深度卷积神经网络中，由此得到两个虹膜内圆区域的分割掩膜；步骤五：将步骤四得到的两个虹膜内圆区域的分割掩膜和步骤三得到的内圆边界掩膜图像进行投票，得到最终的虹膜内圆的轮廓；第一个目标检测的深度卷积神经网络，包括顺次连接的骨干网CSPDarkNet53和特征金字塔以及路径聚合网络，其网络结构如下：第一层是输入层，其输入为800*800*3像素的矩阵；第二层是切片层，其将输入矩阵进行切片操作后变成400*400*12的特征图，再经过一个卷积核为3*3*64，步长为1且使用SAME模式填充的卷积层后得到的输出为400*400*64；之后是特征抽取层，其采用的是公开的特征抽取的骨干网络CSPDarkNet53，CSPDarkNet53是YOLO中DarkNet53网络将其中的残差替换成了跨级分路模块，在该网络中取特征抽取网络CSPDarkNet53中的conv3.x层、conv4.x层和conv5.x层的输出矩阵作为提取的特征C3、C4、C5，其大小分别是100*100*256、50*50*512、25*25*512；上采样的特征金字塔网络对骨干网CSPDarkNet53输出的特征C3、C4、C5进行特征融合，上采样的特征金字塔网络的网络结构如下：第一层是在特征C5输出上的卷积层，其卷积核尺寸为1*1*512，步长为1，第一层使用SAME模式填充，输出矩阵为25*25*512，记为P5；第二层是上采样层，其上采样尺寸为2，该层使用SAME模式填充，输出矩阵为50*50*512，记为P5_upsample；第三层是增加层，其将输出矩阵P5_upsample和输出矩阵C4通过通道数相加，输出矩阵大小为50*50*1024；第四层是和骨干网中一样的模块，由三个跨级分路模块组成，其输出矩阵经过一个卷积核尺寸为1*1*256，步长为1的卷积层后，输出矩阵为50*50*256，记为P4；第五层是上采样层，其上采样尺寸为2，该层使用SAME模式填充，输出矩阵为100*100*256，记为P4_upsample；第五层是增加层，其将输出矩阵P4_upsample和输出矩阵C3通过通道数相加，输出矩阵大小为100*100*512；第六层是同样由三个跨级分路模块组成，其输出矩阵大小为100*100*256，记为P3；路径聚合网络是在特征金字塔的基础上建立一个从下往上的增强路径，路径聚合网络的网络结构如下：第一层是卷积层，其卷积核尺寸为3*3*256，步长为2，该层使用SAME模式填充，其输出矩阵上采样之后的大小为50*50*256；第二层是相加层，其将P4和上一层按通道数相加，输出矩阵大小为50*50*512，记为O2；第三层同样是三个跨级分路模块组成，其输出矩阵大小为50*50*512；第四层是卷积层，其卷积核尺寸为3*3*512，步长为2，该层使用SAME模式填充，其输出矩阵上采样之后的大小为25*25*512；第五层是相加层，其将P5和上一层按通道数相加，输出矩阵大小为25*25*1024，记为O3；第六层同样是三个跨级分路模块组成，其输出矩阵大小为25*25*1024；最后的输出层是包括了一个卷积核为1*1，步长为1的卷积层，针对P3，O2，O3的256，512，1024三个不同尺寸的通道数的得到的输出；除最后一层输出层的卷积层未使用激活函数以外，所有的卷积层都是采用的Hardswish激活函数；其中一个分割的深度卷积神经网络为编码-解码分割网络，其网络结构如下：第一层是输入层，其输入为512*512*3像素的矩阵；第二层是堆叠的两个卷积层，卷积层的尺寸均为3*3*64和3*3*64，步长均为1，均使用SAME模式填充，其最后输出矩阵的大小为512*512*64，记为U1；其后四层均由一个最大池化层与两个卷积层堆叠而成，卷积核大小均为3*3，步长为1，均使用SAME模式填充，最后输出的矩阵大小分别为256*256*128，128*128*256，64*64*512，32*32*512，分别记为U2,U3,U4,U5；第七层是由一个上采样层与两个卷积层堆叠而成，卷积核大小均为3*3，步长为1，均使用SAME模式填充，上一层的输出U5先通过上采样层，将其特征图大小扩充至64*64*512，与U4通过通道拼接然后经过第七层包含的两个卷积层后最终的输出大小为64*64*256；第八层与第七层一样，由一个上采样层与两个卷积层堆叠而成，第七层的输出矩阵经过上采样层获得的矩阵大小为128*128*256，然后通过与U3通过通道进行拼接后进入两个卷积层之后得到的最终输出大小为128*128*128；第九层与第八层一样，由一个上采样层与两个卷积层堆叠而成，第八层的输出矩阵经过上采样层获得的矩阵大小为256*256*128，然后通过与U2通过通道进行拼接后进入两个卷积层之后得到的最终输出大小为256*256*64；第十层与第九层一样，由一个上采样层与两个卷积层堆叠而成，第九层的输出矩阵经过上采样层获得的矩阵大小为512*512*64，然后通过与U1通过通道进行拼接后进入两个卷积层之后得到的最终输出大小为512*512*64；最后一层仅一个卷积层，该卷积层卷积核尺寸为1*1*1，步长为1，最终得到的输出为512*512*1；除最后一层输出层的卷积层未使用激活函数以外，所有的卷积层都是采用的ReLU激活函数；其中一个分割的深度卷积神经网络为基于联合金字塔上采样的快速全卷积分割网络，其网络结构如下：第一层是输入层，其输入为512*512*3像素的矩阵；之后是特征抽取层，其采用的是预训练的特征抽取的骨干网络VGG16，在该网络中取conv3.x层、conv4.x层和conv5.x层的输出矩阵作为提取的特征V3、V4、V5，其大小分别是64*64*256、32*32*512、16*16*512；接下来是联合金字塔上采样层，其将VGG16的三层输出层均上采样到64*64*512的大小，然后通过通道拼接，最终获得的矩阵大小为64*64*1536；拼接后紧接两层卷积层，其卷积核尺寸分别为3*3*256和1*1*1，步长均为1，均使用SAME模式填充，其最后输出矩阵的大小为64*64*1；最后是双线性插值，其将网络的输出大小64*64*1双线性插值到512*512*1。

全文数据：

权利要求：

百度查询： 天津中科智能识别产业技术研究院有限公司 一种基于多模型投票机制的虹膜自动分割方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD