申请/专利权人：东南大学

申请日：2020-09-07

公开（公告）日：2024-03-19

公开（公告）号：CN112132759B

主分类号：G06T5/70

分类号：G06T5/70;G06T5/77;G06T7/136

优先权：

专利状态码：有效-授权

法律状态：2024.03.19#授权;2021.01.12#实质审查的生效;2020.12.25#公开

摘要：本发明提供了一种基于端到端卷积神经网络的颅骨面貌复原方法，包括以下步骤：S1：对人体颅骨CT扫描图像进行数据预处理并制作数据集；S2：搭建卷积神经网络；S3：使用训练样本训练步骤S2中搭建好的卷积神经网络，每训练五轮，便用模型对检测样本进行检测，评判生成的预测面型；S4：选取步骤S4中效果最好的一轮作为最终结果。本发明采用神经网络的方法自动提取颅骨的特征，根据颅骨本身的特性预测面型，具有较高的灵活性，流程少，耗时短，并提升了预测准确率。本发明利用深度卷积编解码器，学习头骨和面貌之间的相互关系及特征，根据颅骨信息还原面型，充分考虑了面部点的空间特性，弥补了稀疏特征点带来的误差。

主权项：1.一种基于端到端卷积神经网络的颅骨面貌复原方法，其特征在于，包括如下步骤：S1：对人体颅骨CT扫描图进行数据处理，制作数据集，并划分训练集和测试集；具体包括如下子步骤：S1.1：读取颅骨CT扫描图，采用基于先验值和UM的局部自适应迭代阈值分割对颅骨进行分割，自适应设置阈值，得到精确的颅骨数据；包括如下子步骤：S1.1.1：读取颅骨CT扫描图，手动去除空气杂质；S1.1.2：采用3*3大小的窗口进行均值滤波去噪；S1.1.3：对S1.1.2去噪后的数据，根据sobel算子得出高频部分，高频部分乘上倍数1加到原数据；S1.1.4：对S1.1.3增强后的数据设置15*15滑动窗口，根据迭代阈值算法求出阈值，即求出当前窗口内最大灰度值tmax和最小灰度值tmin，然后根据阈值将图像分为目标与背景，再分别求出目标与背景的平均灰度t1,t2，根据t1,t2求得阈值若Tk+1＝Tk，则Tk为迭代阈值算法所求最优阈值T，比较最优阈值T与颅骨先验值，选取较大者最为当前窗口阈值进行分割；S1.1.5：对S1.1.4得到的数据进行裁剪，得到前半部分颅骨的点云数据；首先建立坐标系，以图像中心点为原点O，箭头指向右的水平中轴线为y轴，垂直与y轴向上的轴为x，垂直于x,y轴，层数增加方向为z轴；以y轴为准线进行裁剪，保留x上半轴图像；遍历像素值非零像素P，计算OP连线与y轴形成的角度，将角度除以180，乘上360从而将角度映射到0°～360°,并进行向下取整处理，相同角度只保留连线最长的点，最终得到前半部分颅骨的点云数据；S1.1.6：对S1.1.5得到得点云数据进行柱体投影；以z轴为投影轴，从下到上依次扫描每层数据点，当前层数z0作为投影后的第二维坐标值；对于当前层，扫描每个数据点，每个数据点的角度作为投影后的第一维坐标值，该点与投影轴的距离作为投影后对应坐标上的像素值,即最终得到512*360大小的二维颅骨图像；S1.2：读取颅骨CT扫描图，采用局部阈值分割方法，得到面型数据；包括如下子步骤：S1.2.1：对于CT扫描图的每一层，使用反锐化掩膜算法对图像进行边缘增强；S1.2.2：使用一个滑动窗口对图像进行阈值分割处理；窗口大小为7*7，首先对滑动窗口内的所有CT值进行升序排序，然后选择排在第7*7*0.8个的CT值和先验阈值500进行比较，取较大值作为最终的阈值进行分割；小于阈值的像素值置为零，反之保存原值；S1.2.3：对S1.2.2得到的图像建立坐标轴，以图像中心点为原点O，箭头指向右的水平中轴线为y轴，垂直与y轴向上的轴为x；以y轴为准线进行裁剪，保留x上半轴图像；遍历像素值非零像素P，计算OP连线与y轴形成的角度，将角度除以180，乘上360从而将角度映射到0°～360°,并进行向下取整处理，相同角度只保留连线最长的点，最终得到前半部分脸的点云数据，其中x,y轴不变，垂直于x,y轴的向上的轴为z；S1.2.4：对S1.2.3得到的点云数据进行柱体投影,得到二维人脸高程图f；以z轴为投影轴，从下到上依次扫描每层数据点，当前层数z0作为投影后的y轴坐标值；对于当前层，扫描每个数据点，每个数据点的角度作为投影后的x轴坐标值，该点与投影轴的距离作为投影后对应坐标上的像素值,即相同角度选择距离最远的点，最终得到512*360大小的二维人脸高程图；S1.3：将颅骨高程图及其对应的人脸高程图按照预设比例划分训练集，测试集；S2：根据训练样本的样本特征搭建卷积神经网络Gx；网络Gx包括特征编码模块和特征解码模块，其具体工作流程如下：首先输入512*360*1的二维颅骨高程图，经过一层卷积层后得到256*180*64得特征图；Leaky_relu激活后依次经过下采样块1、2、3、4、5分别得到128*90*128、64*45*256，32*23*512，16*12*512，8*6*512的特征图，至此特征编码模块完成；然后特征解码模块，8*6*512的特征图经过上采样块1得到16*12*512的特征图，再与之前经过下采样块5得到的16*12*512的特征图在“通道”维度上连接得到16*12*1024的特征图，然后经过leak_relu激活；之后将此16*12*1024的特征图再经过上采样块2得到32*23*512的特征图，将该特征图与之前经过下采样4得到的32*23*512的特征图在“通道”维度上连接得到32*23*1024的特征图；激活后将此32*23*1024的特征图再经过上采样块3得到64*45*256的特征图，将该特征图与之前经过下采样3得到的64*45*256的特征图在“通道”维度上连接得到64*45*512的特征图；激活后将此64*45*512的特征图再经过上采样块4得到128*90*128的特征图，将该特征图与之前经过下采样2得到的128*90*128的特征图在“通道”维度上连接得到128*90*256的特征图；激活后将此128*90*256的特征图再经过上采样块5得到256*180*64的特征图，将该特征图与之前经过下采样1得到的256*180*64的特征图在“通道”维度上连接得到256*180*128的特征图；然后256*180*128的特征图经过线性插值得到512*360*128的特征图，再经过一层卷积层得到512*360*1的特征图，经tanh激活，至此人脸高程图生成；S3：使用训练样本训练步骤S2中搭建好的卷积神经网络，每训练五轮，便用模型对测试样本进行测试，评判生成的预测面型；S4：选取步骤S3中效果最好一轮对应的模型作为最终结果。

全文数据：

权利要求：

百度查询： 东南大学 一种基于端到端卷积神经网络的颅骨面貌复原方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD