申请/专利权人：大连理工大学

申请日：2021-11-02

公开（公告）日：2024-04-16

公开（公告）号：CN113902761B

主分类号：G06T7/11

分类号：G06T7/11;G06N5/022

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2022.01.25#实质审查的生效;2022.01.07#公开

摘要：本发明公开一种基于知识蒸馏的肺部疾病病灶无监督分割方法，属于医学图像处理和计算机视觉领域。本发明首先通过构建和训练一个自编码器来获得具有丰富CT图像语义知识的预训练教师网络，然后从预训练教师网络中仅蒸馏正常CT图像的知识来训练一个与教师网络具有相同架构的学生网络，最终利用教师和学生网络对含病灶图像所提特征的差异进行病灶分割。同时，除传统的像素级蒸馏，该方法还设计了考虑像素间关系的亲和力级蒸馏，以便充分蒸馏有效知识。实验证明，本发明在不同数据集上均能有效提高病灶分割精度。本发明方法易于构建，仅依靠正常数据即可得到未标注的肺部疾病病灶分割结果，且泛化性和运行效率都较为可观。

主权项：1.基于知识蒸馏的肺部疾病病灶无监督分割方法，其特征在于，包括如下步骤：1收集初始数据：初始数据包括用来训练的正常三维CT图像和用来测试的含病灶的三维CT图像；2预处理：将步骤1得到的初始三维CT数据处理成只有肺内区域的二维CT数据，以便后续网络的训练和测试；3教师网络预训练：3-1构建一个用于重建正常CT图像的自编码器来学习正常CT图像的语义知识；自编码器包括编码器和解码器，通过堆叠一系列卷积层、批标准化、修正线性单元、最大池化、上采样和双曲正切激活函数来构建，并使解码器的输出和编码器的输入大小保持一致；3-2通过最小化均方误差损失函数来训练自编码器，经过训练的编码器部分是一个包含肺部语义信息的特征提取器，作为进行知识蒸馏的教师网络，此时教师网络学习到正常CT图像的语义知识，后续将有效知识一次传给学生网络；4像素级和亲和力级知识蒸馏：4-1将步骤2获得的一正常的二维CT图像，同时送入步骤3-2预训练好的教师网络和随机初始化的学生网络中，以便后续通过知识蒸馏的方式来训练学生网络；4-2通过最小化像素级蒸馏损失函数和亲和力级蒸馏损失函数来进行知识蒸馏，像素级蒸馏损失函数保证学生网络与教师网络所提取特征在每个像素点上越来越相似，亲和力级损失函数保证学生网络与教师网络所提特征在每个像素点和所有像素点的关系上越来越相似，优化方法为随机梯度下降，同时把不同级别的特征对齐，学生网络在知识蒸馏中不断接受到来自教师网络的丰富正常图像语义信息，最终学习到正常图像的分布，得到训练好的学生网络；5异常分割：将步骤2获得的含病灶的二维CT图像，同时送入步骤3-3预训练好的教师网络和步骤4-2训练好的学生网络中，由于学生网络只学习到正常图像的知识，那么利用教师网络与学生网络提取的特征在病灶位置的差异可以得到病灶定位图，阈值二值化后可得分割结果；所述的步骤3-2中，均方误差损失函数如下： 式中，XN表示经过步骤2得到的正常二维CT图像的训练数据集，xn表示输入的一张正常二维CT图像，表示xn经过自编码器得到的重建图像，||·||2表示二范数；所述的步骤4-2中，像素级蒸馏损失函数如下：设有一张正常二维CT图像xn∈XN，和分别代表教师网络和学生网络在不同级别的特征图，wl和hl代表特征图的宽和高；表示图像xn经过网络得到的第l级特征图的像素级蒸馏损失函数，如下： 式中，i,j表示特征图的一个具体像素点，||·||2表示二范数；总像素级蒸馏损失是通过求和训练数据集XN中所有图像在所有不同级特征图的像素级蒸馏损失来定义的，即： 亲和力级蒸馏损失函数如下：通过计算像素之间的成对相似度把非局部知识转移到了亲和力级；假设特征维度fl是wl×hl×c，函数将fl变成维度为wlhl×c的亲和力矩阵A由下式给出： 式中，σ·代表sigmoid操作，代表矩阵乘法，T代表转置操作；总亲和力级蒸馏损失是通过求和训练数据集XN中所有图像在所有不同级特征图的亲和力级蒸馏损失来定义的，即： 式中，||·||1表示一范数；总损失函数如下： 式中，α是一个用于调整损失权重的超参数；只作用于学生网络的训练，教师网络在训练学生网络期间是固定的。

全文数据：

权利要求：

百度查询： 大连理工大学 基于知识蒸馏的肺部疾病病灶无监督分割方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD