申请/专利权人：长春工业大学

申请日：2020-12-11

公开（公告）日：2024-03-15

公开（公告）号：CN112419306B

主分类号：G06T7/00

分类号：G06T7/00

优先权：

专利状态码：有效-授权

法律状态：2024.03.15#授权;2021.03.16#实质审查的生效;2021.02.26#公开

摘要：本发明涉及一种基于NAS‑FPN的肺结节检测方法，特别是一种深度学习中神经网络架构自动搜索技术（NeuralArchitectureSearch，NAS）和一种特征提取金字塔网络（FeaturePyramidNetwork，FPN）的结合，不同于现在手动设计肺结节检测网络的检测方式，该方法通过一种可以自动搜索扩展的特征金字塔结构（NAS‑FPN），用自主学习、自动搜索的方式自动学习出一种肺结节检测网络完成结节检测任务，可以用于更精准的肺CT影像的肺结节检测，并且有效的降低假阳性结节，为肺部计算机辅助诊断系统提供更加精准、可靠的结节图像。

主权项：1.一种基于NAS-FPN的肺结节检测方法，其特征在于，该方法是一种深度学习中神经网络架构自动搜索技术NAS和一种特征提取金字塔网络FPN的结合，不同于现在手动设计肺结节检测网络的检测方式，该方法通过一种自动搜索扩展的特征金字塔结构NAS-FPN，用自主学习、自动搜索的方式自动学习出一种肺结节检测网络完成结节检测任务；检测框架由三部分组成，特征提取部分即Resnet部分，NAS-FPN部分即Resnet部分层特征，及FCN部分即分类和回归，首先，先用自下而上Resnet50做特征提取，多个FPN组合构成NAS-FPN，构成自上而下横向连接，自底而上的路径是特征提取的卷积网络，自底而上空间分辨率递减，检测更多的高层结构，网络层语义相应增加，在重建层和相应的特征映射间增加横向连接；用NAS自动搜索FPN的NAS-FPN结节检测方法，使FPN网络能够的检测到图像的小结节并确定结节位置，通过强化学习控制器在给定的空间搜索出最优的模型框架，针对肺结节检测的NAS-FPN检测网络采用递归神经网络RNN为控制器，用于构建不同的连接，控制器通过子模型在搜索空间中的准确度作为评价标准来更新参数；具体包括以下步骤：Step1：为NAS-FPN模型设置所使用的特征提取网络，用该特征提取网络对肺CT图像进行特征提取，建立自底而上的金字塔特征层；Step2：为Step1提取的金字塔结构建立横向特征层连接，用循环神经网络RNN建立NAS的控制器，并用准确度作为奖励方式，通过NAS自动控制横向扩展金字塔结构的数量，直至检测的网络的准确度不再增加，控制器自动停止网络的搜索学习；Step3：用FCN网路对检测到的肺结节的候选框进行最终的筛选，在原始图像上进行结节定位，并输出最终的检测结果；所述Step1中的具体过程如下：Step1.1：NAS-FPN模型选取特征提取网络，并应用于肺CT图像上进行特征提取Step1.1.1：选择ResNet-50为特征提取网络；Step1.1.2：按照特征图提取顺序建立自底而上的特征提取网络；Step1.1.3：对特征网络进行筛选抽样，抽取一部分特征层用于横向连接，为下面的步骤做准备；Step1.2：特征提取的数据集来自Luna16数据集，数据集在训练之前进行预处理，预处理的步骤在下面会进行介绍；所述Step2中的具体过程如下：Step2.1：首先对数据集进行预处理；Step2.1.1：需要生成结节的mask图像，将数据集中的annotations.csv文件读取出来；Step2.1.2：annotations.csv文件包含结节的信息，每行都对应一个结节的id、三维坐标、以及结节的大小信息，从annotations.csv文件中获取相关的结节像素坐标和大小信息，进行分类；Step2.1.3：生成mask图像文件；Step2.1.4：除去CT图像中的噪声，即骨头的亮点，CT床金属线，并将图像归一化到0,1；Step2.1.5：从candidates.csv文件读取坐标和类别标签，将图像分为两类；Step2.1.6：然后对肺结节训练数据和测试数据都进行数据扩充；Step2.1.7：再对其分成非肺结节训练数据和测试数据，最后将两类的训练数据和测试数据分别合并；Step2.2：用循环神经网络RNN建立NAS的控制器通过NAS自动控制横向扩展金字塔结构的数量；Step2.2.1：建立RNN控制器；Step2.2.2：将RNN控制器嵌入到FPN控制网络，用其控制FPN的数量，依次增长；Step2.2.3：为RNN控制器建立奖励措施，RNN控制器使用搜索空间中的子模型的准确性作为更新其参数的奖励信号，通过反复试验，神经架构搜索训练控制器使用强化学习在给定搜素空间中选择最佳模型架构，RNN控制器学习如何随着时间推移生成更好的架构；Step2.3：多个FPN的跨连接构成搜索空间,在搜素空间中，一个FPN由很多个mergingcells组成；Step2.3.1：从候选中选取一个特征层；Step2.3.2：从候选中没有替换地选出另一个特征层；Step2.3.3：选择输出特征的分辨率；Step2.3.4：选择一个operation操作来融合步骤1和步骤2的特征；Step2.4：将学习出的模型进行保存；所述Step3中的具体过程如下：Step3.1：用FCN网路对检测到的肺结节的候选框进行最终的筛选Step3.1.1：将生成的候选框进行筛选，控制阈值选出结节区域；Step3.1.2：将Focalloss函数引入，减少负样本的数量；Step3.1.3：引入调制系数，通过减少易分类样本的权重，从而使得模型在训练时更专注于难分类的样本；Step3.1.4：控制正负样本对总损失函数的共享权重；Step3.2：对包含结节的Anchor进行筛选；Step3.2.1：分类子网络在每个空间位置，为A个anchor和K个类别，预测结节的概率；Step3.2.2：分类子网络是全卷积网络FCN，分类子网络与FPN中的每层相接；Step3.2.3：分类子网络的参数在整个金字塔的层间共享；设计方法是：从金字塔某个层里来的Featuremap是C个通道，分类子网络使用四个3*3的卷积层，C个滤波器，每个滤波器都接着Relu激活函数；Step3.2.4：用sigmoid激活函数对于每个空间位置输出KA个binary预测；Step3.2.5：输出包含结节的最优Anchor；Step3.3：在原始图像上进行结节定位，并输出最终的检测结果。

全文数据：

权利要求：

百度查询： 长春工业大学 一种基于NAS-FPN的肺结节检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD