申请/专利权人：之江实验室

申请日：2021-12-24

公开（公告）日：2024-05-14

公开（公告）号：CN114511728B

主分类号：G06V10/764

分类号：G06V10/764;G06N3/0464;G06N3/08;G16H30/00;G16H50/20;G06V10/774;G06V10/80

优先权：

专利状态码：有效-授权

法律状态：2024.05.14#授权;2022.06.03#实质审查的生效;2022.05.17#公开

摘要：本发明公开了一种电子内镜食管病灶智能检测模型建立方法，本发明通过在图像级标注数据集上训练病灶分类教师网络，利用教师网络推断生成无标签数据集的伪标签，最后使用置信度高的伪标签数据集训练图像分类学生网络，然后使用已训练的学生网络替代教师网络，不断迭代，进一步提高伪标签的准确性，最终可以优化病灶分类网络的泛化能力；然后将病灶分类网络学习的特征与目标检测网络融合，最终得到高精度的食管病灶检测网络。本发明利用自训练方法，无需大量标注对象级数据集，弥补了图像级标注数据集与无标注数据缺少监督信息的缺点，充分提升目标检测网络对食管病灶的检测能力。

主权项：1.一种电子内镜食管病灶智能检测模型建立方法，其特征在于，包括如下步骤：步骤S1：病灶分类网络自训练，得到高泛化能力的病灶分类网络；训练教师网络，收集n张食管内镜图像，对食管内镜图像中的病灶进行类别标注，得到食管病灶类别标注数据集Xc；在数据集Xc上训练食管病灶分类教师网络fc；生成伪标签，无标签数据集通过教师网络fc推断生成伪标签，得到食管类别伪标签标注数据集训练学生网络，在食管病灶类别标注数据集Xc、伪标签数据集上训练学生网络fcnoised；迭代训练，使用得到的学生网络fcnoised作为新的教师网络替代教师网络fc，设置迭代次数N，重复上述步骤N次，得到强泛化能力的病灶分类网络fc；步骤S2：求取病灶分类网络fclassification中食管病灶的加权特征热图Agradcam；选取目标检测网络fd，通过空间金字塔池化与梯度加权类激活映射实现fclassification中食管病灶加权特征热图Agradcam的特征聚合，得到病灶检测网络ffusion；步骤S2包括以下子步骤：S2-1：求取病灶分类网络fclassification中食管病灶的加权特征热图Agradcam；通过梯度加权类激活映射，得到病灶分类网络fclassification中食管病灶的加权特征热图Agradcam；在得到的病灶分类网络fclassification模型后，求取病灶特征权重系数： 其中，score对应fclassification网络输出的病灶类别的得分，Ak为最后特征提取层最后一层输出的第k个特征图，i，j分别为每个特征图上各个特征点的索引,是第k个特征图中i,j位置处特征点的数值；Z为特征图的特征点个数；根据病灶特征权重系数求取食管病灶的特征热图Agradcam： 其中，ReLU函数计算公式为： S2-2：特征聚合；通过空间金字塔池化融合病灶分类网络加权特征热图Agradcam与病灶检测网络特征图A，得到特征聚合后的食管病灶检测网络ffusion；选取CenterNet网络作为原始的目标检测网络fd，改进后的CenterNet网络结构包括：用于特征提取的骨干网络、用于特征聚合的特征聚合网络以及分支预测输出头网络；其中，特征聚合网络，重新定义了热度图的生成依据；将病灶分类网络fclassification中食管病灶的加权特征热图Agradcam与原始CenterNet网络特征图A输入进入空间金字塔池化网络，分别对加权特征热图Agradcam与特征图A进行池化，产生固定长度特征图，将两个特征图拼接在一起；分支预测输出头网络具体包括三个分支，分别为：热度图预测分支、宽高预测分支，以及目标中心点偏移量预测分支；其中，热度图预测分支输出一个热力图，热力图峰值点即目标中心点，目标中心点偏移量预测分支的输出目标的位置偏移，高宽预测分支的输出为宽高信息；由此得到内窥镜食管图片上病灶的中心点位置和宽高；步骤S3：训练融合网络ffusion，得到高精度强泛化能力的食管病灶检测网络ffusion；从食管病灶类别数据集Xc，选取m张图像进行病灶位置信息标注，构建食管病灶对象级标注数据集Xd；在对象级标注数据集Xd上训练病灶检测网络ffusion；步骤S3包括以下子步骤：S3-1：从食管病灶类别数据集Xc中选取m张图像进行食管病灶位置信息标注，构建食管病灶对象级标注数据集Xd；S3-2：在对象级标注数据集上训练病灶检测网络改后的CenterNet网络模型，重新训练修改训练融合网络，得到高精度强泛化能力的食管病灶检测网络； 其中，ffusion为聚合了病灶分类网络加权特征热图Agradcam后的CenterNet病灶检测网络，θd为网络参数,xi为对象级数据集第i张图像,yi为第i张图像的对象级标注标签，包括c,x,y,w,h；其中c为对象目标的类别，x,y为位置框的中心点坐标，w为框的宽度，h为框的高度；m为对象级标注数据集中图像数量；ld为改进后网络的损失函数；当损失函数符合预设的要求时，得到训练完成的网络模型。

全文数据：

权利要求：

百度查询： 之江实验室 一种电子内镜食管病灶智能检测模型建立方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD