申请/专利权人：电子科技大学长三角研究院(湖州)

申请日：2023-10-25

公开（公告）日：2023-12-15

公开（公告）号：CN117238482A

主分类号：G16H50/20

分类号：G16H50/20;G16H50/50;G16H30/20;G16H30/40;G06V10/74;G06V10/764;G06V10/774;G06V10/82;G06N3/04;G06N3/09

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.01.02#实质审查的生效;2023.12.15#公开

摘要：本发明公开了一种小样本场景下基于自适应边际损失的早产儿视网膜病ROP分期诊断方法。考虑到现实中ROP患病数据量小、标签难以获取、类间数据不平衡，以及相邻两期数据差异小导致模型无法正确进行分期分类的问题，本发明从小样本学习的角度出发，利用大量的无标签数据设定自监督学习上游任务进行模型的预训练，提升模型的泛化能力和特征提取能力，同时根据专家知识定义ROP不同期的边际值，越相似的类边际将越大，然后将边际值自适应地添加至分类模型的损失函数中去，强迫模型学习那些细微的类间差异，将相似的类分的更开，从而提高模型的判别精度，完成ROP分期诊断任务，为ROP分期诊断提供了一种新的方法。

主权项：1.一种基于度量的自适应边际距离早产儿视网膜病ROP分期诊断方法，其特征在于在有限的数据量下，先将眼底图像分为两部分，一部分是大量无标签的眼底图像如正常人的眼底图像，不需要数据标注，另一部分是带有专家分期标签的眼底图像。首先利用自监督学习，将大量无标签图像随机旋转一定角度，通过预测图像的旋转角度作为上游任务来训练一个初步的特征提取器，同时也防止模型在小样本分类场景下过拟合，然后再利用这个预训练好的特征提取器对有标签的数据进行进一步的训练，使之能够判别不同期的数据。具体做法是在训练的过程中，对损失函数进行正则约束，基于专家经验对交叉熵损失函数中的softmax操作加上自适应边际距离，从而强迫模型学习那些细微的类间差异，从而提高模型的判别精度，具体包括以下步骤：1数据收集从医院采集正常眼底图像、ROP1期、ROP2期、ROP3期、ROP4期以及ROP5期共六类眼底图像，每一期的数据量需尽可能多，其中正常眼底图像可认为是无限的，而每期患病的眼底图像每类至少100人，每个人平均采集20张左右的图像，要求每期有患病特征的眼底图像的数量尽可能均衡。2图像标注对来自正常人的眼底图像标签默认赋值为0，对于来自不同期ROP患者的眼底图像，需要由医学专家为图像赋予标签，对患者眼底图像中没有表现出ROP患病特征的图像，直接忽略不计，而表现出患病特征的图像需要由专家赋予图像所在患病期的标签即1，2，3，4，5这五种标签，相同类别存放至同一标签文件夹下。3数据预处理原始数据存在拍摄环境如光照、杂物等的影响，或者是拍摄人员的操作失误，导致采集的数据集中存在很多噪声数据，需要将这部分图像进行清洗删除。同时由于原始图像尺寸不一致，且图像较大，冗余特征过多，不便于计算机读写以及运算，故统一将原始图像尺寸resize为224×224.4数据增强因现实原因导致图像数据量较少，且存在部分类别不平衡的情况，所以需要对数据进行扩充和增强。主要采用如下几种方式：①色彩调节由于ROP眼底图像受拍摄环境，以及婴儿眼底色素等因素的影响，这会导致不同图像存在不同程度的亮度差异以及色彩不均匀，所以采用均匀分布来调整图像的色彩分布。②图像旋转由于网络的训练需要尽可能多的数据，结合拍摄时眼底成像本身就存在不同的角度的图像，所以对图像进行随机轻微旋转来初步扩充数据集。另外由于人的眼睛分为左右眼，所以很自然地可以使用镜像翻转来作为扩充图像数据的依据。另外两种图像增强的方式也可以组合，来扩充更多的数据。③图像标准化为了提高模型的收敛速度以及尽可能减少奇异数据对模型带来的不良影响，使用Z-Score标准化方法对图像的R、G、B三个通道的像素值分别进行标准化处理，即： 其中Xscale是归一化后的新的图像数据，x是原始图像，μ是所有样本均值，σ是样本标准差。5划分数据集根据图像是否有标签将处理好的数据分为两部分，一部分用作模型泛化能力的训练，另一部分用作模型分类能力的训练，两部分数据均需要分别划分训练集和测试集。6上游任务预训练定义自监督学习任务，使用深度神经网络作为Backbone，，将无标签数据按训练集和测试集的组织形式喂入神经网络，让计算机对这部分无标签图像进行四种角度的随机旋转[0°,90°,180°,270°]，同时记录下旋转的角度作为伪标签，通过让模型预测图像的旋转角度来进行预训练，提升模型的泛化能力，同时需要在测试集进行相应的测试，保证模型性能，最终去掉分类层而只保留保存特征提取层。7训练分类器经过上一步的学习，我们得到了一个用大量无标签ROP数据预训练的模型，这个模型具有很好的泛化能力而分类能力仍有不足，故在此基础上还需要对模型进行进一步的训练，从而得到最终模型。具体训练步骤有如下三步：第一步，设定自适应边际值。这个边际值通过ROP不同期之间的相似程度进行度量，相似程度则根据专家的经验知识赋予，从而就可以通过分类标签的语义信息得到第i期和第j期的margin，即mij＝αsimei,ej+β，其中ei表示ROP第i期，α和β分别是缩放和平移的自定义参数。可以这样理解，当第i期和第j期越接近，表示他们的患病特征越相似，则他们之间的边际mij就越大，神经网络就需要将他们分的更开，从而模型就需要学习更加细微的特征进行分类，以此来强迫模型提升自己的分类性能。第二步，定义损失函数。分类模型通过softmax操作将输出概率化，概率最大的输出作为模型的分类结果。softmax操作为： 而现在我们需要将不同期数据之间的margin融入到模型的训练过程中去，具体做法是，在softmax结果概率化的操作中，将当前类到所有其他类的结果映射项都引入自适应边际mxk，使相似的类分的更开，损失函数用公式表示即为： 其中， 符号含义解释如下：L指损失函数，D指数据集，x,y表示数据集中的元素x，其类别标签为y，F表示特征提取器，simFx,y表示x经过特征提取器映射在类y上的结果，C表示类别空间，mxk表示类x和类k之间的margin。这一步是本发明的核心，故再次进行解释：根据上文分析知，越相似的类mxk越大，从损失函数中可以看出真实的概率就会变小，从而导致损失变大，这就促使模型进一步训练优化，从而将相似的类分的更开，以此提升模型的分类性能。第三步，利用划分好的有标签数据完成模型的整体训练，并保存性能最好的模型参数。8最终测试在测试之前需要先用验证集对模型的超参数进行调优，保证参数的合理设置。在最终测试阶段，载入训练阶段最好的模型参数，此时模型参数不需要再进行学习调整，全部固定，然后给模型输入新的ROP图像数据，得到分期分类结果，最终进行统计即可。

全文数据：

权利要求：

百度查询： 电子科技大学长三角研究院(湖州) 一种小样本场景下基于自适应边际损失的ROP分期诊断方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD