申请/专利权人：河北大学

申请日：2023-06-20

公开（公告）日：2024-02-06

公开（公告）号：CN116824297B

主分类号：G06V10/774

分类号：G06V10/774;G06V10/778;G06V10/764;G06V10/82;G06T7/00;G06N3/045;G06N3/047;G06N3/048;G06N3/0495;G06N3/0895;G06N3/091;G06N3/096;G06N3/084;G06N3/0985

优先权：

专利状态码：有效-授权

法律状态：2024.02.06#授权;2023.10.24#实质审查的生效;2023.09.29#公开

摘要：本发明涉及一种Ki67影像预测模型的伪标签自蒸馏优化方法，包括以下步骤：①提供一个标注有Ki67表达标签的肾癌CT图像数据集和一个未标注的肾癌CT图像数据集。②运用带有Ki67表达标签的数据集，训练预设模型以预测Ki67的表达。③通过预训练模型，处理未标注的肾癌CT图像数据集，产生Ki67表达的伪标签。④设计并执行一个自蒸馏模型，使其深层部分为浅层部分提供教学引导。⑤将伪标签与原始图像一同输入自蒸馏模型中，执行模型训练。⑥在模型训练过程中，形成训练损失，作为自蒸馏的指导。⑦通过这种自蒸馏方法，得到能够准确预测Ki67表达的模型。本发明解决了深度网络规模大且难以部署以及医学影像标注数量少的问题，具有临床应用价值。

主权项：1.一种Ki67影像预测模型的伪标签自蒸馏优化方法，其特征是，包括以下步骤：S1、收集若干用Ki67表达标签标注的肾癌CT图像样本，构成数据集DL；收集若干没有用Ki67表达标签标注的肾癌CT图像样本，构成数据集DU；S2、选择ResNet-101作为基础训练模型，用数据集DL进行预训练，训练出能够预测Ki67表达的预训练模型Mt；S3、将数据集DU输入预训练模型Mt，对数据集DU中的每个样本生成一个预测的Ki67表达值，用该表达值作为该样本的伪标签，从而使没有标签的数据集DU转变成为带有伪标签的数据集DU；S4、构建以ResNet-18作为骨干网络的自蒸馏模型Ms，所述自蒸馏模型Ms包括四个瓶颈层、四个全连接层和四个softmax层；其最深层部分为教师分类器，其他的浅层部分为学生分类器；学生分类器通过教师分类器进行学习和调整；S5、自蒸馏模型Ms的自蒸馏过程，包括以下子步骤：S5-1将带有伪标签的数据集DU中的伪标签与样本图像一并输入自蒸馏模型Ms；S5-2自蒸馏模型Ms的分类器根据样本图像生成对应的分类标签预测，再计算预测标签与伪标签之间的交叉熵，将其作为自蒸馏过程的第一个损失函数；S5-3计算学生分类器根据样本图像生成的预测标签与教师分类器生成的教师标签之间的KL散度，将其作为自蒸馏过程的第二个损失函数；S5-4计算最深层部分与每个浅层部分之间的特征图之间的L2损失，将其作为自蒸馏过程的第三个损失函数；S5-5自蒸馏模型Ms中的分类器为：其中，C为自蒸馏模型Ms中分类器的个数；第i个分类器的softmax输出为：qii＝1,2,3,4；最深分类器的softmax输出特别表示为qC，即q4＝qC；每输入一个样本图像x，自蒸馏模型Ms即输出一个预测标签；自蒸馏过程的第一个损失函数Lc为通过预训练模型Mt得到的伪标签与分类器的softmax输出qi之间的交叉熵之和，即： 其中，为交叉熵；自蒸馏过程的第二个损失函数Lk为第C个分类器与每个浅层分类器的softmax输出之间的KL散度之和，即： 其中，KLqi,qC为KL散度；自蒸馏过程的第三个损失函数Ll是自蒸馏模型Ms中最深层部分与每个浅层部分之间的L2距离之和，即： 其中，Fi为输入到分类器θi的特征，FC为输入到分类器θC的特征由瓶颈层输出；将这三个损失函数合并，作为自蒸馏过程的总损失函数： 其中，α和λ分别为平衡参数；S6、自蒸馏模型Ms的优化训练，具体包括以下子步骤：S6-1先进行数据增强：对数据集DL和数据集DU中的每个样本图像都进行随机旋转、随机平移和随机缩放；S6-2训练自蒸馏模型Ms：使用数据集DL对自蒸馏模型Ms进行训练；采用Adam优化器，初始学习率设为0.001，每训练10个epoch降低10％；最大训练epoch为100；S6-3训练过程中监控模型的表现，当自蒸馏模型Ms在验证集上的性能在连续10个epoch中没有提高时，停止训练，得到训练好的自蒸馏模型Ms。

全文数据：

权利要求：

百度查询： 河北大学 Ki67影像预测模型的伪标签自蒸馏优化方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD