申请/专利权人：青岛理工大学

申请日：2024-03-14

公开（公告）日：2024-04-16

公开（公告）号：CN117892841A

主分类号：G06N20/00

分类号：G06N20/00;G06N5/022;G06V10/774;G06V10/778;G06V10/764

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.03#实质审查的生效;2024.04.16#公开

摘要：本发明属于人工智能技术领域，公开了基于渐进式联想学习的自蒸馏方法及系统，所述方法包括步骤1、数据预处理；步骤2、构建关联样本；步骤3、学习类别特征和类间关系；将关联样本输入学生网络，利用关联样本训练学生网络，学生网络从关联样本中学习类别特征和类间关系，输出概率分布；步骤4、自蒸馏阶段；学生网络利用在步骤3学习到的类别特征和类间关系的知识，来模拟教师网络的输出概率分布，并将这些知识进行知识迁移以指导学生网络的自我学习过程。本发明通过自蒸馏的方式实现自我学习，减少对复杂教师网络的依赖；通过本发明提取更丰富的类别间关系知识。

主权项：1.基于渐进式联想学习的自蒸馏方法，其特征在于，包括以下步骤：步骤1、数据预处理；输入数据是不同类型的图像，对输入的数据进行预处理，生成训练数据集样本，训练数据集样本包括原始样本及其对应的标签；从训练数据集中随机抽取一批样本，批量大小为B；步骤2、通过样本混合方法构建关联样本；将原始样本和在基于渐进式联想学习方法生成的生成样本通过样本混合方法结合，将两个样本以像素级别混合，构建关联样本；步骤3、学习类别特征和类间关系；首先构建包括教师网络和学生网络的网络模型，然后将关联样本输入学生网络，利用关联样本训练学生网络，学生网络从关联样本中学习类别特征和类间关系，输出概率分布，用于自蒸馏阶段的训练；步骤4、自蒸馏阶段；学生网络充当教师网络，利用在步骤3学习到的类别特征和类间关系的知识，来模拟教师网络的输出概率分布，并将这些知识进行知识迁移以指导学生网络的自我学习过程；具体来说，学生网络的自我学习过程通过以下方式实现：步骤4-1、利用教师网络生成的概率分布来监督关联样本的概率分布：具体来说，教师网络使用原始样本来生成概率分布，这些分布随后被用来指导学生网络的训练过程，使关联样本产生相近的概率分布；步骤4-2、在使用关联样本进行训练的过程中，使用原始样本和基于渐进式联想学习方法生成的生成样本的概率分布来监督关联样本的概率分布，这样做的目的是迫使学生网络学习原始样本的特征，并将这些知识自我转移和内化；步骤4-3、优化损失函数：整个训练过程是通过优化总损失函数来实现的，总损失为关联交叉熵损失和关联蒸馏损失的加权和；循环重复执行步骤1-步骤4，直到学生网络的参数稳定下来，达到收敛状态。

全文数据：

权利要求：

百度查询： 青岛理工大学 基于渐进式联想学习的自蒸馏方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD