江南大学陈莹获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉江南大学申请的专利一种基于改进在线知识蒸馏算法的图像分类方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114549905B 。
龙图腾网通过国家知识产权局官网在2025-06-06发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210183421.7,技术领域涉及:G06V10/764;该发明授权一种基于改进在线知识蒸馏算法的图像分类方法是由陈莹;邵柏潭设计研发完成,并于2022-02-11向国家知识产权局提交的专利申请。
本一种基于改进在线知识蒸馏算法的图像分类方法在说明书摘要公布了:本发明公开了一种基于改进在线知识蒸馏算法的图像分类方法,属于深度学习中的模型压缩技术领域。该方法设置错题集保存各学生网络训练过程中集成输出特征,通过训练图片的真实标签判断错题集中记录的集成输出特征是否正确,若记录的特征正确,则更新网络参数以使得网络集合中的每一个网络的输出特征zi的分布靠近错题集中记录的特征分布,若记录的特征错误,则让zi的分布远离错题集中记录的特征分布。即利用错题集保存网络集合集成输出的历史信息,将其作为学生网络优化训练的监督信息,并提出一种反思机制使学生网络的输出分布远离错误的历史信息,靠近正确的历史信息,迫使学生网络学习到更优质的特征,从而在对图像进行分类时得到更准确的分类结果。
本发明授权一种基于改进在线知识蒸馏算法的图像分类方法在权利要求书中公布了:1.一种基于改进在线知识蒸馏算法的图像分类方法,其特征在于,所述方法包括:Step1:确定在线知识蒸馏算法中的学生网络集合,并设置错题集以保存各学生网络训练过程中的集成输出特征,通过公开的图像分类数据集中的训练图片训练各学生网络以更新网络参数,得到训练好的学生网络集合;更新各学生网络参数时,通过训练图片的真实标签判断错题集中记录的集成输出特征是否正确,如果记录的是正确的特征,则更新网络参数以使得网络集合中的每一个网络的输出特征zi的分布靠近错题集中记录的特征分布,如果记录的是错误的特征,就让zi的分布远离错题集中记录的特征分布;Step2:将待分类图像采用不同的随机变换得到变换后的图像以输入训练好的各学生网络中,得到各学生网络的输出特征,将所有学生网络的输出特征取平均得到对应于待分类图像的集成输出特征,根据待分类图像的集成输出特征对待分类图像进行分类;设公开的图像分类数据集包含N个训练图片,共C个类别,则初始化错题集为的零矩阵;为N×C维的实数集;所述Step1中训练各学生网络以更新网络参数,包括:对公开的图像分类数据集中的训练图片进行预处理;使用反思机制训练学生网络集合中的各学生网络,设置网络训练批次为128,学习率为0.1,动量为0.9,权重衰减正则系数为0.0005,训练总轮数为300,在训练第150次和第225次时学习率衰减10倍,蒸馏温度系数设置为3.0,错题集的历史信息保留率γ为0.2;各学生网络前向传播更新网络参数时,得到第i个学生网络的输出特征zi,将所有学生网络的输出平均得到集成输出特征ze,前向时将集成输出更新到错题集中,表达式表示为:NB←γNB+1-γze各学生网络反向传播更新网络参数时,通过训练图片的真实标签可以判断出错题集中记录的特征是否正确,如果记录的是正确的特征,则让学生网络集合中的每一个学生网络的输出特征zi的分布靠近错题集中记录的特征分布,如果记录的是错误的特征,则让zi的分布远离错题集中记录的特征分布;即各学生网络的损失函数设置为: 其中,LHKDNB,zi为蒸馏损失函数,LCE为交叉熵损失函数。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人江南大学,其通讯地址为:214122 江苏省无锡市滨湖区蠡湖大道1800号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。