申请/专利权人：山东开泰抛丸机械股份有限公司;山东开泰智能抛喷丸技术研究院有限公司

申请日：2023-05-29

公开（公告）日：2023-08-29

公开（公告）号：CN116663621A

主分类号：G06N3/0495

分类号：G06N3/0495;G06N3/096

优先权：

专利状态码：在审-实质审查的生效

法律状态：2023.09.15#实质审查的生效;2023.08.29#公开

摘要：本公开提供了基于逆时针逐块知识蒸馏的神经网络模型压缩方法及系统，涉及机器学习技术领域，包括获取构建并训练好的教师模型，并保存训练教师模型时所使用的损失函数；将所述教师模型由浅到深划分N个子网块，并以N‑1个子网块为基础分别构造N‑1个学生模型子网块；利用所述损失函数，将获得的N‑1个学生模型子网块按照自顶向下的顺序依次替换教师模型中最浅层子网块之外的N‑1个子网块获取到中间模型；利用损失函数将中间模型进行训练至收敛得到压缩后的目标学生模型。有利于减少学生模型对教师模型的依赖性并使得学生模型找到更适合自己的参数分布；使学生模型关注教师模型中更高级的信息从而缓解学生模型和教师模型之间的代沟问题。

主权项：1.基于逆时针逐块知识蒸馏的神经网络模型压缩方法，其特征在于，包括：获取构建并训练好的教师模型，并保存训练教师模型时所使用的损失函数；将所述教师模型由浅到深划分N个子网块，教师模型最浅层的子网块直接作为学生模型最浅层子网块，并以教师模型最浅层子网块之外的N-1个子网块为基础分别构造N-1个学生模型子网块；利用所述损失函数，将获得的N-1个学生模型子网块按照自顶向下的顺序依次替换教师模型中最浅层子网块之外的N-1个子网块获取到中间模型；利用损失函数将中间模型进行训练至收敛得到压缩后的目标学生模型。

全文数据：

权利要求：

百度查询： 山东开泰抛丸机械股份有限公司;山东开泰智能抛喷丸技术研究院有限公司 基于逆时针逐块知识蒸馏的神经网络模型压缩方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD