申请/专利权人：三菱电机株式会社

申请日：2022-09-01

公开（公告）日：2024-04-16

公开（公告）号：CN117897707A

主分类号：G06N3/0495

分类号：G06N3/0495;G06N3/096;G06N3/082;G06N3/084

优先权：["20210910 US 63/242,636","20220328 US 17/656,742"]

专利状态码：在审-实质审查的生效

法律状态：2024.05.03#实质审查的生效;2024.04.16#公开

摘要：深度神经网络DNN已经被用于各种应用，以提供推理、回归、分类和预测。尽管在文献中已经成功地证明了DNN的高潜力，但是由于大量的乘法‑累加MAC运算，大多数DNN需要高计算复杂度和高功率操作来用于实时处理。本发明提供了一种利用基于2的幂次方PoT权重的凑整‑累加RAC运算操作来实现硬件友好的无MAC的DNN框架的方式。该方法和系统基于这样的实现，即，用于2的幂次方展开式的凑整感知训练可以从系统中消除对乘法器组件的需要，而不会导致任何性能损失。另外，该方法和系统提供了一种基于使用超参数化DNN的渐进压缩的知识蒸馏来减少PoT权重的数量的方式。对于诸如微处理器和现场可编程门阵列的资源有限的硬件实现，它可以实现高压缩，从而导致功率高效的推理。在强化学习框架中，利用附加的DNN模型来对压实级别进行优化。凑整粒度也被连续递减，并且获得混合阶次的PoT权重来用于低功率处理。另一学生模型也被并行地设计用于知识蒸馏，以找到性能与复杂度之间的Pareto最优折衷。

主权项：1.一种由至少一个计算处理器执行的用于训练一组人工神经网络的计算机实现的方法，其中，所述方法使用与存储实现所述方法的指令的存储器联接的至少一个处理器，其中，所述指令在由所述至少处理器执行时，执行所述方法的步骤，所述方法包括以下步骤：a初始化人工神经网络的一组可训练参数，其中，所述一组可训练参数包括一组可训练权重以及一组可训练偏差；b使用一组训练数据来训练所述一组可训练参数；c基于经训练的一组可训练参数来生成修剪掩模；d重绕所述一组可训练参数；e基于所述修剪掩模来修剪选定的一组可训练参数；以及f重复上述步骤b至e达指定次数，以生成具有递增稀疏度的一组稀疏神经网络。

全文数据：

权利要求：

百度查询： 三菱电机株式会社 无乘法器稀疏深度神经网络

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD