申请/专利权人:山东大学
申请日:2023-06-26
公开(公告)日:2023-09-19
公开(公告)号:CN116776956A
主分类号:G06N3/082
分类号:G06N3/082;G06N3/0464;G06N3/048
优先权:
专利状态码:在审-实质审查的生效
法律状态:2023.10.10#实质审查的生效;2023.09.19#公开
摘要:本发明公开了一种基于ReRAM的深度神经网络加速器剪枝方法及系统,涉及深度神经网络加速器设计技术领域。该方法包括以下步骤:获取当前卷积层的激活值矩阵,以行列做为剪枝粒度设置标志位和阈值;根据标志位统计激活值的稀疏度,根据稀疏度进行排序;根据给定阈值标定敏感激活值行列与非敏感激活值行列,对非敏感激活值行列进行剪枝;利用激活值高位与权重进行卷积,得到高位运算结果,并根据高位运算结果对下一层非敏感激活值行列进行剪枝。本发明利用卷积神经网络激活值的稀疏性设计剪枝策略,适配ReRAMCrossbar结构,提升系统运行并行性的同时提升系统运算速度并降低系统功耗。
主权项:1.一种基于ReRAM的深度神经网络加速器剪枝方法,其特征在于,包括以下步骤:获取当前卷积层的激活值矩阵,以行列做为剪枝粒度设置标志位和阈值;根据标志位统计激活值的稀疏度,根据稀疏度进行排序;根据给定阈值标定敏感激活值行列与非敏感激活值行列,对非敏感激活值行列进行剪枝;利用激活值高位与权重进行卷积,得到高位运算结果,并根据高位运算结果对下一层非敏感激活值行列进行剪枝;其中,根据高位运算结果对下一层非敏感激活值行列进行剪枝的过程中,根据下一层激活值矩阵中行列的产生次序,依次统计激活值矩阵行列稀疏度,并标识无需执行低位卷积运算的计算过程;对统计结果进行排序,并根据给定阈值按照排序结果对激活值矩阵非敏感行列进行剪枝。
全文数据:
权利要求:
百度查询: 山东大学 基于ReRAM的深度神经网络加速器剪枝方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。