申请/专利权人：中国科学院自动化研究所

申请日：2020-07-10

公开（公告）日：2020-10-16

公开（公告）号：CN111783961A

主分类号：G06N3/04(20060101)

分类号：G06N3/04(20060101);G06N3/08(20060101)

优先权：

专利状态码：失效-发明专利申请公布后的驳回

法律状态：2022.06.03#发明专利申请公布后的驳回;2020.11.03#实质审查的生效;2020.10.16#公开

摘要：本发明属于数据处理领域，具体涉及了一种基于激活定点拟合的卷积神经网络训练后量化方法及系统，旨在解决现有技术无法通过更加高效的低比特量化方法实现卷积神经网络训练后量化的问题。本发明包括：对原卷积神经网络各层权值矩阵进行低比特定点量化；获取一组校验数据，构造输入激活到输出激活的优化目标函数，迭代进行定点权值矩阵和权值量化尺度因子的优化，获得权值定点量化卷积神经网络；基于校验数据及权值定点量化卷积神经网络，求解激活量化尺度因子，获得权值‑激活定点卷积神经网络。本发明直接学习由输入激活到输出激活之间的低比特映射函数，保障权值量化前后卷积输出的相似，量化后的模型精度高，并且量化过程无需使用数据重新训练。

主权项：1.一种基于激活定点拟合的卷积神经网络训练后量化方法，其特征在于，该量化方法包括：步骤S10，网络权重矩阵拟合，获取原始卷积神经网络各层权值矩阵，并分别进行各层权值矩阵的低比特定点量化，获得网络各层的定点权值矩阵和权值量化尺度因子；步骤S20，网络第一次激活矩阵拟合，获取一组校验数据，基于所述网络各层的定点权值矩阵和权值量化尺度因子，构造由输入激活到输出激活的优化目标函数，迭代进行定点权值矩阵和权值量化尺度因子的优化，获得权值定点量化卷积神经网络；步骤S30，网络第二次激活矩阵拟合，基于所述一组校验数据以及权值定点量化卷积神经网络，求解激活量化尺度因子，获得量化后的权值-激活定点量化卷积神经网络。

全文数据：

权利要求：

百度查询： 中国科学院自动化研究所 基于激活定点拟合的卷积神经网络训练后量化方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD