买专利,只认龙图腾
首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

【发明公布】基于自适应动态移位的8位整型全量化推理方法及装置_云知声智能科技股份有限公司;厦门云知芯智能科技有限公司_202010859153.7 

申请/专利权人:云知声智能科技股份有限公司;厦门云知芯智能科技有限公司

申请日:2020-08-24

公开(公告)日:2020-11-17

公开(公告)号:CN111950715A

主分类号:G06N3/04(20060101)

分类号:G06N3/04(20060101);G06N3/063(20060101);G06N3/08(20060101)

优先权:

专利状态码:在审-实质审查的生效

法律状态:2020.12.04#实质审查的生效;2020.11.17#公开

摘要:本发明提供了一种基于自适应动态移位的8位整型全量化推理方法及装置,该方法包括:获取训练后的浮点模型;获取所述浮点模型中的每个通道的权重;通过KLD计算所述浮点模型中每一层的激活值;基于所述激活值,针对所述浮点模型的跳层和卷积通道打乱操作,确定转换因子,并预存所有定点化值和移位值;根据量化表获取浮点模型的定点的权重scale,并基于该权重,输出整型结果。本发明实施例提供的方法,按通道全定点量化大大减少了浮点转换到定点的误差,在推理过程中不涉及浮点操作,全定点移位操作,可以验证模型全量化后结果误差是否符合人工智能芯片需求,且自适应动态移位,避免固定移位带来的溢出误差,中间值由int32优化成int8进一步减少片上内存。

主权项:1.一种基于自适应动态移位的8位整型全量化推理方法,其特征在于,所述方法包括:获取训练后的浮点模型;按通道计算所述浮点模型中的每一层的权重;计算所述浮点模型中每一层的激活值;基于所述权重和所述激活值,针对所述浮点模型的跳层和卷积通道打乱操作,确定转换因子,并预存所有定点化值和移位值至量化表;基于所述量化表,将每一层接受int8类型量化输入并生成int8量化输出。

全文数据:

权利要求:

百度查询: 云知声智能科技股份有限公司;厦门云知芯智能科技有限公司 基于自适应动态移位的8位整型全量化推理方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

相关技术
相关技术
相关技术