申请/专利权人:阿里云计算有限公司
申请日:2022-10-19
公开(公告)日:2023-03-14
公开(公告)号:CN115796256A
主分类号:G06N3/08
分类号:G06N3/08;G06N3/0464
优先权:
专利状态码:在审-实质审查的生效
法律状态:2023.03.31#实质审查的生效;2023.03.14#公开
摘要:本说明书实施例提供模型量化方法以及装置,其中所述模型量化方法包括:接收针对初始任务处理模型提交的模型量化请求,根据所述初始任务处理模型对应的初始数据精度,对以比特数来表达的第一张量按所述比特数的不同组成部分进行拆分,得到所述第一张量的至少两个部分,所述第一张量包括训练数据的第一张量和模型参数的第一张量,根据所述模型量化请求中包含的量化精度,对所述至少两个部分分别进行量化调整,生成符合所述量化精度对应比特数的第二张量,其中,所述量化调整包括:对至少一个所述部分的值缩小并对至少另一个所述部分的值相应放大以使所述第二张量满足所述初始数据精度,利用所述第二张量,生成目标任务处理模型。
主权项:1.一种模型量化方法,包括:接收针对初始任务处理模型提交的模型量化请求;根据所述初始任务处理模型对应的初始数据精度,对以比特数来表达的第一张量按所述比特数的不同组成部分进行拆分,得到所述第一张量的至少两个部分,所述第一张量包括训练数据的第一张量和模型参数的第一张量;根据所述模型量化请求中包含的量化精度,对所述至少两个部分分别进行量化调整,生成符合所述量化精度对应比特数的第二张量,其中,所述量化调整包括:对至少一个所述部分的值缩小并对至少另一个所述部分的值相应放大以使所述第二张量满足所述初始数据精度;利用所述第二张量,生成目标任务处理模型。
全文数据:
权利要求:
百度查询: 阿里云计算有限公司 模型量化方法以及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。