申请/专利权人：合肥君正科技有限公司

申请日：2022-10-13

公开（公告）日：2024-04-16

公开（公告）号：CN117892772A

主分类号：G06N3/0464

分类号：G06N3/0464;G06N3/0495

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.03#实质审查的生效;2024.04.16#公开

摘要：本发明提供一种卷积输入和权重的量化方法，包括：S1量化：设置参数；S1.1，对卷积输入量化的过程；S1.2，对weight量化的过程；S2，量化推理：以convolution‑batchnorm融合的算子进行量化推理：S2.1，对convolution和batchnorm进行融合：S2.2，对x和w进行量化后，浮点值与整形值有以下关系：当min_value＜0：sif＝2n‑1；当min_value＞＝0：sif＝2n‑1；S2.3，当min_value＜0时，当前xint的范围为‑128，127，为了满足硬件中xint在0，255时量化的结果与在‑128，127时相同，添加一个量化参数offset：则offset＝‑∑sif*wints＝sbn*sx*sw可得到bn＝s*∑xint*wint+b；S2.4，bn即是由整型的x和w得到的浮点型数据，根据上面卷积输入的量化过程，对bn进行量化。

主权项：1.一种卷积输入和权重的量化方法，其特征在于，所述方法包括：S1，量化：设置min、max为featuremap的取值范围；n为量化的位宽；x是featuremap；clip函数代表将第一个输入的数值限制在后两个数值之间；fabs函数是一个求绝对值的函数,求出x的绝对值；fmax函数是cmath标头的库函数,用于查找给定数字的最大值,它接受两个数字并返回较大的一个；round是银行家舍入即四舍六入五取偶：这里“四”是指≤4时舍去，"六"是指≥6时进上，"五"指的是根据5后面的数字来定，当5后有数时，舍5入1；当5后无有效数字时，需要分两种情况来讲：5前为奇数，舍5入1；5前为偶数，舍5不进，0是偶数；abs_max是绝对值最大；S1.1，对卷积输入量化的过程：当min＝0:将x限制在[min,max]范围；将x置于[0,1]范围；将x置于[0,max]范围；当min0:获得绝对值最大；将x限制在[-abs_max,abs_max]范围；将x置于[-1,1]范围；将x置于[-abs_max,abs_max]范围；S1.2，对weight量化的过程：获得绝对值最大；将w置于[-1,1]范围；将w置于[-2n-1,2n-1]范围；将w置于[-2n-1,2n-1]范围；将w置于[-perchannel_max,perchannel_max]范围；其中，perchannel_max是指每个通道的最大值，这个里的min和max也是分通道；S2，量化推理：根据上面的量化公式，以convolution-batchnorm融合的算子进行量化推理：S2.1，对convolution和batchnorm进行融合：conv＝∑x*w+bias y＝bnx为卷积的输入，w为卷积的权重，bias为卷积的偏置；var、eps、γ、β是batchnormal的参数； 设 bn＝Sbn*Σx*w+Bbn；bn是batchnormalization的公式推理得出；Sbn是缩放因子；Bbn是偏置；S2.2，对x和w进行量化后，浮点值与整形值有以下关系：其中，max:输入的最大值；sif：将整型int输入数值统一到[0,1]或[-1,1]需要的数值，下面的n代表输入的bit位；xint：int类型的输入；x：float类型的输入；perchannel_max：权重每个通道的最大值；sw:将int类型权重数值统一到[-1，1]需要的数值；wint:int类型权重；w:float类型权重： sw＝2n-1；当min_value0:sif＝2n-1；当min_value＞＝0:sif＝2n-1；将x，w带入bn公式： S2.3，当min_value0时，当前xint的范围为-128,127，为了满足硬件中xint在0,255时量化的结果与在-128,127时相同，添加一个量化参数offset： 则offset＝-∑sif*wints＝sbn*sx*sw 可得到bn＝s*∑xint*wint+b公式二；S2.4，bn即是由整型的x和w得到的浮点型数据，根据上面卷积输入的量化过程，对bn进行量化：clip＝clipbn，min，max 将bn公式带入上式可得： 可得新的yint＝cliprounds*∑xint*wint+b，0，sof。

全文数据：

权利要求：

百度查询： 合肥君正科技有限公司 一种卷积输入和权重的量化方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD