申请/专利权人：西北工业大学

申请日：2021-10-24

公开（公告）日：2024-03-19

公开（公告）号：CN114049514B

主分类号：G06V10/764

分类号：G06V10/764;G06V10/82;G06N3/0464;G06N3/082

优先权：

专利状态码：有效-授权

法律状态：2024.03.19#授权;2022.03.04#实质审查的生效;2022.02.15#公开

摘要：本发明涉及一种基于参数重新初始化的图像分类网络压缩方法，属于图像处理与识别技术领域。在网络预训练过程中，每经过t次在完整训练数据集上的迭代，对不重要的通道执行一次参数重新初始化参数重新初始化。在网络训练过程中对不重要的通道进行参数重新初始化，不仅能够为模型引入更多的滤波器形态，而且能够重新激活被错误剪枝的卷积通道，有利于提高压缩后网络模型的性能。将其应用于图像分类任务，能够在保证分类准确率的前提下减少模型的参数量和运算量，便于其在手机等移动设备中的使用。

主权项：1.一种基于参数重新初始化的图像分类网络压缩方法，其特征在于：在网络预训练过程中，每经过t次epoch在完整训练数据集上的迭代，对不重要的通道执行一次参数重新初始化参数重新初始化，其步骤如下：步骤1：根据预期要达到的压缩率p0，0＜p0＜1，确定当前需要达到的压缩率为p＝spp0；其中，sp为一个随着迭代次数增加而逐渐从0增加至1的量，采用三次函数形式进行增长，即sp＝eie-t3式中，ei为当前迭代次数，e为预训练阶段的总迭代次数；对于具有n个输出通道的卷积层，根据当前压缩率p计算得到需要重新进行参数初始化的通道个数为n1＝np；步骤2：BN层中的n个通道与卷积层的n个通道相对应，可以采用BN层中的缩放因子γ作为通道重要性度量依据；对这n个通道的重要性进行排序，计算重要性最高的通道所对应卷积层权重wm的均值为μm，标准差为σm，记录BN层中该通道的缩放因子为γm，偏置为βm；步骤3：将n1个需要进行重新初始化通道所对应的卷积层参数随机初始化，使其服从均值为μm，标准差为σm的正态分布；同时，更改BN层中这n1个通道的缩放因子为sγm，偏置为sβm；其中，s为一个随着迭代次数增加而逐渐从1减小为0的量，采用三次函数形式进行衰减，即s＝1-eie-t3步骤4：网络参数重新初始化过程中没有更新BN层中的均值和标准差σ，因此需要在一个batch的训练集上更新这些统计参数，在此过程中其他参数固定不变；网络预训练阶段完成后，根据BN层中的缩放因子γ剪裁掉n1个不重要的卷积层通道和BN层通道，得到压缩后的网络模型。

全文数据：

权利要求：

百度查询： 西北工业大学 一种基于参数重新初始化的图像分类网络压缩方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD