申请/专利权人：陕西物流集团产业研究院有限公司

申请日：2023-04-07

公开（公告）日：2024-03-19

公开（公告）号：CN116341645B

主分类号：G06N3/082

分类号：G06N3/082;G06N3/0464

优先权：

专利状态码：有效-授权

法律状态：2024.03.19#授权;2023.07.14#实质审查的生效;2023.06.27#公开

摘要：本发明公开了一种基于全局多源层间的联合剪枝方法及系统，应用于卷积神经网络，首先对滤波器的重要性和各层通道的重要性均进行评估，然后设定每层的最小剪枝率和最大剪枝率，并对滤波器和通道进行先后剪枝，同时分别计算滤波器和通道联合剪枝下的单位时间复杂精度损失大小和单位空间复杂精度损失大小，将两个损失大小结合考虑，保证在联剪枝时模型在降低时间复杂度和空间复杂度均有良好的效果。本发明将滤波器剪枝和通道剪枝相结合，为减少对各层剪枝率的寻找代价、避免重复迭代，引入全部误差最小策略快速找到误差最小的滤波器和通道的组合剪枝率，进行滤波器和通道的联合剪枝，在实现对网络进行压缩和加速的效果下还保证了模型的精度。

主权项：1.一种图像处理方法，其特征在于，应用于卷积神经网络，所述卷积神经网络的每一卷积层包括多个滤波器和多个通道；所述方法包括：对各卷积层中滤波器的重要性以及各通道的重要性进行评估，得到所述各卷积层中滤波器的多源层间均衡评估系数集合和所述各卷积层中通道的评估系数集合；根据每个卷积层预设的最小剪枝率确定每个卷积层中滤波器的第一当前剪枝率和通道的第二当前剪枝率，并基于所述第一当前剪枝率与所述多源层间均衡评估系数集合对各卷积层进行滤波器剪枝、基于所述第二当前剪枝率和所述通道的评估系数集合对各卷积层进行通道剪枝后，计算各卷积层的单位空间复杂度精度损失与单位时间复杂度精度损失；按照预设步长调整所述第一当前剪枝率和所述第二当前剪枝率，并返回基于所述第一当前剪枝率与所述多源层间均衡评估系数集合对各卷积层进行滤波器剪枝、基于所述第二当前剪枝率和所述通道的评估系数集合对各卷积层进行通道剪枝的步骤，直至所述第一当前剪枝率与所述第二当前剪枝率达到预设的最大剪枝率；根据每轮迭代时各卷积层的单位空间复杂度精度损失与单位时间复杂度精度损失，确定误差最小的滤波器剪枝率和通道剪枝率；基于所述误差最小的滤波器剪枝率和通道剪枝率进行剪枝后，将待处理图像输入剪枝后的卷积神经网络进行图像处理；对各卷积层中滤波器的重要性以及各通道的重要性进行评估，得到所述各卷积层中滤波器的多源层间均衡评估系数集合和所述各卷积层中通道的评估系数集合的步骤，包括：利用L1范式计算各卷积层中每个通道的重要性，得到各卷积层中通道的评估系数集合；计算各卷积层中每个滤波器的权重距离和每个滤波器输出特征图的冗余度，并基于各卷积层中通道的评估系数集合计算各卷积层中每个滤波器的层间关联性重要指数；根据所述各卷积层中每个滤波器的权重距离、每个滤波器输出特征图的冗余度和层间关联性重要指数，对各卷积层中滤波器的重要性进行评估，得到所述各卷积层中滤波器的多源层间均衡评估系数集合；按照如下公式计算第i层的空间复杂度精度损失与时间复杂度精度损失： 其中，Ao表示剪枝前所述卷积神经网络在数据集上的精度，Ci表示第i层的通道数量，Co表示所述卷积神经网络第i层的滤波器数量，Hi、Wi分别表示输入第i层的特征图的高和宽，K*K表示滤波器的大小，Ai表示剪枝后所述卷积神经网络在数据集上的精度，Si表示第i层中滤波器的第一当前剪枝率，表示第i层中通道的第二当前剪枝率。

全文数据：

权利要求：

百度查询： 陕西物流集团产业研究院有限公司 一种基于全局多源层间的联合剪枝方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD