申请/专利权人：浙江科技学院

申请日：2022-10-11

公开（公告）日：2023-12-26

公开（公告）号：CN117291247A

主分类号：G06N3/082

分类号：G06N3/082;G06F17/14;G06N3/0464

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.01.12#实质审查的生效;2023.12.26#公开

摘要：本发明公开了一种基于傅立叶空间的卷积网络鲁棒剪枝方法，涉及鲁棒剪枝领域，旨在解决现有技术中剪枝方法忽略鲁棒性的问题，采用的技术方案是，先建立一个CNN模型，再对其进行傅里叶变换，简化后获得非鲁棒性特征图的滤波器鲁棒性度量公式，再采用局部剪枝的方法对其进行剪枝，最后通过微调提高精确度；通过提出了一种基于傅里叶空间鲁棒性特征的鲁棒filter剪枝算法，其在关注低频区域的同时也关注高频区域信息，通过取平均值的方式简化处理，再通过局部剪枝策略去除鲁棒性低的filter，最终通过微调将剪枝后降低的干净精度恢复，可以在压缩网络的同时提高网络的鲁棒性。

主权项：1.一种基于傅立叶空间的卷积网络鲁棒剪枝方法，其特征在于，包括以下步骤：步骤1，假设一个预训练的CNN模型f有L个卷积层，Ci表示第i个卷积层，Ci中filter参数表示为一个3-Dfilter集合其中第j个filter参数为Ni表示第Ci中filter的数量，Ki表示kernel尺寸；filter输出，即特征图，表示为其中第j个特征图通过产生，g是输入图片的数量，hi，ωi分别是特征图的高和宽；在filter剪枝过程中，将分成两组；鲁棒的filter的参数表述为指第j个鲁棒的filter；非鲁棒的filter的参数表述为指第j个非鲁棒的filter；并且ni+mi＝Ni；步骤2，傅里叶变换 表示离散傅立叶变换，即DFT，它的逆变换，即IFT，为将应用于图像信号x相当于左乘一个DFT矩阵；DFT矩阵的行向量是一个傅立叶基函数其中k表示DFT矩阵的行索引，j是虚数单位；设为z的频域表示，和分别表示频域矩阵中的第一个元素和其余元素；将定义为信号的直流分量，定义为互补的高频分量；定义低频分量与高频分量： 其中，DC表示直流，DFT表示傅里叶变换，而DFT-1表示傅里叶的逆变换，diag表示对角矩阵，上标T表示转置矩阵，1∈Rn表示填充为1的n维方阵，x∈Rn×d表示n维长度，d维通道的信号，I表示一个单位矩阵；步骤3，确定鲁棒性度量根据低频分量与高频分量的等式，非鲁棒性的特征图定义公式为： 其中i表示卷积层的索引，j是特征图的索引，比率越大，特征图越鲁棒；否则，这意味着特征图是非鲁棒的；为简化处理，直接使用非鲁棒性的特征图定义公式的平均R值表示第i层中第j个滤波器的鲁棒性度量： 其中N表示样本的数量，Rk表示第k个样本的特征图的鲁棒性度量；步骤4，鲁棒剪枝采用局部剪枝策略，在模型中逐层去除鲁棒性低的filter，第i层的剪枝过程可以形式化为寻找剪枝掩码向量Mi的优化问题，该向量是一个0-1向量，其中0表示移除，1表示将filter保留在相应位置，假设第i层有Ni个filter，剪枝率为p，进行建模： 其中ni＝1-p×Ni；当得到所有卷积层的mask向量后，最终剪枝后的结构可以用原始网络与mask的Hadamard乘积表示： 其中，M是所有卷积层掩码向量的堆，假设卷积层Ci中的滤波器输出的特征图表示为Oi，剪枝过程如下：i计算卷积层Ci中所有特征图Oi的平均R值，得到集合 ii将中的R值进行从小到大排序，形成一个集合 是featuremap的索引，跟踪原始featuremap；iii设定剪枝率p，确定非鲁棒的filter个数mi＝p×Ni，鲁棒的filter个数ni＝1-p×Ni；iv在给定剪枝率的情况下，获取剪枝掩码；鲁棒的filter的集合为非鲁棒的filter的集合为v创建掩码向量，将非鲁棒的filter索引号记为0，鲁棒filter索引号记为1，剪除掩码向量中0对应的filter；剪枝过程循环执行，直到所有卷积层执行完剪枝操作。

全文数据：

权利要求：

百度查询： 浙江科技学院 一种基于傅立叶空间的卷积网络鲁棒剪枝方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD