申请/专利权人：西安工业大学

申请日：2022-08-02

公开（公告）日：2024-04-16

公开（公告）号：CN115392451B

主分类号：G06N3/082

分类号：G06N3/082;G06N3/084;G06N3/096;G06N3/042;G06N3/0442;G06N3/0464;G06N3/0495;G06F18/2415

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2022.12.13#实质审查的生效;2022.11.25#公开

摘要：本发明涉及人工智能机器学习领域中的人工神经网络学习训练技术，具体涉及一种可持续学习的人工神经网络避免遗忘方法。该方法包括三个步骤：1、网络空间的可持续区域隔离学习：将整体网络进行等量区域隔离，然后在新隔离出的空间中学习新知识，以避免与旧知识混淆；2、网络空间的区域集成：配合“自学习掩码”和“边缘损失约束”，使用“双分支信息门融合”对上“1”隔离学习中的新旧知识进行融合；3、网络的多阶段增量训练，包括以初始化为主的基础训练，以及以同步区域分离与集成为主的增量训练，通过训练，形成系统稳定的学习和记忆能力。本发明方法实现了神经网络在学习新知识同时不忘旧知识，避免了网络在连续学习过程中的遗忘。

主权项：1.一种可持续学习的人工神经网络避免遗忘方法，该方法以神经网络的形式实现，其特征在于：包括三个步骤：步骤一、网络空间的可持续区域隔离：将整体网络进行等量地区域隔离，然后在隔离出来的一半空间中学习新知识，另一半空间继续存老图片的信息，并随着学习过程进行可持续区域隔离；具体方法为：通过控制权重因子的分布稀疏度以调节旧知识区域和空闲区域的划分比例，通过对BN层的权重因子进行稀疏训练，然后让通道权重因子参与全部排序，前50％比率的因子值所对应的通道设置为老图片区域，后面值所对应的通道用于适应新图片的学习，以此实现区域分离，并能实控新旧图片区域的比例；步骤二、网络空间的区域集成：使用“双分支融合”配合促进融合的“自学习掩码”来实现，双分支融合具体方法如下：先将旧图片的信息通道作为主分支和作为新图片的消息通道的辅助分支的对应层进行通道拼接，接着经过一层卷积进行信息聚合，输出xi，i代表层数，i＜l，l代表网络的总层数，然后将结合信息x1，xk，...xm分别经过门控Gate和tanh函数激活后，执行元素尺度的加法，形成“双分支信息聚合”，主分支结果yn一方面使用门控Gate和sigmoid激活函数，筛选出高价值信息Gl；另一方面用经Gate筛选后的低价值信息1-Gl区域接收来自“双分支信息汇聚”的结果，共同形成“主分支冗余区域聚合”结果，该结果，以及原始信息yn，还有yn与Gl共同作用的结果，这三者一起执行元素级加法，融合得到GBF的输出值，这期间以标量a控制各分支融合参与度，a为小于1的值，若辅助分支的融合参与度控制为a，主分支的融合参与度控制为1-a；自学习编码技术来辅助融合其具体过程如下：自学习掩码生成：首先对原训练样本进行特征提取得到特征图MIn，MIn∈RN*C*H*W，其中“N”代表批量大小，“C”代表特征图通道数，“H，W”为特征图的高和宽，MIn经2个串联管道加工后得到掩码MMask；首先经注意力网络GC-Net管道加工MIn，得到尺寸不变的处理结果MCG∈RN*C*H*W；然后用卷积滤波器F1∈RO*C*H*W处理MGC输出M′∈RN*O*H*W，其中“O”代表特征图经过F1处理后的通道数，“N，H，W”意义同上，对M′进一步执行可微分阈值二值化输出掩码MMask∈RN*O*H*W，MMask包含着所处理任务感兴趣的局部神经元位置信息；掩码应用：将得到的局部神经元位置信息MMask与原任务特征MIn的变换特征图MTrans点乘，实现神经元与特定任务的适配得到任务适配特征图MAdapt；步骤三、网络的多阶段增量训练：包括基础训练和增量训练，所述基础训练包括“初始化训练”和“区域分离训练”两个阶段；所述增量训练包括“隔离学习训练”、“同步区域分离与集成训练”和“精调训练”；基础训练过程包括“初始化训练”和“区域分离训练”两个阶段；初始化训练：在整个空间中，接受样本输入，利用交叉熵损失函数进行训练；区域分离训练：为了压缩首批知识存储空间，并为后续的学习预留学习空间，训练时输入样本，同时对通道权重值施加L1正则化约束，然后以反向传输的方式计算梯度，再用最速下降法进行参数更新；增量训练如下：“增量训练”包括“隔离学习训练”、“同步区域分离与集成训练”和“精调训练”；1隔离学习训练：首先是“登记预留空间”处理，然后是“新知识的学习训练”；“登记预留空间”具体是在第一次执行隔离学习处理时，需要记录区域隔离后的剪枝结果，此记录操作仅需执行一次，通道权重值较小的通道即为新学习的通道，通道权重值较大的即为旧知识的存储通道；记录预留空间的操作如下：以每一个卷积层所后接的BN层的权重因子作为通道权重值，所有卷积层所有通道的通道权重值参与全局rank函数排序，前50％的通道即为要保留的通道；后50％的通道将为新知识的学习训练所用；“新图片的学习训练”时，只学习新图片，使用交叉熵函数和新图片样本的标签计算损失，然后反向传播以计算梯度，最后利用梯度执行参数更新；在计算梯度和参数更新过程之间插入了一个权重冻结处理，权重冻结是以上述“登记预留空间”处理结果为依据，将分配给旧图片通道的乘法权重因子的梯度置零；上述计算损失-计算梯度-权重冻结的过程会重复迭代，直到损失不再下降为止，学习完成后，空闲的预留空间最终转化为新知识空间；2同步区域分离与集成训练：同步区域分离与集成目的是将新、旧图片空间融合以统一表达，并为后续学习继续预留空间，同步区域分离与集成训练过程为：输入新、旧图片样本，激活自学习掩码处理和双分支融合处理；然后，反向传播以计算梯度，接着执行区域分离处理，最后利用梯度执行参数更新；3精调训练：冻结除全连接层之外的所有参数并训练，具体为冻结其它部分，只对全连接层进行训练，输入新、旧图片标签，依据样本标签和公式计算损失，用反向传输算法进行参数更新。

全文数据：

权利要求：

百度查询： 西安工业大学 一种可持续学习的人工神经网络避免遗忘方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD