申请/专利权人：复旦大学;复卿(上海)智能科技有限公司

申请日：2019-12-05

公开（公告）日：2021-06-08

公开（公告）号：CN112926723A

主分类号：G06N3/04(20060101)

分类号：G06N3/04(20060101);G06N3/08(20060101)

优先权：

专利状态码：失效-发明专利申请公布后的视为撤回

法律状态：2023.05.23#发明专利申请公布后的视为撤回;2021.06.25#实质审查的生效;2021.06.08#公开

摘要：本发明提供一种基于SplitLBI算法的自动网络增长方法，能够在训练过程中自动增长卷积神经网络的卷积层和各层卷积核，最终得到参数量较少但是在分类任务中表现很好的神经网络模型的方法。其具体分为两种方法，一是给定神经网络模型层结构的情况下，在训练过程中自动增长各卷积层的卷积核和线性层的线性单元，最终得到训练好的、总参数量比人工设计的模型更少的、训练总代价更少的模型；二是给定一个层数很少的网络结构，训练过程中，先自动增长卷积核来确定各模块的卷积核上限，然后自动增长卷积层，最终得到训练好的、在分类任务上表现很好的模型。

主权项：1.一种基于SplitLBI算法的自动网络增长方法，用于对卷积神经网络中卷积层的卷积核以及线性层的线性单元进行自动化增长，从而在不改变网络结构的情况下优化并训练该卷积神经网络，其特征在于，包括如下步骤：步骤S1，进行初始化操作，该初始化操作包括：将所述卷积神经网络中的各个所述卷积层的卷积核初始化为8或16个，将所述卷积神经网络中的各个所述线性层的线性单元初始化为64或128，初始化优化器并将要增长的所述卷积层或所述线性层输入所述优化器中，确定增长所述卷积核或所述线性单元的稠密阈值，获取训练数据并进行数据增强预处理；步骤S2，通过所述优化器并利用所述训练数据对所述卷积神经网络训练一定的遍历次数；步骤S3，根据所述卷积神经网络中所有的所述卷积层或所述线性层计算稠密程度参数，若所述稠密程度参数大于所述稠密阈值则在当前的所述卷积层或所述线性层对所述卷积核或所述线性单元进行增长从而形成新的所述卷积神经网络，若所述稠密程度参数不大于所述稠密阈值则停止增长；步骤S4，重复所述步骤S2至所述步骤S3直至停止增长从而得到增长完成的所述卷积神经网络；步骤S5，调整所述优化器的学习率并对增长完成的所述卷积神经网络训练100次数据遍历从而得到训练完成的所述卷积神经网络。

全文数据：

权利要求：

百度查询： 复旦大学;复卿(上海)智能科技有限公司 基于Split LBI算法的自动网络增长方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD