申请/专利权人：厦门大学

申请日：2022-06-14

公开（公告）日：2024-04-30

公开（公告）号：CN114896436B

主分类号：G06F16/53

分类号：G06F16/53;G06N3/0464;G06N3/047;G06N3/08;G06V10/762;G06V10/774

优先权：

专利状态码：有效-授权

法律状态：2024.04.30#授权;2022.08.30#实质审查的生效;2022.08.12#公开

摘要：一种基于表征互信息的网络结构搜索方法，涉及人工智能技术领域。在神经网络搜索空间中，随机采样n个神经网络，利用RMI联合分类损失函数训练网络，计算n个网络的RMI分数、q分位数τ，训练拟合随机森林分类器π；从整个神经网络搜索空间随机抽取一批新的网络，从中找到概率最大的一个网络，利用损失函数训练网络，计算其RMI分数，重新拟合训练新的随机森林模型π，判断随机森林训练样本中新网络数量是否达到N，将得到的所有优秀网络样本集中网络结构的众数作最终输出的最优网络结构，利用优秀网络结构集上的统计规律，获得最可能的最优架构。高效、快速，并可推广到不同的搜索空间。使用RMI和随机森林有效探索整个搜索空间。

主权项：1.一种基于表征互信息的网络结构搜索方法，其特征在于包括以下步骤：1对于给定的神经网络搜索空间，设定参照网络α+、采样网络优异结构数量N、RMI阈值百分比q；2在神经网络搜索空间中，随机采样n个神经网络，利用RMI联合分类损失函数训练网络，并计算n个网络的RMI分数；所述RMI分数与损失函数计算公式分别为： 其中，X为网络的特征图张量，X+为参照网络α+的特征图张量，为常规的网络分类损失，||·||F为Frobenius范数；网络训练代价相比其他NAS算法有显著降低，因为该训练过程只需要一个批次的训练数据，同时RMI分数计算非常高效，计算复杂度为即关于样本数的平方阶；实际中，在单个GPU和CPU的环境几秒内即能完成；3计算n个网络结构RMI的q分位数τ，训练拟合随机森林分类器π；4从整个神经网络搜索空间随机抽取一批新的网络，随机森林分类器π对这批网络结构给出标签为1的概率，从中找到概率最大的一个网络；5将步骤4中找到的网络利用步骤2的损失函数训练网络，并计算其RMI分数；6在步骤5中计算好的新网络结构RMI分数，更新随机森林分类器π，新网络RMI分数低于τ，将新网络标记为1，否则标记为0；然后将其扩充至随机森林训练样本集中，重新拟合训练新的随机森林模型π，以提高随机森林对优秀网络结构样本拟合能力；7判断随机森林训练样本中标签为1的网络数量是否达到采样网络优异结构数量N，若达到，进入步骤8；否则返回步骤3；8计算步骤7得到的所有优秀网络样本集中网络结构的众数作最终输出的最优网络结构，利用优秀网络结构集上的统计规律，获得最可能的最优架构。

全文数据：

权利要求：

百度查询： 厦门大学 一种基于表征互信息的网络结构搜索方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD