恭喜南京信息工程大学刘珂玉获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜南京信息工程大学申请的专利一种基于相似性代理辅助的演化神经架构搜索方法和系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119623515B 。
龙图腾网通过国家知识产权局官网在2025-05-23发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510170315.9,技术领域涉及:G06N3/042;该发明授权一种基于相似性代理辅助的演化神经架构搜索方法和系统是由刘珂玉;薛羽;田伟;徐昕;钟水明;项正龙;王修来;许艳丹设计研发完成,并于2025-02-17向国家知识产权局提交的专利申请。
本一种基于相似性代理辅助的演化神经架构搜索方法和系统在说明书摘要公布了:本发明提供了一种基于相似性代理辅助的演化神经架构搜索方法和系统,所述方法包括:步骤1,初始化一个架构种群,选择性能最佳的架构作为初始基准架构;步骤2,构建一种图神经网络变体作为特征提取器;步骤3,构建代理模型,通过联合损失函数训练代理模型;步骤4,根据适应度值保留高潜力架构,并对高潜力架构进行真实性能评估,将评估结果加入训练集;将当前种群与代理模型预测筛选出的高性能架构合并,通过环境选择策略更新种群;步骤5,重复步骤3和步骤4直至种群性能收敛,最终输出全局最优架构。本发明能够在有限的计算资源下快速搜索到高性能的神经网络架构,为神经网络的自动化设计与优化提供了一种高效、智能的新型解决方案。
本发明授权一种基于相似性代理辅助的演化神经架构搜索方法和系统在权利要求书中公布了:1.一种基于相似性代理辅助的演化神经架构搜索方法,其特征在于,包括以下步骤:步骤1,初始化一个架构种群,执行演化,并通过真实评估获取全部个体的真实性能,选择性能最佳的一个架构作为初始基准架构;同时,将全部个体及个体对应的性能数据保存为训练集;步骤2,设计基于相似性的图卷积网络的传输与聚合策略,构建一种图神经网络变体,作为特征提取器,将搜索空间中的架构映射至特征空间中,用于学习和提取架构的特征表示;步骤3,采用孪生神经网络框架构建代理模型,利用特征提取器获得的架构嵌入特征计算架构间的相似性,并通过联合损失函数训练代理模型;步骤4,基于当前种群中的架构生成候选架构,利用代理模型预测候选架构与基准架构之间的相似度,作为个体的适应度;根据适应度值保留高潜力架构,并对高潜力架构进行真实性能评估,将评估结果加入训练集;同时,将当前种群与代理模型预测筛选出的高性能架构合并,通过环境选择策略更新种群;步骤5,重复步骤3和步骤4直至种群性能收敛,最终输出全局最优架构;将所述全局最优架构用于图像识别任务;步骤1中,通过随机采样策略从搜索空间中选取N个架构作为初始种群P0,N表示种群大小;随后,通过真实评估获取每个架构的真实性能值,所有已评估的架构及性能值记录至架构池Dtrain,表示为: 其中,真实评估是指将每个架构对应的神经网络在目标数据集上进行完整的训练与验证,记录每个架构对应的神经网络在验证集上的分类准确率作为性能值;Arci,Yi表示第i个架构的记录对,Arci表示第i个架构,Yi表示第i个架构对应的性能值,Num是架构池中架构的总数;从架构池Dtrain中选取性能值最高的N个架构作为当前种群并将性能最优的架构设定为初始基准架构Arcbest;在步骤2中,将每个架构表示为图结构数据,采用有向无环图G的形式表示为G={V,E},其中顶点V代表架构对应的神经网络的层级节点,每个层级节点对应一种操作,边E表示层级之间的连接关系;将图的节点特征矩阵X和邻接矩阵A输入到由图卷积网络和多层感知器构成的图神经网络变体中进行处理,实现架构的特征提取,所述图卷积网络用于提取节点特征,所述多层感知器用于提取结构特征;步骤2具体包括如下步骤:步骤2.1,基于图卷积网络捕获节点特征:通过引入相似性度量的方法,改进图卷积网络的静态传输与聚合规则,以捕获节点间特征的相关性,基于相似性聚合策略的图卷积网络更新公式为: 其中是节点i在第l层的节点特征向量,σ是非线性激活函数,Wil表示节点i在第l层的可学习权重矩阵,表示第l层从节点j到节点i的传输矩阵,矩阵通过第i个节点特征hi与第j个节点特征hj的余弦相似度乘以i节点与j节点的邻接关系Aij计算得到,∥hi∥2表示节点特征hi的欧几里得范数,表示矩阵转置;邻居集合表示节点i在第l层的在聚合过程中保留的k个邻居索引值,定义为ik表示参与节点i特征聚合的第k个索引值,θ∈[0,1]是相似度阈值,根据所有计算分布的均值和标准差设定,只保留相似度高于阈值θ的邻居节点进行聚合计算;步骤2.2,基于多层感知器捕获结构特征:将邻接矩阵A展平为一维向量xA=flattenA,并输入至多层感知器以捕获结构特征,flatten表示将矩阵按行优先展平为一维向量的操作,多层感知器的特征传播公式为: 其中,表示第l层隐藏层输出的结构特征向量,且初始输入是第l层的权重矩阵,用于实现线性变换,bl为第l层的偏置项;为实现节点特征与结构特征的联合表征,将图卷积网络与多层感知器的输出进行线性组合,公式为: 其中,Hl是第l层的节点特征向量矩阵,是第l层的结构特征向量矩阵,β∈[0,1]是一个可学习参数,用于动态平衡节点特征与结构特征对嵌入学习的贡献,是第l层的特征向量矩阵;最终,将特征提取器的输出展平为一维向量Emb即所捕获的架构特征向量,L是特征提取器的总层数;步骤3包括:步骤3.1,划分相似性标签,制作训练数据集:对于架构池Dtrain中的架构,按照两两组合的方式生成样本对,总计得到Sum个样本对,Sum=Num-1×Num2,构成代理模型的训练数据集其中,yij是两个样本Arci,和Arcj的相似性标签,对于样本对{Arci,Yi,Arcj,Yj},性能差ΔY定义为ΔY=Yi-Yj,则相似度similarity的计算方法为:当ΔY≥0时,当ΔY0时,其中e表示自然常数;如果similarity大于阈值,表示两个样本Arci,Arcj的特性相似;否则表示两个样本Arci,Arcj的特性不相似;如果两个样本Arci,Arcj的特性相似,则yij=1表示正样本对;如果两个样本Arci,Arcj的特性不相似,则yij=0表示负样本对;步骤3.2,搭建代理模型:采用孪生神经网络作为代理模型Model,代理模型Model包括两个结构和参数完全共享的分支子网络;所述分支子网络由步骤2中定义的特征提取器构成,包括用于提取节点特征的图卷积网络和用于提取结构特征的多层感知器;将样本对{Arci,Yi,Arcj,Yj}中的两个样本Arci,Yi和Arcj,Yj分别输入两个分支子网络,得到第i个样本Arci,Yi的特征向量Embi和第j个样本Arcj,Yj的特征向量Embj,计算Embi和Embj的余弦相似度Dij作为预测的适应度值,表示架构Arci和架构Arcj的相似程度: 步骤3.3,训练代理模型:利用训练数据集Data,基于联合损失函数计算损失值,通过反向传播算法更新代理模型的可训练参数,重复步骤3.3直至代理模型收敛;λ∈[0,1]是一个可学习参数;其中,相似性损失M表示样本对总数,margin为调节负样本对距离的阈值;max表示取最大值函数;回归损失其中表示与当前架构相似度高于阈值τ的前k个提前训练好的样本的索引值集合,τ是相似度阈值;Yi是第i个样本的真实性能值。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南京信息工程大学,其通讯地址为:211899 江苏省南京市江北新区华富路1号数智溪谷4号楼;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。