申请/专利权人：天翼电子商务有限公司

申请日：2022-10-27

公开（公告）日：2024-04-30

公开（公告）号：CN117952145A

主分类号：G06N3/044

分类号：G06N3/044;G06N3/084

优先权：

专利状态码：在审-公开

法律状态：2024.04.30#公开

摘要：本发明公开了一种基于同型算子分组的梯度优化的架构搜索方法，包括以下：一、基于同型算子分组的重参数构建；二、Topk选择和accuracydrop选择；我们思路基于我们认为对于同一型的算子而言，处理不同输入的能力是一样的，于是对于node3而言，我们应该将同型算子的不同输入的map经过该型的算子处理的结果看成一个整体。本发明提出了基于同型算子分组的重参数构建方法和基于Topk选择和accuracydrop选择的方案，主要可以解决基于DARTS算法的无参数算子Skip‑connect聚集带来的性能崩溃的问题，可以搜索到更优的架构。

主权项：1.一种基于同型算子分组的梯度优化的架构搜索方法，其特征在于，包括以下：一、基于同型算子分组的重参数构建我们思路基于我们认为对于同一型的算子而言，处理不同输入的能力是一样的，于是对于node3而言，我们应该将同型算子的不同输入的map经过该型的算子处理的结果看成一个整体，于是设计了以下方式：以Node3为例，对于搜索空间，这里有了层的概念，我们node1到node2为一层，node1,node2到node3为一层，node1,node2,node3到node4为一层，于是我们这种方式的结构参数只要3*3，假设算子的计算方式是op*,重参数化的架构参数是Node1到Node3的连接输入的特征是X,Node2到Node3的连接输入的特征是Y，对于Node3，计算方式是其余Node计算类似；于是同样通过梯度下降的方式训练supernet直到收敛，通过选择最大的架构参数的最大值对应的同型算子；但是这种方式导致每层选择的算子是一样的，于是我们将选择方式进行了优化，提出了一种新的选择方案；二、Topk选择和accuracydrop选择对于同层选择的算子相同的问题，我们通过保留topk的方式，可以保留两组算子，假设通过训练后，留下了后两组的算子，共4个算子，对于这4个算子我们通过逐个删除计算删除这个算子所引起的accuracydrop，我们将accuracydrop最大的那个算子认为是最重要的算子；这种方式其实是通过验证的accuracy更加直观的衡量算子的重要度；流程如下：step1：随机选择一层通过保留topkk＝2的方式，保留两组op算子；step2：每次保留一层的op算子，训练5个epoch使得精度回升；step3：循环step1，step2，使得每一层都保留2组op算子；step4：随机选择一层通过循环删除剩下两组的op算子，用数据做验证，看哪个op算子引起的accuracydrop最大，则认为是最优算子；step5：循环step4保留下每层的accuracydrop最大的算子。

全文数据：

权利要求：

百度查询： 天翼电子商务有限公司 一种基于同型算子分组的梯度优化的架构搜索方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD