申请/专利权人：之江实验室

申请日：2023-11-02

公开（公告）日：2024-03-22

公开（公告）号：CN117171577B

主分类号：G06F18/214

分类号：G06F18/214

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2023.12.22#实质审查的生效;2023.12.05#公开

摘要：本说明书公开了一种高性能算子选择的动态决策方法及装置，包括：在选择模型中特定算子应该由算子库中具体的哪一个算子实现时，需要定位到模型中特定算子的shape特征的特征区间下，并确定该特征区间下的性能排序子表是否被更新过，若是，则可以直接通过该特征区间下更新好的性能排序子表选取出目标算子，若还未更新，则在模型训练阶段可以在每一轮训练时选取不同的算子在模型中进行训练，从而得到算子的性能分数，对性能排序子表进行更新，那么在后续训练这个模型（或者其他模型中需要相同特征区间下的shape特征的算子）时，可以直接使用该性能排序子表选取出合适的算子，从而相比于现有技术能够更加准确的选择出性能良好的算子。

主权项：1.一种高性能算子选择的动态决策方法，其特征在于，包括：服务器确定构建出的待训练模型；确定所述待训练模型对应的计算图，并根据所述计算图，确定出所述待训练模型中的特定算子；确定所述特定算子的shape特征，基于所述shape特征，确定在算子库中用于实现所述特定算子的各候选算子，并确定所述shape特征落入的特征区间；判断所述特征区间对应的性能排序子表是否已被更新，所述性能排序子表用于排序所述特征区间下所述各候选算子的性能分数；若所述性能排序子表未被更新，在训练所述待训练模型时在不同轮次的训练中通过预设的调度模块采用所述各候选算子中的不同候选算子实现所述特定算子，以得到所述各候选算子在所述特征区间下的性能分数，并根据所述性能分数，对性能排序子表进行更新，以及基于更新后的性能排序子表从所述各候选算子中选取出目标算子，将所述目标算子应用在所述待训练模型中以对所述待训练模型进行训练，其中，所述调度模块会根据算子信息加载配置文件的性能排序子表进内存；若所述性能排序子表已被更新，基于所述性能排序子表从所述各候选算子中选取出目标算子，并将所述目标算子应用在所述待训练模型中以对所述待训练模型进行训练，所述待训练模型完成训练后用于执行所述待训练模型所对应的业务，以及通过框架调度将完成更新的性能排序子表重新写回所述算子库的配置信息中。

全文数据：

权利要求：

百度查询： 之江实验室 一种高性能算子选择的动态决策方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD