申请/专利权人：格兰菲智能科技有限公司

申请日：2022-11-07

公开（公告）日：2024-05-07

公开（公告）号：CN117992210A

主分类号：G06F9/50

分类号：G06F9/50;G06N3/0464;G06N3/063

优先权：

专利状态码：在审-公开

法律状态：2024.05.07#公开

摘要：本发明公开了一种基于benchmark在GPU上部署DNN模型的全局优化方法及系统，该方法包括：S100：针对在符合预设条件的情况下设置的各个批大小，基于benchmark为DNN模型中待优化的各个算子选择能够使得DNN模型的总运行时间最少的kernel，得到各个批大小对应的优化结果并存储；S200：将各个批大小对应的优化结果与对应的批大小之间商值最小的优化结果作为全局优化结果并作为元数据存储在DNN模型的模型文件中。该系统包括计算模块和存储模块。本发明的技术方案改善了批大小和算子opkernel的算法选择，减少了DNN模型的算子op的总运行时间和总开销，大幅度提升了DNN模型的性能。

主权项：1.一种基于benchmark在GPU上部署DNN模型的全局优化方法，其特征在于，所述方法包括：S100：针对在符合预设条件的情况下设置的各个批大小，基于benchmark为DNN模型中待优化的各个算子选择能够使得所述DNN模型的总运行时间最少的kernel，得到各个批大小对应的优化结果并存储；S200：将各个批大小对应的优化结果与对应的批大小之间商值最小的优化结果作为全局优化结果并作为元数据存储在所述DNN模型的模型文件中。

全文数据：

权利要求：

百度查询： 格兰菲智能科技有限公司 基于benchmark在GPU上部署DNN模型的全局优化方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD