申请/专利权人：深圳市智芯华玺信息技术有限公司

申请日：2021-05-24

公开（公告）日：2024-03-22

公开（公告）号：CN113220457B

主分类号：G06F9/50

分类号：G06F9/50;G06N3/10;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2022.06.28#专利申请权的转移;2021.08.24#实质审查的生效;2021.08.06#公开

摘要：本发明公开了一种模型部署方法、模型部署装置、终端设备及可读存储介质，所述方法包括以下步骤：获取待部署深度神经网络模型的算子模型集合；将算子模型集合中满足预设条件的算子模型进行算子融合或算子分割处理，获得处理后的算子模型集合；获取所述处理后的算子模型集合中每个算子模型在用于部署模型的设备集合中的每个设备上的运行时间，获得运行时间集合；基于所述运行时间集合，采用预设搜索方法对所述处理后的算子模型集合中的算子模型进行组合，获得子模型集合；基于所述子模型集合，将待部署深度神经网络模型部署于所述设备集合上。本发明能够充分兼容不同算力的设备，可提高运行效率以及全局上的吞吐率。

主权项：1.一种模型部署方法，其特征在于，包括以下步骤：获取待部署深度神经网络模型的算子模型集合；将算子模型集合中满足预设条件的算子模型进行算子融合或算子分割处理，获得处理后的算子模型集合；获取所述处理后的算子模型集合中每个算子模型在用于部署模型的设备集合中的每个设备上的运行时间，获得运行时间集合；基于所述运行时间集合，采用预设搜索方法对所述处理后的算子模型集合中的算子模型进行组合，获得子模型集合；基于所述子模型集合，将待部署深度神经网络模型部署于所述设备集合上，完成模型部署；所述预设搜索方法为回溯法搜索方法；采用回溯法搜索方法对所述处理后的算子模型集合中的算子模型进行组合时，当实际运行时间大于等于高吞吐率优先方案的理论延时时，采用高吞吐率优先方案；所述高吞吐率优先方案具体步骤包括：将节点按输入-输出的拓扑结构依次编号，表示为Node1，Node2，...，Nodei，...，Noden；从Node1开始直到Noden，对Nodei查询拓扑图，获取与Nodei连通的分支节点，获得搜索树，对所述搜索树进行DFS遍历得到分割方案；其中，对Nodei的每个分支节点Nodei+1产生两个分支，用于表示Nodei与Nodei+1处于同一子模型和不同子模型；Nodei有多个分支节点时，找到所有分支节点汇聚的入节点Nodej，将除去Nodei到Nodej间节点以外分割方案相同的方案视为相同方案进行合并，获得最终的x个方案；遍历所述x个方案，对于某个方案，如果其需要的设备数量大于可用设备数目，则去掉该方案，获得现存的方案集合；遍历所述现存的方案集合：对于其中的每个方案，计算每一个子模型对应的算子模型在每种设备上的开销；将在不同设备上的开销进行组合，用最大的设备的开销乘以消耗的设备数量得到总的开销，找到使总的开销最小的一个组合作为最优组合，记为划分分割方案；比较所有划分分割方案的最小开销，将最小的最小开销对应的划分分割方案作为最终的划分分割方案。

全文数据：

权利要求：

百度查询： 深圳市智芯华玺信息技术有限公司 模型部署方法、模型部署装置、终端设备及可读存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD