申请/专利权人：华为技术有限公司

申请日：2022-09-30

公开（公告）日：2024-04-12

公开（公告）号：CN117875425A

主分类号：G06N5/04

分类号：G06N5/04;G06N3/0464;G06N3/08

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.30#实质审查的生效;2024.04.12#公开

摘要：本申请公开了一种神经网络模型的推理方法，该方法应用于计算集群，计算集群包括多个推理服务器及内存池，每个推理服务器包括至少一个推理卡及本地内存，该方法包括：计算集群中的第一推理服务器的第一推理卡接收推理任务；第一推理卡若在第一推理卡未命中执行推理任务的参数，则从第一服务器的本地内存中获取参数；若在第一服务器的本地内存中未命中参数，则从内存池中获取参数。第一推理卡能够基于获取的所有参数执行推理任务。基于第一推理服务器的本地内存的高速读写能力，能够提高第一推理卡获取参数的速度，从而降低第一推理卡获取参数的时延，满足执行推理任务的低时延的要求。此外，本申请还提供了对应的装置、计算集群及存储介质。

主权项：1.一种神经网络模型的推理方法，应用于计算集群，所述计算集群包括多个推理服务器及内存池，每个推理服务器包括至少一个推理卡及本地内存，其特征在于，所述方法包括：所述计算集群中的第一推理服务器的第一推理卡接收推理任务；在所述第一推理卡中未命中执行所述推理任务的参数后，所述第一推理卡从所述第一推理服务器的本地内存中获取所述参数；在所述本地内存中未命中所述参数时，则从所述内存池中获取所述参数；在获取执行所述推理任务的所有参数后，所述第一推理卡执行所述推理任务。

全文数据：

权利要求：

百度查询： 华为技术有限公司 一种神经网络模型的推理方法、装置及相关设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD