申请/专利权人：谷歌有限责任公司

申请日：2021-09-17

公开（公告）日：2024-04-12

公开（公告）号：CN117882087A

主分类号：G06N5/04

分类号：G06N5/04;G06N3/0499;G06N3/063;G06F9/48

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.30#实质审查的生效;2024.04.12#公开

摘要：在本文档中描述了用于执行机器学习模型的推理操作的方法、系统和装置，其包括编码在计算机存储介质上的计算机程序。在一个方面，该方法包括接收表示包括推理操作的第一机器学习模型的数据。获得系统执行推理操作的估计历时。获得为在循环时间窗口的每次出现期间执行优先机器学习模型的优先推理操作而保留的优先时间段。确定在保留优先时间段之后剩余的循环时间窗口的每次出现的剩余时间段。对估计历时是否大于剩余时间段进行确定。作为响应，第一机器学习模型被划分成子模型组。硬件处理单元在剩余时间段期间执行子模型的推理操作。

主权项：1.一种由系统执行的方法，所述系统包括主机和一个或多个硬件处理单元，所述硬件处理单元被配置成执行多个机器学习模型的推理操作，所述方法包括：在所述主机处接收表示第一机器学习模型的数据，其中，所述第一机器学习模型包括用于处理输入以生成第一推理输出的推理操作；获得所述系统执行用于处理所述输入以生成所述第一推理输出的所述第一机器学习模型的所述推理操作的第一估计历时；在循环时间窗口的每次出现期间，识别为执行优先机器学习模型的优先推理操作而保留的优先时间段，在所述循环时间窗口中，所述一个或多个硬件处理单元执行所述多个机器学习模型的所述推理操作的至少一部分；确定在为执行所述优先推理操作而保留所述优先时间段之后剩余的所述循环时间窗口的每次出现的第一剩余时间段；确定所述第一估计历时是否大于所述第一剩余时间段；响应于确定所述第一估计历时大于所述第一剩余时间段，将所述第一机器学习模型划分成具有小于或等于所述第一剩余时间段的相应估计历时的第一组子模型，其中，所述第一组子模型中的每个子模型包括所述第一机器学习模型的所述推理操作的相应部分；以及由所述一个或多个硬件处理单元在所述循环时间窗口的出现的所述第一剩余时间段期间执行所述第一组子模型中的子模型的推理操作。

全文数据：

权利要求：

百度查询： 谷歌有限责任公司 执行机器学习模型的分割推理操作

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD