申请/专利权人：上海声通信息科技股份有限公司;上海交通大学

申请日：2024-02-05

公开（公告）日：2024-04-09

公开（公告）号：CN117851074A

主分类号：G06F9/50

分类号：G06F9/50;G06N5/04

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.26#实质审查的生效;2024.04.09#公开

摘要：本发明提供了一种基于无服务器计算的在线深度学习推理服务分割方法，包括：步骤S1：基于用户提交的DLIS请求，令服务分析器分析DLIS的主导运算符O，基于分析的结果，生成作为有向无环图DAG的图G；步骤S2：基于图G，令模型分割器生成分割方案并分割DLIS，并对DLIS的切片制定并行化策略；步骤S3：基于模型分割器的分割结果与并行化策略，令调度器将同一个DLIS的若干切片部署在同一个服务器上；步骤S4：通过通信优化模块对所述服务器进行优化。本发明针对无服务器平台上的DLIS，提供模型混合分割框架，将深度学习模型水平和垂直分割，提高无服务平台中的深度学习推理服务的资源利用率和降低部署成本，同时，确保服务延迟最小化。

主权项：1.一种基于无服务器计算的在线深度学习推理服务分割方法，其特征在于，包括：步骤S1：基于用户提交的DLIS请求，令服务分析器分析DLIS的主导运算符O，基于分析的结果，生成作为有向无环图DAG的图G；步骤S2：基于图G，令模型分割器生成分割方案并分割DLIS，并对DLIS的切片制定并行化策略；步骤S3：基于模型分割器的分割结果与并行化策略，令调度器将同一个DLIS的若干切片部署在同一个服务器上；步骤S4：通过通信优化模块对所述服务器进行优化。

全文数据：

权利要求：

百度查询： 上海声通信息科技股份有限公司;上海交通大学 基于无服务器计算的在线深度学习推理服务分割方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD