申请/专利权人：杭州幻方人工智能基础研究有限公司;宁波积幂信息科技有限公司;杭州幻方科技有限公司;上海积幂科技有限公司

申请日：2023-12-20

公开（公告）日：2024-03-08

公开（公告）号：CN117669701A

主分类号：G06N3/098

分类号：G06N3/098;G06N20/00;G06N20/20

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.03.26#实质审查的生效;2024.03.08#公开

摘要：本发明涉及一种分布式模型训练打断及恢复的方法及系统，本发明通过建立虚拟模型，更新拆分参数表，根据拆分参数表进行分布式运算、打断存储及拼接加载的过程。本发明解决了断点前后的并行策略不一致时，造成的兼容问题，使得用户在进行深度学习模型训练的过程中，不必担心由于算力分配任务中断、硬件适配等原因造成的并行策略兼容问题，提高了模型训练整体的适配性。同时，也减少了断点保存与加载过程计算资源和管理成本的浪费，提高模型训练整体效率。

主权项：1.一种分布式模型训练打断及恢复的方法，其特征在于，包括如下步骤：1构建包含有切分参数表的虚拟模型，并按照切分参数表切分模型，进行分布式训练；2接收到打断信号后，训练模型被挂起，checkpoint数据存储；3接收到恢复训练信号后，根据虚拟模型参数表拼接加载模型。

全文数据：

权利要求：

百度查询： 杭州幻方人工智能基础研究有限公司;宁波积幂信息科技有限公司;杭州幻方科技有限公司;上海积幂科技有限公司 一种分布式模型训练打断及恢复的方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD