申请/专利权人：中山大学

申请日：2020-12-30

公开（公告）日：2024-04-16

公开（公告）号：CN112686383B

主分类号：G06N3/084

分类号：G06N3/084

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2021.05.07#实质审查的生效;2021.04.20#公开

摘要：本发明公开了一种通信并行的分布式随机梯度下降的方法、系统及装置，该方法包括：读取训练数据；按批次将训练数据输入到本地模型进行前向传播；计算损失值；反向传播计算参数的本地梯度；对本地模型参数进行更新并发送到参数服务器；接收参数服务器聚合平均后返回的最终模型。该系统包括：计算节点和参数服务器。该装置包括存储器以及用于执行上述通信并行的分布式随机梯度下降的方法的处理器。通过使用本发明，既减少了通信开销，又能减少训练所需时间。本发明作为一种通信并行的分布式随机梯度下降的方法、系统及装置，可广泛应用于模型训练领域。

主权项：1.一种通信并行的分布式随机梯度下降的方法，其特征在于，包括计算节点工作步骤：S1、读取本地的训练数据；S2、按批次将训练数据输入到本地模型进行前向传播，得到本地模型的实际输出；S3、根据实际输出和预设的期望输出得到损失值；S4、基于损失值对本地模型进行反向传播，逐层计算得到参数的本地梯度；S5、根据小批量随机梯度下降算法和本地梯度对本地模型参数进行更新，得到更新后的本地模型；S6、新建子线程与参数服务器进行通信并向参数服务器发送更新后的本地模型；S7、根据更新后的本地模型进行模型同步并返回步骤S2，直至迭代训练达到预设次数，接收参数服务器聚合平均后返回的最终模型，完成训练；所述根据小批量随机梯度下降算法和本地梯度对本地模型参数进行更新，得到更新后的本地模型这一步骤，其具体包括：判断到当前批次是第一次迭代训练，根据本地梯度和小批量随机梯度下降算法对本地模型参数进行更新，得到更新后的本地模型；判断到当前批次不是第一次迭代训练，基于预设的更新公式对本地模型参数进行更新，得到更新后的本地模型；对于第t次迭代，所述预设的更新公式具体如下： 上式中，k表示第k个计算节点，t表示第t次迭代，η表示学习率，⊙表示向量之间的内积操作，Wt表示第t次迭代计算的平均后的同步模型参数，表示计算节点k第t次迭代计算的本地模型参数，表示计算节点k第t次迭代计算得到的本地梯度。

全文数据：

权利要求：

百度查询： 中山大学 一种通信并行的分布式随机梯度下降的方法、系统及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD