申请/专利权人：腾讯科技(深圳)有限公司

申请日：2020-08-25

公开（公告）日：2024-05-07

公开（公告）号：CN112085074B

主分类号：G06F18/214

分类号：G06F18/214;G06N3/0442;G06N3/0464;G06F18/24;G06F30/27

优先权：

专利状态码：有效-授权

法律状态：2024.05.07#授权;2022.10.18#实质审查的生效;2020.12.15#公开

摘要：本申请提供一种模型参数更新系统、方法及装置，涉及人工智能技术领域，用以优化神经网络模型的训练过程。该方法包括：各个辅计算节点与主计算节点进行多个迭代轮次的交互操作，获得各个辅计算节点和主计算节点上目标模型的本地模型参数；任一个迭代轮次的交互操作中，各个辅计算节点确定各自的本地模型参数的第一梯度，基于第一误差补偿值对第一梯度进行目标处理得到第二梯度，利用接收的第三梯度更新各自的本地模型参数；主计算节点基于第二误差补偿值对第二梯度进行目标处理得到第三梯度，将第三梯度发送给各个辅计算节点，利用第三梯度更新本地模型参数。该方法提升了分布式训练中神经网络模型的收敛性，进而提升了神经网络模型的训练效率。

主权项：1.一种模型参数更新系统，其特征在于，包括主计算节点和至少两个辅计算节点，各个辅计算节点与所述主计算节点进行多个迭代轮次的交互操作，获得所述各个辅计算节点上的本地模型参数和所述主计算节点上的本地模型参数；所述本地模型参数包括目标模型的模型参数，其中所述多个迭代轮次中任一个迭代轮次的交互操作包括：所述各个辅计算节点根据所述目标模型的训练样本，确定各自的本地模型参数的第一梯度，基于辅计算节点对应的目标处理的第一误差补偿值，对所述第一梯度进行目标处理得到第二梯度，并将所述第二梯度发送给所述主计算节点；以及利用从所述主计算节点接收的第三梯度，结合公式：xt+1＝xt-Δst，更新各自的本地模型参数，所述xt+1是第t个迭代轮次中更新得到的本地模型参数，xt是在第t-1个迭代轮次中更新得到的本地模型参数，Δst是所述第三梯度；所述第一梯度用于指示辅计算节点上的本地模型参数的变化程度，所述目标处理包括减小数据的数据量的操作；所述主计算节点基于所述主计算节点对应的目标处理的第二误差补偿值，对所述第二梯度进行所述目标处理得到所述第三梯度，并将所述第三梯度发送给所述各个辅计算节点；以及利用所述第三梯度，结合公式：xt+1＝xt-Δst，更新所述主计算节点上的本地模型参数，所述xt+1是第t个迭代轮次中更新得到的本地模型参数，xt是在第t-1个迭代轮次中更新得到的本地模型参数，Δst是所述第三梯度；以及利用所述第三梯度，结合公式更新所述第二误差补偿值，Et+1是第t+1个迭代轮次中对应的第二误差补偿值，Et是第t个迭代轮次中对应的第二误差补偿值，是至少两个所述辅计算节点的第二梯度的平均梯度，是所述第三梯度，所述t为正整数，且所述t为1时，在第1个迭代轮次中的第二误差补偿值为预设补偿值；其中，所述主计算节点基于所述主计算节点对应的目标处理的第二误差补偿值，对第二梯度进行所述目标处理，得到第三梯度，包括：在所述第t个迭代轮次中，所述主计算节点确定所述至少两个辅计算节点的第二梯度的平均梯度；所述主计算节点按照如下公式，基于所述主计算节点在所述第t个迭代轮次中对应的第二误差补偿值，对所述平均梯度进行所述目标处理，得到所述第三梯度： 其中，所述为所述主计算节点在所述第t个迭代轮次中得到的第三梯度；所述Qs是所述主计算节点上所述目标处理的算法；所述是所述平均梯度，所述Et是所述主计算节点在所述第t个迭代轮次中对应的第二误差补偿值；其中，所述各个辅计算节点与主计算节点进行多个迭代轮次的交互操作之前，通过节点交互方式，进行初始化操作；所述通过节点交互方式，进行初始化操作，具体包括：所述主计算节点获取所述目标模型的网络结构、训练样本以及初始模型参数，并将获取的初始模型参数作为第一个迭代轮次中主计算节点上的本地模型参数，以及将获取的所述网络结构、所述训练样本以及所述初始模型参数发送给所述各个辅计算节点，使所述各个辅助计算节点将接收到的初始模型参数作为第一个迭代轮次中的本地模型参数，将接收的网络结构作为所述目标模型的网络结构，将接收的训练样本作为所述目标模型的训练样本。

全文数据：

权利要求：

百度查询： 腾讯科技(深圳)有限公司 一种模型参数更新系统、方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD