申请/专利权人：中国科学技术大学

申请日：2021-08-04

公开（公告）日：2024-04-02

公开（公告）号：CN113592089B

主分类号：G06N3/082

分类号：G06N3/082;G06N3/04

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2021.11.19#实质审查的生效;2021.11.02#公开

摘要：本发明公开了一种分布式深度学习训练场景下压缩感知的梯度同步方法，首先，计算任务与传输任务解绑，并分类进行管理与调度，使得将不同梯度的压缩相关的计算隐藏在传输中成为可能；其次，本发明在保留原有ParameterServer和Ring‑allreduce特性的前提下，将发送给相同目的执行节点的梯度按批次管理，对发送给不同目的节点的批次协调其发送的时机，使得既保证了梯度压缩算法先验条件的同时，又高效并行地利用了网络的上下行带宽。结合以上两点技术方案，本发明能够大大提升开启梯度压缩的分布式深度学习的梯度同步速度。

主权项：1.一种分布式深度学习训练场景下压缩感知的梯度同步方法，其特征在于，包括：设置若干参与训练的物理服务器，每一物理服务器上部署一个执行节点，并在任一物理服务器上部署一个全局唯一的协调者，所述协调者与所有执行节点互联；将梯度压缩相关的计算与传输任务解绑，每一执行节点上的任务包括：梯度压缩相关的计算任务与传输任务，每一执行节点本地维护一个包含不同类型任务依赖关系的数据依赖图，将满足依赖关系的不同类型的任务推送至不同的任务队列中，并由不同的线程做异步调度执行，其中，梯度压缩相关的计算任务由执行节点所在物理服务器上的GPU执行，传输任务则利用执行梯度压缩相关的计算任务得到的压缩后的梯度信息生成元数据发送至协调者；所述协调者根据元数据中目的执行节点的编号将压缩后的梯度信息进行归类，并生成传输方案广播给所有执行节点，各执行节点按照传输方案传输压缩后的梯度信息，同时接收压缩后的梯度信息后更新本地的数据依赖图；其中，所述将梯度压缩相关的计算与传输任务解绑包括：将梯度压缩相关的计算任务解绑为压缩计算与解压缩计算，将传输任务解绑为发送任务与接收任务；所述协调者根据元数据中目的执行节点的编号将压缩后的梯度信息进行归类，并生成传输方案包括：所述协调者收到各执行节点发送的元数据后，按照目的执行节点编号组织在对应的任务队列中，该任务队列组数目与参与训练的执行节点的数目保持一致；将每个任务队列中的任务合并到一起，组成批次的形式，批次的大小由预先设置的阈值决定，将所有批次综合在一起形成梯度批次数据；利用梯度批次数据生成传输方案，传输方案对应参数服务器架构或者环状架构中的下一步传输方式，如果是参数服务器架构，则从梯度批次数据中选择没有网络冲突的批次组织成一个传输方案，如果是环状架构，每个执行节点从前继执行节点接收数据的同时向后继执行节点发送不同批次的数据；所述执行节点中设有接收线程，用于调用网络传输接口传输压缩后的梯度信息，当所述传输方案对应环状架构中的下一步传输方式时，执行节点调用传输原语，包括发送原语与接收原语，从前继执行节点接收压缩后的梯度信息的同时发送不同批次的数据给后继执行节点。

全文数据：

权利要求：

百度查询： 中国科学技术大学 一种分布式深度学习训练场景下压缩感知的梯度同步方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD