申请/专利权人:太初(无锡)电子科技有限公司
申请日:2023-12-20
公开(公告)日:2024-03-26
公开(公告)号:CN117768545A
主分类号:H04L67/60
分类号:H04L67/60;H04L41/12;H04L41/14
优先权:
专利状态码:在审-实质审查的生效
法律状态:2024.04.12#实质审查的生效;2024.03.26#公开
摘要:本申请公开了一种考虑通信开销的分布式任务调度方法,涉及数字信息传输领域,该方法通过部署在目标集群中的拓扑时延感知器感知目标集群的网络拓扑和目标集群中不同设备之间的通信时延,然后在确定待调度的分布式任务对应的初始主机节点后,基于网络拓扑和不同设备之间的通信时延确定与初始主机节点之间的通信开销最低的若干个关联主机节点,从而将分布式任务分配到各个初始主机节点及其关联主机节点上。该方法可以使得分布式任务中各个子任务之间的通信开销最小,方便其进行分布式任务的协作,有利于提高分布式任务的执行效率,对于大模型训练任务这种对网络延迟十分敏感的场景尤其适用。
主权项:1.一种考虑通信开销的分布式任务调度方法,其特征在于,所述分布式任务调度方法包括:通过部署在目标集群中的拓扑时延感知器感知所述目标集群的网络拓扑和所述目标集群中不同设备之间的通信时延,所述目标集群中的设备包括若干台网络设备和若干台主机设备,不同的网络设备之间通过网络相连,每台主机设备与对应的一台网络设备相连,各台主机设备用于提供系统资源;所述目标集群中的每台网络设备抽象为网络拓扑中的一个网络节点、每台主机设备抽象为网络拓扑中的一个主机节点,设备之间的连接关系抽象为网络拓扑中对应节点之间的边;确定待调度的分布式任务对应的初始主机节点;基于所述网络拓扑和不同设备之间的通信时延确定与所述初始主机节点之间的通信开销最低的若干个关联主机节点;将所述分布式任务分配到各个目标主机节点上,所述目标主机节点包括所述初始主机节点及其关联主机节点。
全文数据:
权利要求:
百度查询: 太初(无锡)电子科技有限公司 一种考虑通信开销的分布式任务调度方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。