申请/专利权人:中国地质大学(北京)
申请日:2022-05-20
公开(公告)日:2022-08-12
公开(公告)号:CN114900525A
主分类号:H04L67/1008
分类号:H04L67/1008
优先权:
专利状态码:有效-授权
法律状态:2022.12.27#授权;2022.08.30#实质审查的生效;2022.08.12#公开
摘要:本发明提供一种偏斜数据流的本发明实施例提供的方法及系统,方法包括:获取处理所需的数据;根据数据为节点提交任务;节点执行上游不断提交的任务,根据任务的类型对提交的任务分不同处理方法进行处理;其中,不同处理方法包括:负载迁移步骤:对负载产生偏斜的集群动态分配资源,直到负载恢复到合理范围内;数据分发步骤:根据负载范围的不同对负载进行分组,存放各阶段产生的关键任务和各节点间由于负载差异需要调节的资源;时钟监控步骤:定期对集群负载进行一次判断,确定是否需要对集群负载进行均衡处理,确保在处理任务时不会出现不均匀的负载。本发明使负载平衡度大幅度降低,在恢复系统负载均衡的同时改善系统性能。
主权项:1.一种偏斜数据流的本发明实施例提供的方法,其特征在于,所述方法包括:获取处理所需的数据;根据所述数据为节点提交任务;所述节点执行上游不断提交的任务,根据所述任务的类型对提交的所述任务分不同处理方法进行处理;其中,所述不同处理方法包括:负载迁移步骤:对负载产生偏斜的集群动态分配资源,直到负载恢复到合理范围内;数据分发步骤:根据负载范围的不同对负载进行分组,存放各阶段产生的关键任务和各节点间由于负载差异需要调节的资源;时钟监控步骤:定期对集群负载进行一次判断,确定是否需要对集群负载进行均衡处理,确保在处理任务时不会出现不均匀的负载。
全文数据:
权利要求:
百度查询: 中国地质大学(北京) 一种偏斜数据流的本发明实施例提供的方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。