龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：阿里巴巴集团控股有限公司
申请日：2018-10-24
公开（公告）日：2024-05-17
公开（公告）号：CN111090502B
主分类号：G06F9/48
分类号：G06F9/48
优先权：
专利状态码：有效-授权
法律状态：2024.05.17#授权;2020.05.29#实质审查的生效;2020.05.01#公开
摘要：本申请公开了一种流数据任务调度方法，应用于任务调度系统，包括：基于目标任务的任务状态参数和目标节点的节点状态参数，确定目标集群的集群运行参数；基于任务状态参数和集群运行参数中至少一项，确定目标任务的调度状态；基于目标任务的调度状态，对目标任务进行任务调度。采用本方案，可以结合任务的运行状态和节点的运行状态，综合判断集群运行的健康程度，从而可以及时、准确的感知到任务处理或集群运行的异常状态，进而能够在流数据任务的处理过程出现异常时及时进行任务调度，有利于降低人工维护成本，提高流数据处理平台的稳定性。
主权项：1.一种流数据任务调度方法，应用于任务调度系统，所述任务调度系统用于调度流数据任务，所述流数据任务由流数据处理系统处理，其中，所述方法包括：根据目标任务中数据过满队列的数量、所述目标任务中流数据的持续堆积时间和所述目标任务的处理状态中至少一项，确定所述目标任务的任务状态参数；根据目标节点的内存状态、无效数据回收状态和节点连通状态中至少一项，确定所述目标任务的节点状态参数；基于所述任务状态参数，确定所述目标任务中异常任务的数量；根据所述异常任务的数量，确定目标集群的作业运行参数，所述作业运行参数与所述异常任务的数量负相关；基于所述节点状态参数，确定所述目标节点中异常节点的数量；根据所述异常节点的数量，确定所述目标集群的节点运行参数，所述节点运行参数与所述异常节点的数量负相关；基于所述作业运行参数和所述节点运行参数，确定所述目标集群的集群运行参数；基于所述任务状态参数和所述集群运行参数中至少一项，确定所述目标任务的调度状态；基于所述目标任务的调度状态，对所述目标任务进行任务调度；其中，所述流数据处理系统中包含至少一个集群，所述目标集群为所述至少一个集群中任一个，所述目标任务为被分发至所述目标集群处理的流数据任务，所述目标节点为所述目标集群中的流数据处理节点。
全文数据：
权利要求：
百度查询： 阿里巴巴集团控股有限公司 一种流数据任务调度方法和装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号