申请/专利权人：北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司

申请日：2017-10-19

公开（公告）日：2020-11-24

公开（公告）号：CN107807815B

主分类号：G06F8/41(20180101)

分类号：G06F8/41(20180101);G06F8/60(20180101)

优先权：

专利状态码：有效-授权

法律状态：2020.11.24#授权;2018.04.10#实质审查的生效;2018.03.16#公开

摘要：本发明提供一种分布式处理任务的方法和装置，其中，该方法包括：接收待执行任务的任务请求；根据所述任务请求，选择执行所述待执行任务的任务编译部署节点，并将所述待执行任务发送至所述任务编译部署节点进行执行。本发明实施例提供的分布式处理任务的方法和装置，通过建立包含最大并发数量的任务编译部署节点的任务编译部署节点集合处理多个任务请求并且能够根据处理的任务数量实时创建任务编译部署节点以满足对大规模请求任务的处理需求，有效解决了单个任务编译部署节点的面对处理大规模任务时的瓶颈问题。

主权项：1.一种分布式处理任务的方法，其特征在于，包括：接收待执行任务的任务请求；根据所述任务请求，选择执行所述待执行任务的任务编译部署节点，并将所述待执行任务发送至所述任务编译部署节点进行执行；根据所述任务请求，选择执行所述待执行任务的任务编译部署节点，并将所述待执行任务发送至所述任务编译部署节点进行执行包括：在接收到待执行任务为编译任务的任务请求之后，将所述编译任务的任务请求信息保存至数据库中，并根据所述编译任务的任务请求从所述数据库中选择符合预设条件的任务编译部署节点，然后将所述编译任务的任务请求发送至所述符合预设条件的任务编译部署节点进行执行。

全文数据：分布式处理任务的方法和装置技术领域[0001]本发明涉及计算机技术领域，尤其涉及一种分布式处理任务的方法和装置。背景技术[0002]持续集成工具可以用于监控持续重复的工作，包括:持续的软件版本发布测试项目以及监控外部调用执行的工作。持续集成工具中各任务编译部署节点可以用来实现大规模的部署编译任务的处理。在持续集成工具构建的分布式任务编译部署系统中，任务编译部署节点在处理大规模部署编译任务时容易陷入性能瓶颈或者单个任务编译部署节点上任务压力过大的问题。[0003]以Jenkins为例，Jenkins是基于Java开发的一种持续集成工具。Jenkins的分布式构建的整套环境需要一个中心服务器JenkinsMaster节点）和若干测试机器Slave节点）组成，其中，JenkinsMaster节点负责任务的调度以及元数据和调度结果的保存，JenkinsSlave节点负责任务的具体执行，并将结果返回给JenkinsMaster节点，从而能够让同一套代码或项目在不同的环境中编译、部署等。[0004]关于Jenkins的架构，在现有技术中存在以下三种形式：[0005]—Jenkins单机模式[0006]如图1所示，该模式是指部署的Jenkins服务器不仅是JenkinsMaster节点也是JenkinsSlave节点，Jenkins服务器在接收到构建或者部署请求时就会在本机执行这些任务。[0007]二）结合单个JenkinsMaster和静态多个JenkinsSlave模式[0008]如图2所示，该模式是指部署一个JenkinsMaster节点和多个JenkinsSlave节点，这些JenkinsSlave节点是事先创建好，并注册到JenkinsMaster节点上供JenkinsMaster调度使用。当JenkinsMaster收到请求时，会选择JenkinsSlave，并将任务调度到JenkinsSlave上执行，执行芫成后，任务的兀数据和结果保存在JenkinsMaster上。[0009]三结合单个JenkinsMaster和动态多个JenkinsSlave模式[0010]如图3所示，该模式是指部署一个JenkinsMaster节点和多个动态JenkinsSlave节点，JenkinsSlave节点是执行任务的时候创建的，并动态的注册到JenkinsMaster节点上供JenkinsMaster调度使用。当JenkinsMaster收到请求时，会通过K8s插件创建合适的JenkinsSlave节点，并将任务调度到JenkinsSlave节点上执行，执行完成后，JenkinsSlave节点会被销毁，任务的兀数据和结果保存在JenkinsMaster上。[0011]然而，现有技术中存在以下缺点：[0012]1关于Jenkins单机模式[0013]由于Jenkins单机模式只适合处理小规模的任务，因此当任务数量增加时，所有的待处理任务将在一台机器上执行，由此增加了机器负载，最终导致服务器崩溃。[0014]2关于结合单个Master和静态多个JenkinsSlave模式[0015]虽然，静态Slave模式可以避免前述单机模式中的大量任务在同一台机器执行的问题，但是Slave节点的个数仍然是确定的，而且每次增加Slave节点都需要手动注册，因此操作非常麻烦，并且当任务超过一定规模时，Master节点上的压力会非常大。[0016]3关于集合单个Master和动态多个JenkinsSlave模式[0017]虽然动态创建JenkinsSlave模式可以省去手动注册的麻烦，并且JenkinsSlave节点无需始终存在，只需在有任务请求时才需要，但是这种方式仍然无法解决处理大规模任务的问题，即当任务规模超出处理能力时例如，超过10000，此时单个JenkinsMaster的性能会非常差，从而直接导致JenkinsMaster节点无法工作。发明内容[0018]有鉴于此，本发明实施例提供一种分布式处理任务的方法和装置，以解决现有技术中单个任务编译部署节点面对处理大规模任务时的瓶颈问题。[0019]为实现上述目的，根据本发明实施例的一个方面，提供了一种分布式处理任务的方法，该方法包括：[0020]接收待执行任务的任务请求；[0021]根据所述任务请求，选择执行所述待执行任务的任务编译部署节点，并将所述待执行任务发送至所述任务编译部署节点进行执行。[0022]可选地，该方法还包括:在接收待执行任务的任务请求之前，创建预设数量的任务编译部署节点，其中，所述预设数量是指不小于所述待执行任务的最大并发数的数量。[0023]可选地，在创建预设数量的任务编译部署节点的步骤中，包括:通过集群管理系统创建包含预设数量的所述任务编译部署节点的任务编译部署节点集合。[0024]可选地，该方法还包括:在创建所述预设数量的任务编译部署节点之后，将所述任务编译部署节点的信息保存至数据库中，其中，所述信息包括以下至少一项内容:每个任务编译部署节点的服务器的IP地址、运行状态、已经执行完成任务的任务数量，其中所述运行状态包括空闲状态和工作状态。[0025]可选地，根据所述任务请求，选择执行所述待执行任务的任务编译部署节点，并将所述待执行任务发送至所述任务编译部署节点进行执行包括：[0026]在接收到待执行任务为编译任务的任务请求之后，将所述编译任务的任务请求信息保存至所述数据库中，并根据所述编译任务的任务请求从所述数据库中选择符合预设条件的任务编译部署节点，然后将所述编译任务的任务请求发送至所述符合预设条件的任务编译部署节点进行执行。[0027]可选地，根据所述任务请求，选择执行所述待执行任务的任务编译部署节点，并将所述待执行任务发送至所述任务编译部署节点进行执行还包括：[0028]在接收到待执行任务为编译任务的任务请求之前，根据接收到的创建任务的任务请求，将所述创建任务的任务请求信息保存至所述数据库中。[0029]可选地，根据所述编译任务的任务请求从所述数据库中选择符合预设条件的任务编译部署节点包括：[0030]获取所述数据库中保存的运行状态为空闲状态的任务编译部署节点的列表，并从所述列表中选择己经执行完成任务的任务数量最少的任务编译部署节点；以及[0031]如果所述数据库中没有运行状态为空闲状态的任务编译部署节点，则通过所述集群管理系统创建一个新的任务编译部署节点作为执行所述编译任务的任务编译部署节点。[0032]可选地，该方法还包括:在选择执行所述待执行任务的任务编译部署节点之后，将所述任务编译部署节点的运行状态设置为工作状态；以及[0033]在所述待执行任务执行完毕之后，保存所述待执行任务的结果信息，并将所述任务编译部署节点的运行状态设置为空闲状态。[0034]本发明实施例的一个方面，提供了一种分布式处理任务的装置，该装置包括：[0035]接收模块，用于接收待执行任务的任务请求；[0036]执行模块，用于根据所述任务请求，选择执行所述待执行任务的任务编译部署节点，并将所述待执行任务发送至所述任务编译部署节点进行执行。[0037]可选地，该装置还包括:创建模块，用于在接收待执行任务的任务请求之前，创建预设数量的任务编译部署节点，其中，所述预设数量是指不小于所述待执行任务的最大并发数的数量。[0038]可选地，所述创建模块还用于:通过集群管理系统创建包含预设数量的所述任务编译部署节点的任务编译部署节集合。[0039]可选地，该装置还包括:存储模块，用于在创建所述预设数量的任务编译部署节点之后，将所述任务编译部署节点的信息保存至数据库中，其中，所述信息包括以下至少一项内容:每个所述任务编译部署节点的服务器的IP地址、运行状态、己经执行完成任务的任务数量，其中所述运行状态包括空闲状态和工作状态。[0040]可选地，所述执行模块还用于:将所述编译任务的任务请求信息保存至所述数据库中，并根据所述编译任务的任务请求从所述数据库中选择符合预设条件的任务编译部署节点，然后将所述编译任务的任务请求发送至所述符合预设条件的任务编译部署节点进行执行。[0041]可选地，所述执行模块还用于:在接收到待执行任务为编译任务的任务请求之前，根据接收到的创建任务的任务请求，将所述创建任务的任务请求信息保存至所述数据库中。[0042]可选地，所述执行模块还用于:获取所述数据库中保存的运行状态为空闲状态的任务编译部署节点的列表，并从所述列表中选择已经执行完成任务的任务数量最少的任务编译部署节点；以及[0043]如果所述数据库中没有运行状态为空闲状态的任务编译部署节点，则通过所述集群管理系统创建一个新的任务编译部署节点作为执行所述编译任务的任务编译部署节点。[0044]可选地，该装置还包括:设置模块，用于在选择执行所述待执行任务的任务编译部署节点之后，将所述任务编译部署节点的运行状态设置为工作状态；以及在所述待执行任务执行完毕之后，保存所述待执行任务的结果信息，并将所述任务编译部署节点的运行状态设置为空闲状态。[0045]本发明实施例还提供一种分布式处理任务的终端设备，包括:一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例的分布式处理任务的方法。[0046]本发明实施例还提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如本发明实施例的分布式处理任务的方法。[0047]本发明实施例提供的分布式处理任务的方法和装置，能够解决了单个任务编译部署节点的面对处理大规模任务时的瓶颈问题;通过创建包含最大并发数量的任务编译部署节点的任务编译部署节点集合，从而能够使得该分布式系统能够具有多个任务编译部署节点以便于处理多个任务请求;通过将创建的任务编译部署节点的信息保存至数据库中，从而能够处理根据待执行任务的处理需求便于选择任务编译部署节点执行待处理任务;通过根据所述编译任务的任务请求从数据库中选择符合预设条件的任务编译部署节点，然后将编译任务的任务请求发送至符合预设条件的任务编译部署节点进行执行，从而能够选择满足条件的任务编译部署节点执行相应的待执行任务;通过将任务编译部署节点的信息保存至数据库中，从而实现对任务编译部署节点信息的数据持久化，以便后续处理时可以方便的获取数据和或随时查看数据;通过获取数据库中保存的运行状态为空闲状态的任务编译部署节点的列表，并从列表中选择已经执行完成任务的任务数量最少的任务编译部署节点；以及如果数据库中没有运行状态为空闲状态的任务编译部署节点，则通过集群管理系统创建一个新的任务编译部署节点作为执行所述编译任务的任务编译部署节点，从而能够选择出满足预设条件的任务编译部署节点执行待处理任务。[0048]上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。附图说明[0049]为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：[0050]图1是现有技术中关于Jenkins的架构中的Jenkins单机模式的示意图；[0051]图2是现有技术中关于Jenkins的架构中的结合单个Master和静态多个Slave模式的不意图；[0052]图3是现有技术中关于Jenkins的架构中的结合单个Master和动态多个Slave模式的不意图；[0053]图4是根据本发明实施例的分布式处理任务的方法的主要流程的示意图；[0054]图5是根据本发明实施例的分布式处理任务的装置的主要模块的示意图；[0055]图6是适于用来实现本发明实施例的终端设备的计算机系统的结构示意图。具体实施方式[0056]以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识至IJ，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。[0057]在本文中，需要理解的是，所涉及的术语中：[0058]Jenkins:是一个开源软件项目，是基于Java开发的一种持续集成工具，用于监控持续重复的工作，旨在提供一个开放易用的软件平台，使软件的持续集成变成可能。[0059]Kubernetes:简称为k8s，是自动化容器操作的开源平台，是一种用于实现容器化应用集群管理的系统，这些操作包括部署，调度和节点集群间扩展。Kubernetes不仅仅支持Docker，还支持Rocket，这是另一种容器技术。[0060]MySQL:是一个关系型数据库管理系统，由瑞典MySQLAB公司开发，目前属于Oracle旗下产品。MySQL是最流行的关系型数据库管理系统之一，在WEB应用方面，MySQL是最好的RDBMSRelationalDatabaseManagementSystem，关系数据库管理系统）应用软件。[0061]示例性方法[0062]如图4所示，提供了一种分布式处理任务的方法，该方法包括：[0063]步骤S401:接收待执行任务的任务请求；[0064]步骤S402:根据所述任务请求，选择执行所述待执行任务的任务编译部署节点JenkinsMaster，并将所述待执行任务发送至所述任务编译部署节点进行执行。本发明实施例中，任务编译部署节点可以但不限于是Jenkins持续集成工具中的JenkinsMaster。以下以JenkinsMaster为例，进行任务编译部署节点的创建和任务处理的说明。[0065]可选地，该方法还包括：在接收待执行任务的任务请求之前，创建预设数量的JenkinsMaster，其中，所述预设数量是指不小于所述待执行任务的最大并发数的数量。[0066]可选地，在创建预设数量的JenkinsMaster的步骤中，包括：[0067]通过Kubernetes系统创建包含预设数量的所述JenkinsMaster的JenkinsMaster集合。[0068]可选地，该方法还包括：在创建所述预设数量的JenkinsMaster之后，将所述JenkinsMaster的信息保存至数据库中，其中，所述信息包括以下至少一项内容：每个JenkinsMaster的服务器的IP地址、运行状态、已经执行完成任务的任务数量，其中所述运行状态包括空闲状态和工作状态。[0069]可选地，根据所述任务请求，选择执行所述待执行任务的JenkinsMaster，并将所述待执行任务发送至所述JenkinsMaster进行执行包括:在接收到待执行任务为编译任务的任务请求之后，将所述编译任务的任务请求信息保存至所述数据库中，并根据所述编译任务的任务请求从所述数据库中选择符合预设条件的JenkinsMaster，然后将所述编译任务的任务请求发送至所述符合预设条件的JenkinsMaster进行执行。[0070]可选地，根据所述任务请求，选择执行所述待执行任务的JenkinsMaster，并将所述待执行任务发送至所述JenkinsMaster进行执行还包括：[0071]在接收到待执行任务为编译任务的任务请求之前，根据接收到的创建任务的任务请求，将所述创建任务的任务请求信息保存至所述数据库中。[0072]可选地，根据所述编译任务的任务请求从所述数据库中选择符合预设条件的JenkinsMaster包括：[0073]获取所述数据库中保存的运行状态为空闲状态的JenkinsMaster的列表，并从所述列表中选择已经执行完成任务的任务数量最少的JenkinsMaster;以及[0074]如果所述数据库中没有运行状态为空闲状态的JenkinsMaster，则通过所述Kubernetes系统创建一个新的JenkinsMaster作为执行所述编译任务的JenkinsMaster。[OO75]可选地，该方法还包括:在选择执行所述待执行任务的JenkinsMaster之后，将所述JenkinsMaster的运行状态设置为工作状态；以及[0076]在所述待执行任务执行完毕之后，保存所述待执行任务的结果信息，并将所述JenkinsMaster的运行状态设置为空闲状态。[0077]实施例[0078]下面结合一个具体实施例对本发明进行具体描述，然而值得注意的是该具体实施例仅是为了更好地描述本发明，并不构成对本发明的不当限定。[0079]首先，根据任务的处理需求，通过Kubernetes系统创建包含预设数量的JenkinsMaster的JenkinsMaster集合（JenkinsMasterPool，将该JenkinsMaster集合中的每个JenkinsMaster的信息保存到Mysql数据库的Server表中，其中，Server表中记录的信息至少包括:每个Master的服务器的IP地址、该Master的状态是否为空闲以及该Master已经执行完成任务的个数中的一个或多个。[0080]然后，在应用程序接口（API接收到任务请求之后，判断该任务请求的请求类型。[0081]如果该任务请求为“创建任务”的任务请求，则向Mysql数据库中的Job表中插入一条记录。具体来说，由于原生的Jenkins会将任务通过文本的方式保存在本地，因此只有本地的Jenkins才会查询并获取这个任务，而在本发明实施例中插入记录的目的在于将这条任务信息保存至数据库，以便于将来对该任务进行编译的时候可以从该数据库中获取该任务，再从JenkinsMaster集合（JenkinsMasterPool中选择一台JenkinsMaster执行该任务；[0082]如果该任务请求为“编译任务”的请求时，首先向Mysql数据库中的Build表插入一条构建的记录。具体来说，将构建记录保存到Mysql数据库的目的在于为了方便用户以后查看这些记录，即使当时执行这条构建记录的JenkinsMaster被销毁了，我们依然可以从Mysql数据库中查看这条记录。然后，再从Server表中选择一个满足预设条件的Master来处理该任务。具体来说，该预设条件如下：[0083]第一，从Server表中筛选出空闲的Master列表；[0084]第二，针对空闲的JenkinsMaster列表中，按照已经执行完成任务的个数排序，从中选择已经执行完成任务的个数最小的JenkinsMaster作为满足预设条件的JenkinsMaster；[0085]第三，如果Server表中没有空闲的JenkinsMaster，贝J通过Kubernetes系统动态创建一个新的JenkinsMaster，将该新的JenkinsMaster来处理该任务，并在Server表中插入这条新的JenkinsMaster记录。[0086]也就是说，当接收的所述任务请求包含所述待执行任务的任务数量大于所述预设数量时，则通过所述Kubernetes系统在所述JenkinsMaster集合中继续创建所述任务数量与所述预设数量之差数量的所述JenkinsMaster。[0087]最后，待找到?两足预设条件的JenkinsMaster之后，将Server表中该Master记录信息中的状态设置为“工作状态”，并待该任务执行完毕之后，将该任务的结果信息保存到BuiId表中，再将该JenkinsMaster的状态设置为“空闲状态”，以供后续使用。[0088]通过本发明实施例提供的分布式处理任务的方法能够将大规模的任务由单个JenkinsMaster节点前置到数据库中，然后将这些任务均匀的调度到各个JenkinsMaster节点上，将单个JenkinsMaster节点处理大规模任务的形式转换为多个JenkinsMaster节点同时处理小规模的任务，有效解决了单个JenkinsMaster节点处理多任务时遇到的瓶颈问题。[0089]此外，在执行“编译”或“部署”任务时，该分布式系统只需要处理接收到的相应请求即可，无需应对和判断提出待处理任务的来源，从而将待处理任务和Jenkins服务解耦。[0090]如图5所示，是根据本发明实施例的分布式处理任务的装置的主要模块的示意图；其中，该装置包括：[0091]接收模块501，用于接收待执行任务的任务请求；[0092]执行模块502,用于根据所述任务请求，选择执行所述待执行任务的JenkinsMaster，并将所述待执行任务发送至所述JenkinsMaster进行执行。[0093]可选地，该装置还包括:创建模块，用于在接收待执行任务的任务请求之前，创建预设数量的JenkinsMaster，其中，所述预设数量是指不小于所述待执行任务的最大并发数的数量。[0094]可选地，所述创建模块还用于：通过Kubernetes系统创建包含预设数量的所述JenkinsMaster的JenkinsMaster集合。[0095]可选地，该装置还包括:存储模块，用于在创建所述预设数量的JenkinsMaster之后，将所述JenkinsMaster的信息保存至数据库中，其中，所述信息包括以下至少一项内容:每个所述JenkinsMaster的服务器的IP地址、运行状态、已经执行完成任务的任务数量，其中所述运行状态包括空闲状态和工作状态。[0096]可选地，所述执行模块还用于:将所述编译任务的任务请求信息保存至所述数据库中，并根据所述编译任务的任务请求从所述数据库中选择符合预设条件的JenkinsMaster，然后将所述编译任务的任务请求发送至所述符合预设条件的JenkinsMaster进行执行。[0097]可选地，所述执行模块还用于:在接收到待执行任务为编译任务的任务请求之前，根据接收到的创建任务的任务请求，将所述创建任务的任务请求信息保存至所述数据库中。[0098]可选地，所述执行模块还用于:获取所述数据库中保存的运行状态为空闲状态的JenkinsMaster的列表，并从所述列表中选择已经执行完成任务的任务数量最少的JenkinsMaster;以及[0099]如果所述数据库中没有运行状态为空闲状态的JenkinsMaster，则通过所述Kubernetes系统创建一个新的JenkinsMaster作为执行所述编译任务的JenkinsMaster。[0100]可选地，该装置还包括：设置模块，用于在选择执行所述待执行任务的JenkinsMaster之后，将所述JenkinsMaster的运行状态设置为工作状态；以及在所述待执行任务执行完毕之后，保存所述待执行任务的结果信息，并将所述JenkinsMaster的运行状态设置为空闲状态。[0101]由于本发明提供的分布式处理任务的装置是上述方法对应的装置，故不在此赘述。[0102]下面参考图6,其示出了适于用来实现本发明实施例的终端设备的计算机系统6〇〇的结构示意图。图6示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。[0103]如图6所示，计算机系统600包括中央处理单元CPU601，其可以根据存储在只读存储器ROM602中的程序或者从存储部分608加载到随机访问存储器RAM603中的程序而执行各种适当的动作和处理。在RAM6〇3中，还存储有系统600操作所需的各种程序和数据。CPU601、ROM602以及RAM603通过总线604彼此相连。输入输出（IO接口605也连接至总线604。[0104]以下部件连接至IO接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管CRT、液晶显示器LCD等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至IO接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。[0105]特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和或从可拆卸介质611被安装。在该计算机程序被中央处理单元CPU601执行时，执行本发明的系统中限定的上述功能。[0106]需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是--但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器RAM、只读存储器ROM、可擦式可编程只读存储器EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器CD-R0M、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于:无线、电线、光缆、RF等等，或者上述的任意合适的组合。[0107]附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。[0108]描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为:一种处理器包括接收模块501、执行模块502。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。[0109]作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：[0110]步骤S401:接收待执行任务的任务请求；[0111]步骤S402:根据所述任务请求，选择执行待执行任务的JenkinsMaster，并将待执行任务发送至JenkinsMaster进行执行。[0112]本发明实施例提供的分布式处理任务的方法和装置，能够解决了单个任务编译部署节点的面对处理大规模任务时的瓶颈问题;通过创建包含最大并发数量的任务编译部署节点的任务编译部署节点集合，从而能够使得该分布式系统能够具有多个任务编译部署节点以便于处理多个任务请求;通过将创建的任务编译部署节点的信息保存至数据库中，从而能够处理根据待执行任务的处理需求便于选择任务编译部署节点执行待处理任务;通过根据所述编译任务的任务请求从数据库中选择符合预设条件的任务编译部署节点，然后将编译任务的任务请求发送至符合预设条件的任务编译部署节点进行执行，从而能够选择满足条件的任务编译部署节点执行相应的待执行任务;通过将任务编译部署节点的信息保存至数据库中，从而实现对任务编译部署节点信息的数据持久化，以便后续处理时可以方便的获取数据和或随时查看数据;通过获取数据库中保存的运行状态为空闲状态的任务编译部署节点的列表，并从列表中选择已经执行完成任务的任务数量最少的任务编译部署节点；以及如果数据库中没有运行状态为空闲状态的任务编译部署节点，则通过集群管理系统创建一个新的任务编译部署节点作为执行所述编译任务的任务编译部署节点，从而能够选择出满足预设条件的任务编译部署节点执行待处理任务。[0113]上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

权利要求：1.一种分布式处理任务的方法，其特征在于，包括：接收待执行任务的任务请求；根据所述任务请求，选择执行所述待执行任务的任务编译部署节点，并将所述待执行任务发送至所述任务编译部署节点进行执行。2.根据权利要求1所述的方法，其特征在于，还包括：在接收待执行任务的任务请求之前，创建预设数量的任务编译部署节点，其中，所述预设数量是指不小于所述待执行任务的最大并发数的数量。3.根据权利要求2所述的方法，其特征在于，在创建预设数量的任务编译部署节点的步骤中，包括：通过集群管理系统创建包含预设数量的任务编译部署节点的任务编译部署节点集合。4.根据权利要求3所述的方法，其特征在于，还包括：在创建所述预设数量的任务编译部署节点之后，将所述任务编译部署节点的信息保存至数据库中，其中，所述信息包括以下至少一项内容:每个任务编译部署节点的服务器的IP地址、运行状态、己经执行完成任务的任务数量，其中所述运行状态包括空闲状态和工作状〇5.根据权利要求3中所述的方法，其特征在于，根据所述任务请求，选择执行所述待执行任务的任务编译部署节点，并将所述待执行任务发送至所述任务编译部署节点进行执行包括：在接收到待执行任务为编译任务的任务请求之后，将所述编译任务的任务请求信息保存至所述数据库中，并根据所述编译任务的任务请求从所述数据库中选择符合预设条件的任务编译部署节点，然后将所述编译任务的任务请求发送至所述符合预设条件的任务编译部署节点进行执行。6.根据权利要求5所述的方法，其特征在于，根据所述任务请求，选择执行所述待执行任务的任务编译部署节点，并将所述待执行任务发送至所述任务编译部署节点进行执行还包括：在接收到待执行任务为编译任务的任务请求之前，根据接收到的创建任务的任务请求，将所述创建任务的任务请求信息保存至所述数据库中。7.根据权利要求5中所述的方法，其特征在于，根据所述编译任务的任务请求从所述数据库中选择符合预设条件的任务编译部署节点包括：获取所述数据库中保存的运行状态为空闲状态的任务编译部署节点的列表，并从所述列表中选择已经执行完成任务的任务数量最少的任务编译部署节点；以及如果所述数据库中没有运行状态为空闲状态的任务编译部署节点，则通过所述Kubernetes系统创建新的任务编译部署节点作为执行所述编译任务的任务编译部署节点。8.根据权利要求1〜7中任一项所述的方法，其特征在于，还包括：在选择执行所述待执行任务的任务编译部署节点之后，将所述任务编译部署节点的运行状态设置为工作状态;以及在所述待执行任务执行完毕之后，保存所述待执行任务的结果信息，并将所述任务编译部署节点的运行状态设置为空闲状态。9.一种分布式处理任务的装置，其特征在于，包括：接收模块，用于接收待执行任务的任务请求；执行模块，用于根据所述任务请求，选择执行所述待执行任务的任务编译部署节点，并将所述待执行任务发送至所述任务编译部署节点进行执行。10.根据权利要求9所述的装置，其特征在于，还包括：创建模块，用于在接收待执行任务的任务请求之前，创建预设数量的任务编译部署节点，其中，所述预设数量是指不小于所述待执行任务的最大并发数的数量。11.根据权利要求10所述的装置，其特征在于，所述创建模块还用于：通过集群管理系统创建包含预设数量的任务编译部署节点的任务编译部署节点集合。12.根据权利要求11所述的装置，其特征在于，还包括：存储模块，用于在创建所述预设数量的任务编译部署节点之后，将所述任务编译部署节点的信息保存至数据库中，其中，所述信息包括以下至少一项内容:每个所述任务编译部署节点的服务器的IP地址、运行状态、己经执行完成任务的任务数量，其中所述运行状态包括空闲状态和工作状态。13.根据权利要求11中所述的装置，其特征在于，所述执行模块还用于：将所述编译任务的任务请求信息保存至所述数据库中，并根据所述编译任务的任务请求从所述数据库中选择符合预设条件的任务编译部署节点，然后将所述编译任务的任务请求发送至所述符合预设条件的任务编译部署节点进行执行。14.根据权利要求13中所述的装置，其特征在于，所述执行模块还用于：在接收到待执行任务为编译任务的任务请求之前，根据接收到的创建任务的任务请求，将所述创建任务的任务请求信息保存至所述数据库中。15.根据权利要求11中所述的装置，其特征在于，所述执行模块还用于：获取所述数据库中保存的运行状态为空闲状态的任务编译部署节点的列表，并从所述列表中选择已经执行完成任务的任务数量最少的任务编译部署节点；以及如果所述数据库中没有运行状态为空闲状态的任务编译部署节点，则通过所述集群管理系统创建新的任务编译部署节点作为执行所述编译任务的任务编译部署节点。16.根据权利要求9〜15中任一项所述的装置，其特征在于，还包括：设置模块，用于在选择执行所述待执行任务的任务编译部署节点之后，将所述任务编译部署节点的运行状态设置为工作状态；以及在所述待执行任务执行完毕之后，保存所述待执行任务的结果信息，并将所述任务编译部署节点的运行状态设置为空闲状态。17.—种分布式处理任务的终端设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。18.—种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。

百度查询： 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 分布式处理任务的方法和装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD