申请/专利权人：杭州玳数科技有限公司

申请日：2022-03-03

公开（公告）日：2024-04-12

公开（公告）号：CN114679441B

主分类号：H04L67/025

分类号：H04L67/025;H04L67/1097;H04L67/566;H04L9/40

优先权：

专利状态码：有效-授权

法律状态：2024.04.12#授权;2022.07.15#实质审查的生效;2022.06.28#公开

摘要：本发明提供了一种基于VPC网络的大数据任务调度系统及其控制方法，其中，该系统包括：调度器和执行器，调度器部署在WEB的VPC网络，执行器部署在EMR集群的VPC网络，WEB的VPC网络和EMR集群的VPC网络相互隔离，其中，执行器用于封装大数据组件服务的相关操作，调度器用于基于Netty与执行器建立远程通信，并根据远程通信调用执行器以实现将大数据任务提交到EMR集群。由此，统一了对EMR集群的访问入口，减少了服务相互依赖调用的复杂度，并且通过调度器与执行器之间远程通信调用实现降低了WEB和EMR集群这两个VPC网络之间需要映射的端口数量。

主权项：1.一种基于VPC网络的大数据任务调度系统，其特征在于，包括：调度器和执行器，所述调度器部署在WEB的VPC网络，所述执行器部署在EMR集群的VPC网络，所述WEB的VPC网络和所述EMR集群的VPC网络相互隔离，其中，所述执行器用于封装大数据组件服务的相关操作，所述调度器用于基于Netty与所述执行器建立远程通信，并根据所述远程通信调用所述执行器以实现将所述大数据任务提交到所述EMR集群；其中，所述执行器具体用于：定义底层的操作接口，其中，所述操作接口中包括操作大数据组件服务的方案；基于所述操作接口对相应的大数据组件服务完成接口实现；根据对应的大数据组件服务的接口实现对相应的目标对象进行实例化，并封装到Operator的代理对象OperatorProxy中；管理所述代理对象OperatorProxy，并根据所述代理对象OperatorProxy调用相应的大数据组件服务；所述调度器具体用于：根据需要操作的大数据组件服务发起远程通信请求；通过远程通信客户端将数据传输的方法和参数封装成相应的消息体；通过所述远程通信客户端将所述消息体进行编码，并将编码后的消息体发送至远程通信服务端；通过所述远程通信服务端对所述编码后的消息体进行解码，并根据解码结果在所述执行器中调用对应的大数据组件服务，并接收所述大数据组件服务的执行结果；通过所述远程通信服务端将所述大数据组件服务的执行结果进行编码，并将编码后的大数据组件服务的执行结果发送给所述远程通信客户端；通过所述远程通信客户端对编码后的大数据组件服务的执行结果进行解码，以获取最终的服务调用结果。

全文数据：

权利要求：

百度查询： 杭州玳数科技有限公司 基于VPC网络的大数据任务调度系统及其控制方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD