申请/专利权人：百度在线网络技术(北京)有限公司

申请日：2020-03-05

公开（公告）日：2024-03-22

公开（公告）号：CN111506399B

主分类号：G06F9/48

分类号：G06F9/48;G06F8/30

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2020.09.01#实质审查的生效;2020.08.07#公开

摘要：本申请公开了任务迁移方法、装置、电子设备及存储介质，涉及数据处理领域，其中的方法可包括：获取用户提交的任务；若所述任务为Hadoop任务，且确定需要进行任务转换，则将所述任务中的Hadoop参数转换为Spark可识别的参数；将转换结果注入预定工具包，提交到Spark集群。应用本申请所述方案，可减少用户的工作量，并提升处理效率等。

主权项：1.一种任务迁移方法，其特征在于，包括：截获用户提交的Hadoop任务，请求服务端获取是否以Spark方式运行的标志位，响应于确定所述标志位显示所述Hadoop任务在管理平台被用户勾选为以Spark方式运行，确定需要进行任务转换，否则，确定不需要进行任务转换；响应于确定需要进行任务转换，按照设定的转换规则，将所述任务中的Hadoop参数转换为Spark可识别的参数；将转换结果注入预定工具包，提交Spark任务到Spark集群，其中，所述Spark任务经过预定处理后，实现与Hadoop逻辑等价的映射map和化简reduce处理，所述预定处理包括：初始化Spark上下文、map阶段的hadoop流算子处理、混洗阶段的重分区及分区内排序算子处理以及reduce阶段的hadoop流算子处理。

全文数据：

权利要求：

百度查询： 百度在线网络技术(北京)有限公司 任务迁移方法、装置、电子设备及存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD