申请/专利权人：北京科杰科技有限公司

申请日：2023-11-24

公开（公告）日：2024-03-12

公开（公告）号：CN117687629A

主分类号：G06F8/41

分类号：G06F8/41;G06F16/2455;G06F16/242;G06F16/2453

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.03.29#实质审查的生效;2024.03.12#公开

摘要：本发明涉及数字计算技术领域，尤其涉及一种基于Spark引擎的离线计算优化方案，包括，步骤S1，创建任务模板提交模式，并增加任务模板解析模块；步骤S2，判定计算任务是否为模板任务；步骤S3，对模板任务进行查找，确定是否有缓存对应的模板执行计划，并对无缓存模板任务生成模板执行计划并缓存；步骤S4，确定有缓存模板任务对应的任务模板，并进行件值替换，提交Executor执行。本发明通过增加带有任务模板和参数的任务提交方式，针对离线批量计算场景下的大量相似任务，既解决了执行计划反复生成带来的效率问题，也通过模板的方式，支持了计算任务关键参数的动态配置需求，从而提升整体离线计算性能。

主权项：1.一种基于Spark引擎的离线计算优化方案，其特征在于，包括，步骤S1，创建Spark任务模板提交模式，并在Spark上增加任务模板解析模块；步骤S2，判定Spark接收到的计算任务是否为通过任务模板提交的模板任务或普通任务，并对普通任务直接通过Spark进行解析并根据Spark计算逻辑执行；步骤S3，对模板任务进行查找，判定模板任务是否有缓存对应的模板执行计划，并在模板任务无缓存对应的模板执行计划时，通过任务模板解析模块生成模板执行计划并缓存；步骤S4，在模板任务有缓存对应的模板执行计划时，确定模板执行计划对应的任务模板，并使用计算任务中的条件值替换所述任务模板中变化的参数部分生成可执行的执行计划，提交Executor执行。

全文数据：

权利要求：

百度查询： 北京科杰科技有限公司 一种基于Spark引擎的离线计算优化方案

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD