申请/专利权人：西安烽火软件科技有限公司

申请日：2022-10-14

公开（公告）日：2023-01-24

公开（公告）号：CN115640297A

主分类号：G06F16/22

分类号：G06F16/22;G06F16/242;G06F16/2453;G06F16/28

优先权：

专利状态码：在审-实质审查的生效

法律状态：2023.02.14#实质审查的生效;2023.01.24#公开

摘要：本发明提供本发明提供一种基于SparkSQL的LEFTJOIN连接计算优化方法，通过原生SparkSQL提供的规则扩展接口，进行执行计划阶段的新增与重新编排，并使用布隆过滤器（BloomFilter）技术或位图（RoaringBitmap）技术实现程序运行时动态生成过滤器，并将过滤器作为过滤条件，尽可能避免无关数据参与计算，减少连接计算（LEFTJOIN）时的数据量，以此实现SparkSQL在该类场景下连接计算性能的提升和优化，以解决SortMergeJoin模型下连接计算容易出现资源浪费、运行时间偏长、磁盘内存不足时容易出现结果溢出，造成计算作业失败等问题。

主权项：1.一种基于SparkSQL的LEFTJOIN连接计算优化方法，其特征在于，所述LEFTJOIN连接计算优化方法步骤如下：S1：执行计划匹配，匹配计算数据中是否有SortMergeJoin节点；S2：执行计划匹配确认，匹配到执行计划，则会提取连接计算节点类型，反之，规则优化结束；S3：判断小表数据量，根据小表数量选择合适的执行计划，小表数据量小于1亿条数据，则将SparkSQL原生的执行计划插入替换为BloomFilterBoostFilterExec，则优化规则结束；反之，小表数据量大于1亿条数据，则将SparkSQL原生的执行计划插入替换为RoaringBitmapBoostFilterExec，优化规则结束。

全文数据：

权利要求：

百度查询： 西安烽火软件科技有限公司 一种基于Spark SQL的LEFT JOIN连接计算优化方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD