申请/专利权人：上海沄熹科技有限公司

申请日：2022-11-14

公开（公告）日：2023-03-28

公开（公告）号：CN115858523A

主分类号：G06F16/22

分类号：G06F16/22;G06F16/2458;G06F16/27

优先权：

专利状态码：在审-实质审查的生效

法律状态：2023.04.14#实质审查的生效;2023.03.28#公开

摘要：本发明公开一种检测倾斜数据的HashJoin执行方法，涉及分布式数据库技术领域，包括：获取两个输入数据集；设定相对倾斜率，计算相对倾斜率与其中一个输入数据集中数据量的乘积，得到倾斜阈值，输入数据集中出现频率超过倾斜阈值的值被称为倾斜值；检查总数据量较大的输入数据集中是否存在倾斜值，若不存在，则对两个输入数据集分别进行哈希分发，若存在，则探测该输入数据集在某个字段的所有倾斜值，得到倾斜值列表，随后基于倾斜值列表将每个输入数据集拆分为不含倾斜值的Normal数据集和含有倾斜值的Skew数据集，对Normal数据集进行哈希分发，对Skew数据集进行平均分发或镜像分发；集群中的节点对其上数据进行HashJoin计算。本发明可以提高HashJoin的执行效率。

主权项：1.一种检测倾斜数据的HashJoin执行方法，其特征在于,其实现内容包括：利用数据库的SQL引擎执行HashJoin之前，获取Join算子的两个输入数据集；设定一个相对倾斜率，计算相对倾斜率与其中一个输入数据集中数据量的乘积，得到倾斜阈值，两个输入数据集中出现频率超过倾斜阈值的值被称为倾斜值；针对两个输入数据集，检查总数据量较大的输入数据集中是否存在倾斜值，若不存在，则对两个输入数据集分别进行哈希分发，以将两个输入数据集拆分并分别分发到Join节点集群中，若存在，则探测总数据量较大的输入数据集在某个字段的所有倾斜值，得到倾斜值列表，随后基于倾斜值列表将每个输入数据集拆分为不含倾斜值的Normal数据集和含有倾斜值的Skew数据集，对Normal数据集进行哈希分发，以将Normal数据集拆分并分发到Join节点集群中，对Skew数据集进行平均分发或镜像分发，以将Skew数据集进行拆分并平均分发或复制后对应分发到Join节点集群的所有节点上；Join节点集群中的节点对其上数据进行HashJoin计算。

全文数据：

权利要求：

百度查询： 上海沄熹科技有限公司 一种检测倾斜数据的Hash Join执行方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD