申请/专利权人:深圳前海微众银行股份有限公司
申请日:2024-01-17
公开(公告)日:2024-04-02
公开(公告)号:CN117807091A
主分类号:G06F16/22
分类号:G06F16/22
优先权:
专利状态码:在审-公开
法律状态:2024.04.02#公开
摘要:本申请实施例公开了一种数据的关联方法及装置,应用于分布式计算引擎Spark的服务器,所述方法包括:获取待关联的维度表和事实表,所述维度表和所述事实表中的每个数据都具有标识编号;根据所述维度表的数据量和所述事实表的数据量从多个预设的数据关联策略中选择目标数据关联策略,所述多个预设的数据关联策略包括广播哈希连接策略、排序合并连接策略以及自定义过滤器连接策略;根据所述目标数据关联策略和所述标识编号对所述维度表和所述事实表中的数据进行关联。通过根据维度表和事实表的数据量动态选择合适的数据关联策略,实现数据关联策略与计算任务的适配,提高了数据的关联效率。
主权项:1.一种数据的关联方法,其特征在于,应用于分布式计算引擎Spark的服务器,所述方法包括:获取待关联的维度表和事实表,所述维度表和所述事实表中的每个数据都具有标识编号;根据所述维度表的数据量和所述事实表的数据量从多个预设的数据关联策略中选择目标数据关联策略,所述多个预设的数据关联策略包括广播哈希连接策略、排序合并连接策略以及自定义过滤器连接策略;根据所述目标数据关联策略和所述标识编号对所述维度表和所述事实表中的数据进行关联。
全文数据:
权利要求:
百度查询: 深圳前海微众银行股份有限公司 数据的关联方法及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。