申请/专利权人:杭州微拍堂文化创意有限公司
申请日:2020-10-29
公开(公告)日:2023-11-10
公开(公告)号:CN112307023B
主分类号:G06F16/22
分类号:G06F16/22;G06F16/21;G06F16/2455;G06F16/27;G06F18/24;H04L43/10
优先权:
专利状态码:有效-授权
法律状态:2023.11.10#授权;2021.02.23#实质审查的生效;2021.02.02#公开
摘要:本发明公开了一种基于事件心跳和多版本的Flink流维Join通用处理方法,包括:快照服务器接收来自存储端发送的心跳事件,将接收到的心跳事件按不同数据集分类,合并来自相同数据集分区的心跳生成该分区的快照,合并相同数据集所有分区的快照生成数据集的快照;用户在Flink服务上进行流维Join计算,根据不同流维所属的数据集查询该快照,生成水印,Flink服务根据水印触发流计算,生成计算结果,写入存储端。本发明在满足静态维表Join、支持异步、缓存动态维表Join以及动态维表Join以上场景的同时,做到维表在任务间共享;同时回刷数据时可以Join到历史时刻的维表数据,保证回刷数据的准确性。
主权项:1.一种基于事件心跳和多版本的Flink流维Join通用处理方法,其特征在于,包括以下步骤:1)快照服务器接收来自存储端发送的心跳事件,将接收到的心跳事件按不同数据集分类,合并来自相同数据集分区的心跳生成该分区的快照,合并相同数据集所有分区的快照生成数据集的快照;合并来自相同数据集分区的心跳生成该分区的快照,具体包括:A首先等待数据集分区的所有数据源的到来,当数据集分区的所有来源的心跳均到来时,即开始进行合并;B合并时会生成本次最大可合并心跳,然后在新的线程中进行合并,将所有小于该最大可合并心跳时间的心跳批量写入存储端,生成该分区的快照;2)用户在Flink服务上进行流维Join计算,根据不同流维所属的数据集查询该快照,生成水印,Flink服务根据水印触发流计算,生成计算结果,写入存储端。
全文数据:
权利要求:
百度查询: 杭州微拍堂文化创意有限公司 基于事件心跳和多版本的Flink流维Join通用处理方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。