申请/专利权人:深圳市邦盛实时智能技术有限公司;浙江邦盛科技股份有限公司
申请日:2022-11-23
公开(公告)日:2023-03-07
公开(公告)号:CN115756895A
主分类号:G06F9/54
分类号:G06F9/54;G06F9/46;G06F9/50;G06Q40/02
优先权:
专利状态码:在审-公开
法律状态:2023.03.07#公开
摘要:本发明公开了一种基于数据回放与时序追赶技术下的实时银行流计算业务系统。本发明针对在银行流计算业务根据用户消费行为和特征数据做相关指标计算时,为适应市场节奏和用户银行消费服务需求对有关指标做变更,导致已完成数据需要重新回放在流处理引擎做计算的场景,通过充分利用庞大的存储空间弥补流计算的缺陷,利用流处理实时性特点使回放处理指标在短时间实现与常规指标进度同步,且在数据定义和转换层面保证回放数据流不影响正常数据流的处理,从而设计一个实时银行流计算业务系统,使得银行流计算业务活动更好地适应于银行计算环境和用户需要,提高银行流计算业务策略竞争力。
主权项:1.一种基于数据回放与时序追赶技术下的实时银行流计算业务系统,其特征在于,该系统包括流水预处理模块、实时流计算引擎模块和热更新与指标视图缓存模块;所述流水预处理模块用于输入用户特征数据和多场景消费流水数据,其中包括包括实时的计算数据和回放数据,在接收到输入的数据流的实时请求时会将请求数据包传入Kafka消息队列,然后传至下游分流解析器对数据包加工处理并将数据拷贝成两份,一份传送至实时流计算引擎模块做指标计算,另一份传入事件日志存储池保存流水的每一步明细以备数据回放;所述实时流计算引擎模块用于对流水预处理模块的数据流做分布式实时流数据处理,采用Chandy-Lamport算法实现一致性和容错机制;实时流计算引擎模块中所有的计算节点采用松耦合连接方式,能够实现弹性扩容,保证能够回放数据及时序追赶当前流处理数据且不会影响当前流处理速度,针对数据回放过程做到不停机持续计算服务;所述热更新与指标视图缓存模块用于根据实时流计算引擎模块的指标计算完成后的情况做指标视图缓存或热更新,如果是实时流水计算则会反馈到中间态存储器进行断点状态存储,并对经常使用的实时计算指标及其所在时间段的状态形成指标视图缓存;在数据回放时则对涉及到的存储状态做热更新使其及时反馈到实时处理结果中,并对相关视图做修改。
全文数据:
权利要求:
百度查询: 深圳市邦盛实时智能技术有限公司;浙江邦盛科技股份有限公司 基于数据回放与时序追赶技术下的实时银行流计算业务系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。