中国建设银行股份有限公司刘强获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中国建设银行股份有限公司申请的专利一种基于Flume的实时数据加载方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN113504950B 。
龙图腾网通过国家知识产权局官网在2025-07-04发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202110769047.4,技术领域涉及:G06F9/445;该发明授权一种基于Flume的实时数据加载方法及系统是由刘强;张东凯;曾垂鑫设计研发完成,并于2021-07-07向国家知识产权局提交的专利申请。
本一种基于Flume的实时数据加载方法及系统在说明书摘要公布了:本发明提出了一种基于Flume的实时数据加载方法及系统,涉及大数据采集及存储技术领域,该方法包括:在源端及目标端分别配置OGG组件,并在目标端配置Flume组件;所述源端通过OGG组件实时采集银行交易数据;所述目标端通过OGG组件读取银行交易数据,并利用Flume组件对银行交易数据进行解析;将解析后的银行交易数据加载至KafkaTopic,供给下游数据加工程序使用。本发明利用开源的Flume进行数据抽取,可以减少实施数据采集的成本,为数据加载端提供更多的技术选择;并且通过Flume对数据文件的解析,可以适用于更多的数据接收方,数据加载的方式更加灵活。
本发明授权一种基于Flume的实时数据加载方法及系统在权利要求书中公布了:1.一种基于Flume的实时数据加载方法,其特征在于,该方法通过OGG、Flume及Kafka的技术组合,将数据从交易系统发生后同步至数据加工和报送端,包括: 在源端及目标端分别配置OGG组件,并在目标端配置Flume组件; 所述源端通过OGG组件实时采集银行交易数据; 所述目标端通过OGG组件读取银行交易数据,并利用Flume组件对银行交易数据进行解析; 将解析后的银行交易数据加载至KafkaTopic,供给下游数据加工程序使用; 其中,所述Flume组件包含多个进行逻辑处理的节点,用于分布式进行日志采集、聚合和传输; 其中,所述目标端通过OGG组件读取银行交易数据,并利用Flume组件对银行交易数据进行解析,包括: 根据银行交易数据,设置分布式消息队列中的任务; 利用Flume组件将分布式消息队列中的任务通过轮询策略选择匹配的节点,使节点对轮询的任务进行逻辑处理,解析银行交易数据,并将解析结果写入Kafka数据队列进行数据消费; 其中,将解析后的银行交易数据加载至KafkaTopic,供给下游数据加工程序使用,包括: 在Kafka集群创建采集对象的Topic; 将Flume组件解析OGG落地文件得到的解析结果,按照Topic插入Kafka数据队列;其中,在数据加载过程中,采用Flume组件进行数据抽取及解析,未使用OGGforbigdata组件进行KafkaTopic的数据加载。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中国建设银行股份有限公司,其通讯地址为:100033 北京市西城区金融大街25号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。