申请/专利权人：建信金融科技有限责任公司

申请日：2023-09-05

公开（公告）日：2024-04-23

公开（公告）号：CN116860898B

主分类号：G06F16/28

分类号：G06F16/28;G06F16/22;G06F16/242

优先权：

专利状态码：有效-授权

法律状态：2024.04.23#授权;2023.10.27#实质审查的生效;2023.10.10#公开

摘要：本发明公开了一种数据处理方法和装置，涉及数据处理技术领域。该方法的一具体实施方式包括：接收采集引擎传输的增量业务数据；识别所述增量业务数据的业务类型，调用与所述业务类型对应的处理模型，以对所述增量业务数据进行业务处理；将处理后的增量业务数据传输至目标数据库，以通过目标数据库中配置的展示引擎，对所述处理后的增量业务数据进行展示处理。该实施方式通过在源数据库中配置采集引擎、在目标数据库中配置展示引擎，解决了现有依赖人工对业务数据手动采集和手动可视化展示的问题，且不会影响数据库的原有结构，在两个数据库之间设置消息中间件，进一步降低了数据库处理数据的开发成本，提升数据处理效率。

主权项：1.一种数据处理方法，其特征在于，应用于消息中间件，所述消息中间件包括第一消息中间件和第二消息中间件，第一消息中间件为kafka，第二消息中间件为Logstash，包括：第一消息中间件接收采集引擎传输的增量业务数据，以生成流数据；其中，采集引擎配置在源数据库中，用于在监听到源数据库中存在增量业务数据时，调用预先配置的采集语句，对所述增量业务数据进行采集；所述采集引擎为Flume软件，还用于确定所述增量业务数据在源数据库中所处的业务表，获取所述业务表的表名称，从所述表名称中提取特征词；第一消息中间件还用于查询与所述特征词对应的第一分区，将所述增量业务数据传输至所述第一分区，以通过所述第一分区生成流数据；第二消息中间件从第一消息中间件中逐个读取流数据，识别每个流数据的业务类型，调用与所述业务类型对应的处理模型，以对所述增量业务数据进行业务处理；其中，第二消息中间件还用于查询与所述特征词对应的第二分区，将所述流数据传输至所述第二分区；以及将处理后的增量业务数据传输至目标数据库，以通过目标数据库中配置的展示引擎，对所述处理后的增量业务数据进行展示处理，包括：通过目标数据库中配置的展示引擎，确定目标数据库中预先配置的与所述特征词对应的索引；查询与所述索引对应的展示方式，使用所述展示方式，对所述处理后的增量业务数据进行展示处理；其中，展示引擎为Kibana软件，接收对目标数据库配置展示引擎的操作；接收对展示引擎的配置文件中，配置连接到目标数据库的第二连接串的操作；其中，所述第二连接串，用于建立所述展示引擎对目标数据库的访问权限。

全文数据：

权利要求：

百度查询： 建信金融科技有限责任公司 一种数据处理方法和装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD