申请/专利权人：上海英方软件股份有限公司

申请日：2023-09-05

公开（公告）日：2023-11-24

公开（公告）号：CN117112674A

主分类号：G06F16/25

分类号：G06F16/25;G06F16/2457

优先权：

专利状态码：在审-实质审查的生效

法律状态：2023.12.12#实质审查的生效;2023.11.24#公开

摘要：本发明公开了一种实现对MongoDB数据库数据的抽取转换方法及装置，该方法包括：步骤S1，执行全量抽取任务，记录任务开始时间，依次遍历每个集合并记录抽取开始时间，创建表结构转换任务及数据转换任务存储到待处理文档队列，从待处理文档队列里获取任务，生成相应的表结构，将表数据放入到待发送队列中，从待发送队列中获取表数据，传输到指定服务器的指定端口；步骤S2，执行增量抽取任务，从全量任务开始时间作为起点循环读取操作日志进行过滤，将过滤后的文档放入到待处理队列，从待处理队列获取文档，根据操作日志的类型，根据设计好的表数据格式将文档转换后放入待发送队列，从待发送队列获取数据传到指定服务器指定端口。

主权项：1.一种实现对MongoDB数据库数据的抽取转换方法，包括如下步骤：步骤S1，执行全量抽取任务，记录任务开始时间，运行抽取线程、数据转换线程和数据传输线程，利用抽取线程依次遍历每个集合并记录每个集合抽取开始时间，通过遍历每个集合的所有文档，创建表结构转换任务存储到待处理文档队列以及创建相应的数据转换任务存储到待处理文档队列，利用数据转换线程从待处理文档队列里获取任务，生成相应的表结构，并根据表结构将待处理文档转换为表数据放入到待发送队列中，最后由数据传输线程从所述待发送队列中获取表数据，传输到指定服务器的指定端口；步骤S2，执行增量抽取任务，运行操作日志读取线程、操作日志处理线程和数据传输线程，操作日志读取线程从全量任务开始时间作为起点，循环读取操作日志并进行过滤，将过滤后的文档放入到待处理队列中，日志处理线程则从待处理队列中获取操作日志的文档，根据操作日志的类型以及根据设计好的表数据格式将文档转换之后放入到待发送队列，最后由数据传输线程从所述待发送队列中获取数据传输到指定服务器的指定端口。

全文数据：

权利要求：

百度查询： 上海英方软件股份有限公司 一种实现对MongoDB数据库数据的抽取转换方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD