申请/专利权人：北京浪潮数据技术有限公司

申请日：2020-12-29

公开（公告）日：2021-04-27

公开（公告）号：CN112711627A

主分类号：G06F16/25(20190101)

分类号：G06F16/25(20190101);G06F16/22(20190101)

优先权：

专利状态码：有效-授权

法律状态：2023.11.03#授权;2021.05.14#实质审查的生效;2021.04.27#公开

摘要：本申请公开了一种Greenplum数据库的数据导入方法，为了充分利用Greenplum数据库中大规模并行处理架构的优势，通过并行文件分发程序和外部表技术实现海量外部数据的并行导入，降低了数据导入的时间成本，提升了数据导入效率。此外，通过生成外部数据文件的记录信息，避免了数据多次导入时重复扫描之前扫描成功的数据，也避免了外部数据文件导入多个目标表时重复扫描外部数据，节省了IO资源，进一步提升数据导入效率。最后，及时清理数据导入失败时因数据回滚产生的垃圾空间，从而提高了空间的利用率。此外，本申请还提供了一种Greenplum数据库的数据导入装置、设备及可读存储介质，其技术效果与上述方法的技术效果相对应。

主权项：1.一种Greenplum数据库的数据导入方法，其特征在于，包括：生成外部数据文件的记录信息，其中所述记录信息包括数据文件ID、文件扫描标记位、行扫描标记位和删除标记位；在接收到数据导入的SQL命令时，根据所述数据文件ID判断所述外部数据文件是否发生变化，并根据所述文件扫描标记位判断所述外部数据文件是否已经扫描完成；若未发生变化且未扫描完成，则根据所述行扫描标记位确定所述外部数据文件的未扫描数据行；对所述未扫描数据行进行扫描，每扫描完一个所述未扫描数据行，根据可读外部表定义的行类型将扫描结果转换为一个元组，更新所述行扫描标记位；在所述未扫描数据行全部扫描完成时，更新所述文件扫描标记位；通过并发文件分发程序将所述元组导入Greenplum数据库；在所述未扫描数据行全部导入完成时，更新所述删除标记位，将所述外部数据文件的记录信息标记为待删除的记录信息；在所述未扫描数据行导入失败时，清除由数据回滚产生的垃圾空间。

全文数据：

权利要求：

百度查询： 北京浪潮数据技术有限公司 一种Greenplum数据库的数据导入方法、装置及设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD