申请/专利权人：浙江大学

申请日：2024-01-04

公开（公告）日：2024-04-09

公开（公告）号：CN117520606B

主分类号：G06F16/901

分类号：G06F16/901;G06F16/903;G06F16/25;G06F16/28

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2024.02.27#实质审查的生效;2024.02.06#公开

摘要：本发明公开了一种异构数据源导入图数据库的方法及装置，包括：中间处理系统根据查询语句以及异构数据源系统中的数据源类型选择对应的读取插件将所需数据读入内存，并写入读通道；读取读通道内的一维结构对象，根据配置的图模型结构进行点、边属性提取，并映射为子图结构对象；使用数据预处理插件对子图结构对象进行空值过滤、精度转化、别名映射处理，并写入写通道；读取写通道内的子图结构对象，根据顶点主键过滤去重；加载写入插件将过滤去重后的子图结构对象数据导入至图数据库。本发明实现了多维数据的汇聚，便于分析人员在图数据库中进行一站式的数据查询、分析、挖掘，提高了数据导入的速度，确保数据的一致性。

主权项：1.一种异构数据源导入图数据库的方法，其特征在于，包括以下步骤：S1：中间处理系统根据查询语句以及异构数据源系统中的数据源类型选择对应的读取插件，通过读取插件将异构数据源系统中的所需数据读入内存，并经过内部类型子系统转化写入到中间处理系统的读通道；所述内部类型子系统用于维护异构数据源系统变量类型到中间处理系统内部数据类型的映射关系；S2：中间处理系统读取对应读通道内的一维结构对象，根据配置的图模型结构进行点、边属性提取，并映射为子图结构对象；使用数据预处理插件对子图结构对象依次进行空值过滤、精度转化、别名映射处理，并写入对应写通道；所述图模型结构由用户定义，包括顶点映射规则和边映射规则；所述S2中具体通过如下子步骤实现：（2.1）中间处理系统循环从对应读通道中读取一维结构对象，对于达到数据总量阈值的一维结构对象集合进行装箱；（2.2）利用预先定义的顶点映射规则，对装箱的一维结构对象进行属性提取和主键值提取，生成对应的顶点对象，并根据主键值去重，即融合相同主键值所对应顶点的属性集，将融合后的顶点集合装箱；（2.3）利用预先定义的边映射规则，对装箱的一维结构对象进行属性提取、起始顶点主键值提取、终止顶点主键值提取，生成对应的边对象，将所得的边对象集合装箱；（2.4）对边对象集合进行顶点存在性校验：若某一边对象的起始顶点主键值或终止顶点主键值在已生成的顶点集合中不存在，则为该边对象不存在的顶点生成一个默认顶点，该顶点只存在主键值，其余属性值为空，并将该默认顶点添加到顶点集合中；（2.5）将所述步骤（2.4）生成的顶点集合、步骤（2.3）生成的边对象集合包装成一个子图结构对象；（2.6）使用数据预处理插件对子图结构对象依次进行空值过滤、精度转化、别名映射处理；所述数据预处理插件包括：空值过滤预处理插件、精度转化预处理插件、别名映射预处理插件；所述空值过滤使用空值过滤预处理插件，对子图结构对象进行顶点、边属性过滤，即消除属性值为空字符串的属性；所述精度转化使用精度转化预处理插件，对子图结构对象中BIGINT类型的顶点、边属性进行精度转化，即转化为STRING文本类型；所述别名映射处理使用别名映射预处理插件，对子图结构对象的名称属性进行映射，得到其对应的别名，并将该别名设置为该子图结构对象的别名属性；（2.7）将子图结构对象写入对应的中间处理系统的写通道；S3：中间处理系统读取对应写通道内的子图结构对象，并根据顶点主键过滤去重；加载用户配置中的写入插件，将过滤去重后的子图结构对象数据导入至图数据库；所述用户配置包括图数据库对应的写入插件和图数据库索引。

全文数据：

权利要求：

百度查询： 浙江大学 一种异构数据源导入图数据库的方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD