申请/专利权人:英特工程仿真技术(大连)有限公司
申请日:2023-12-27
公开(公告)日:2024-05-10
公开(公告)号:CN118013775A
主分类号:G06F30/23
分类号:G06F30/23;G06T7/10;G06F9/50
优先权:
专利状态码:在审-实质审查的生效
法律状态:2024.05.28#实质审查的生效;2024.05.10#公开
摘要:本发明实施例公开了一种基于分布式乱序数据的并行图分割实现方法,其包括:S1、获得乱序单元数据集E;S2、创建底层数据间noderoom;S3、通过变量adjnlist确定出乱序单元数据集E中每个节点对应的所有相邻节点;S4、基于数据分发策略,将乱序单元数据集E中的全部节点分发至各进程对应的底层数据区间内,并获取底层数据间noderoom内每一节点的节点ID的全局索引号以及该节点的所有相邻节点的全局索引号;S5、形成各进程对应的初始线性分区;S6、调用并行图分割工具,完成基于分布式乱序数据的并行图分割过程。本发明不仅避免了串行环节和硬盘IO交互,更能够在分布式环境下迅速完成数十GB字节数据的文件读取和图分割,极大提升了并行计算规模和计算效率。
主权项:1.一种基于分布式乱序数据的并行图分割实现方法,其特征在于,包括:S1、在MPI分布式运行环境下,通过进程Rank-j读取数据块文件并获得乱序单元数据集E,其中1≤j≤m,m为进程总数,进程Rank-j对应的乱序单元数据集E为E-j;S2、创建底层数据间noderoom并获得网格节点总数nNode及每个节点索引号Index,其中,所述底层数据间由若干底层数据区间构成,所述进程Rank-j对应的底层数据区间表示为[IDmin,IDmax]-j;S3、基于乱序单元数据集E,构造变量adjnlist,通过变量adjnlist确定出乱序单元数据集E中每个节点对应的所有相邻节点以形成每个节点与其所有相邻节点的映射关系,同时定义所述变量adjnlist的键key为节点ID,键值keyvalue为该节点的所有相邻节点;S4、基于数据分发策略,将乱序单元数据集E中的全部节点分发至各进程对应的底层数据区间内,并获取底层数据间noderoom内每一节点的节点ID的全局索引号以及该节点的所有相邻节点的全局索引号;S5、基于数据分发完成后的各进程对应的底层数据区间内的节点数据形成各进程对应的初始线性分区;S6、基于所述各初始线性分区,调用并行图分割工具,完成基于分布式乱序数据的并行图分割过程。
全文数据:
权利要求:
百度查询: 英特工程仿真技术(大连)有限公司 一种基于分布式乱序数据的并行图分割实现方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。