买专利,只认龙图腾
首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

【发明授权】一种切分数据块的方法及装置_天津南大通用数据技术股份有限公司_202211224109.4 

申请/专利权人:天津南大通用数据技术股份有限公司

申请日:2022-10-09

公开(公告)日:2023-01-24

公开(公告)号:CN115292373B

主分类号:G06F16/2455

分类号:G06F16/2455;G06F16/22;G06F16/25

优先权:

专利状态码:有效-授权

法律状态:2023.01.24#授权;2022.11.22#实质审查的生效;2022.11.04#公开

摘要:本发明提供的一种切分数据块的方法及装置,根据加载文件数据大小及加载所述加载文件的节点个数确定各个节点的加载信息,所述节点基于加载信息内的偏移地址确定从加载文件中加载数据的起始位置,并进行数据加载;根据所述数据加载过程中的统计信息判断该节点加载是否结束,并判断缓冲数据的缓冲区所缓冲的数据量是否超过设定阈值,若加载结束或超过设定阈值则进行缓冲区切换;将临时缓存在缓冲区的数据存储至所述节点对应的存储位置,可以同时进行多个节点的数据缓存,充分调用多个计算节点并行加载数据。

主权项:1.一种切分数据块的方法,其特征在于,根据加载文件数据大小及加载所述加载文件的节点个数确定各个节点的加载信息,具体步骤包括:S1、所述节点基于加载信息内的偏移地址确定从加载文件中加载数据的起始位置,并进行数据加载;S2、根据所述数据加载过程中的统计信息判断该节点加载是否结束,并判断缓冲数据的缓冲区所缓冲的数据量是否超过设定阈值,若加载结束或超过设定阈值则进行缓冲区切换;S3、将临时缓存在缓冲区的数据存储至所述节点对应的存储位置;步骤S1中,所述节点基于加载信息内的偏移地址确定从加载文件中加载数据的起始位置,并进行数据加载,包括:若加载信息内的偏移地址为零,数据加载步骤如下:S101、加载文件中加载数据的起始位置之前无数据,从偏移地址对应加载文件的数据位置加载数据至接收缓存;S102、所述接收缓存存储到设定条件,将接收缓存中的数据缓存到缓冲区;S103、接收缓存从加载文件中根据上一次结束缓存的位置开始继续进行数据缓存;S104、重复步骤S102-S103;若加载信息内的偏移地址不为零,数据加载步骤如下:S111、从所述偏移地址对应加载文件的数据位置开始加载数据至接收缓存,并从所述数据位置向后查找分隔符;S112、若找到分隔符则将分隔符后面的数据重新从接收缓存的初始位置进行覆盖原有数据的缓存;S113、所述接收缓存存储到设定条件,将接收缓存中的数据缓存到缓冲区;S114、接收缓存从加载文件中根据上一次结束缓存的位置开始继续进行数据缓存;S115、重复步骤S113-S114。

全文数据:

权利要求:

百度查询: 天津南大通用数据技术股份有限公司 一种切分数据块的方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。