买专利,只认龙图腾
首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

【发明公布】基于分布式的唯一类型数据供数方法_北京捷科智诚科技有限公司;江苏润和软件股份有限公司_202211023554.4 

申请/专利权人:北京捷科智诚科技有限公司;江苏润和软件股份有限公司

申请日:2022-08-25

公开(公告)日:2022-11-29

公开(公告)号:CN115407938A

主分类号:G06F3/06

分类号:G06F3/06

优先权:

专利状态码:在审-实质审查的生效

法律状态:2022.12.16#实质审查的生效;2022.11.29#公开

摘要:本发明提供一种基于分布式的唯一类型数据供数方法,属于软件技术领域,结合高性能队列实现分布式文件读取,采用环形进程进行文件分派、读取和轮转数据消费。本发明采用多级缓存和分布式处理方式,有效提升读取效率。本发明按照指定配置提前预读模式缓存数据批次,使得执行机能够直接获取数据,无需进行等待,提升整体效率,能够解决中心数据读取弊端,并避免了使用大文件读取造成的内存溢出问题。

主权项:1.基于分布式的唯一类型数据供数方法,其特征在于,包括如下步骤:Step1:上传参数文件;Step2:在运行脚本中编写代码,代码中对应的参数,并启动分布式执行机;执行机能够预缓存一定批次数数据包,当在数据消费的过程中,执行机上预缓存的数据包不足所述批次数时,执行机自动向数据控制端索取下一批数据;Step3:启动数据控制端和数据生产端;数据控制端用于参数文件读取的总体控制,并在某个数据生产端空闲时按序分发下一个参数文件,向指定的数据生产端索取数据后进行缓存,并返回给执行机一定批次的数据;数据生产端用于根据数据控制端分发的文件做数据读取,并将读取的数据拆分成多个批次的队列数据,等待数据控制端的调用获取;Step4:当接收到执行机的索取指令时,数据控制端将相应参数目录内的文件按序逐个分发给对应的数据生产端,各数据生产端同时读取文件的数据到各自进程的高性能队列上,并进行数据封装获得若干数据包;当数据生产端的数据已经全部传输至数据控制端时,则数据控制端向该数据生产端分发下一个参数文件,数据生产端继续读取数据并存入到缓存队列中,进行数据封装获得若干数据包;Step5:数据控制端依次从各数据生产端索取指定批次的数据包,缓存在数据控制端,并将数据分发给各台执行机,当各台执行机都缓存足量批次数据后,则数据控制端停止向执行机发送;Step6:执行机开始运行,执行机的缓存数据包数减少,执行机向对应的数据控制端索取下一批次数据,数据控制端直接从自身的缓存队列中找到下一批次的数据包,并返回给执行机;当数据控制端缓存的数据不足指定批次数时,触发数据生产端的数据传输至数据控制端;Step7:当数据控制端识别到参数文件读取到最后一个文件时,并在控制端没有数据返回给执行机时,将数据读取完毕信号传输至执行机,停止执行机的数据索取;Step8:数据控制端停止新数据提供,随着执行机的执行,执行及缓存的批次数据逐渐耗尽,停止执行机线程。

全文数据:

权利要求:

百度查询: 北京捷科智诚科技有限公司;江苏润和软件股份有限公司 基于分布式的唯一类型数据供数方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。