申请/专利权人：中电数据产业有限公司;中电数创(北京)科技有限公司

申请日：2024-01-10

公开（公告）日：2024-04-02

公开（公告）号：CN117573620B

主分类号：G06F16/13

分类号：G06F16/13;G06F16/17

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2024.03.08#实质审查的生效;2024.02.20#公开

摘要：本发明涉及数据读取技术领域，提供一种大文件拆分并发读取方法和系统，本发明的方法包括：通过本地路径对待读取的文件进行定位，校验定位所得文件的大小，根据拆分阈值筛选需要拆分的文件；将需要拆分的文件拆分为多个数据块，生成记录每个数据块起止位置的动态数组；遍历所述动态数组，根据动态数组中数据块的起止位置对拆分所得的数据块进行并发读取。本发明的大文件拆分并发读取方法和系统，可以防止内存溢出，在更充分地利用机器的CPU、磁盘IO以及网络带宽等系统资源的同时，提高对大文件的读取效率并保证相邻数据块读取不越界。

主权项：1.一种大文件拆分并发读取方法，其特征在于，所述方法包括：通过本地路径对待读取的文件进行定位，校验定位所得文件的大小，根据拆分阈值筛选需要拆分的文件；将需要拆分的文件拆分为多个数据块，生成记录每个数据块起止位置的动态数组；遍历所述动态数组，根据动态数组中数据块的起止位置对拆分所得的数据块进行并发读取；将需要拆分的文件拆分为多个数据块，生成记录每个数据块起止位置的动态数组，包括：根据需要拆分的文件的数据量和拆分后数据块的目标数据量，计算拆分后数据块的总数量；通过确定数据块的初始字节位置和终止字节位置，将需要拆分的文件按照数据块的目标数据量进行拆分；根据每个数据块的起始字节位置和终止字节位置生成动态数组；通过确定数据块的初始字节位置和终止字节位置，将需要拆分的文件按照数据块的目标数据量进行拆分，包括：将文件定位指针定位至数据块的起始字节位置，根据目标数据量将文件定位指针定位至数据块的终止字节位置；当所述文件定位指针定位的终止字节位置在数据块最后一行的行尾，根据所述起始字节位置和所述终止字节位置对数据块进行拆分；当所述文件定位指针定位的终止字节位置不在数据块最后一行的行尾，将所述文件定位指针移动到数据块最后一行的行尾，将数据块最后一行的行尾作为调整后的终止字节位置，根据所述起始字节位置和调整后的终止字节位置对数据块进行拆分；遍历所述动态数组，根据动态数组中数据块的起止位置对拆分所得的数据块进行并发读取，包括：遍历动态数组，根据动态数组中记录的数据块的起始字节位置和终止字节位置将数据块的读取封装为读取任务，通过执行封装的读取任务对拆分后的数据块进行并发读取。

全文数据：

权利要求：

百度查询： 中电数据产业有限公司;中电数创(北京)科技有限公司 一种大文件拆分并发读取方法和系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD