申请/专利权人：南京烽火星空通信发展有限公司

申请日：2020-12-03

公开（公告）日：2021-01-08

公开（公告）号：CN112199343A

主分类号：G06F16/174(20190101)

分类号：G06F16/174(20190101);G06F16/16(20190101)

优先权：

专利状态码：失效-发明专利申请公布后的驳回

法律状态：2022.02.25#发明专利申请公布后的驳回;2021.01.26#实质审查的生效;2021.01.08#公开

摘要：本发明公开了一种小数据块场景的数据压缩解压缩加速方法，包括：在主机端进行数据合并，通过PCIE总线将处理后的数据从主机端传输到FPGADRAM上；对批量的数据进行分组，对每组数据并行压缩，针对每个文件，将512位的数据位宽转换成8位stream流数据；压缩时，依次对数据进行LZ77算法压缩和LZ4算法压缩；解压缩时，将LZ4格式的数据转成LZ77格式的数据，再将LZ77格式的数据解析成原始数据；将压缩解压缩后的数据经由FPGADRAM上传输至主机端，主机端对数据进行拆分得到压缩解压缩文件。本发明在FPGA上采用LZ4算法批量处理小文件，增加数据处理和传输overlap，提高内部处理并行度，优化算法，提高了整体压缩性能。

主权项：1.一种小数据块场景的数据压缩解压缩加速方法，其特征在于，所述方法包括如下步骤：步骤一、在主机端进行数据合并，将每个文件按照64个字节对齐拼接后，通过PCIE总线将处理后的数据从主机端传输到FPGADRAM上；步骤二、对批量的数据进行分组，每8个文件为一组，最后剩余不足8个文件的单独为一组，对每组数据并行压缩，针对每个文件，将512位的数据位宽转换成8位stream流数据；数据压缩加速方法包括如下步骤：201、对经过步骤二得到的数据，使用LZ77算法进行第一轮压缩；202、对经过步骤201得到的数据，使用LZ4算法进行第二轮压缩；203、对经过步骤202得到的数据，将数据由8位转成512位，存放到与原始文件大小相同的空间；数据解压缩加速方法包括如下步骤：211、解压缩过程中，当前输入的数据为LZ4格式，将LZ4格式的数据转成LZ77格式的数据；212、对LZ77格式的数据继续进行解析，得到原始数据；步骤三、将压缩解压缩后的数据经由FPGADRAM上传输至主机端，主机端对数据进行拆分得到压缩解压缩文件。

全文数据：

权利要求：

百度查询： 南京烽火星空通信发展有限公司 一种小数据块场景的数据压缩/解压缩加速方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD