申请/专利权人：北京三快在线科技有限公司

申请日：2020-06-17

公开（公告）日：2024-02-23

公开（公告）号：CN111736774B

主分类号：G06F3/06

分类号：G06F3/06

优先权：

专利状态码：有效-授权

法律状态：2024.02.23#授权;2020.11.06#实质审查的生效;2020.10.02#公开

摘要：本公开提供了一种冗余数据的处理方法、装置、服务器及存储介质，属于互联网技术领域。所述方法包括：对多条待处理数据进行解析，得到多个字段名称，每个字段名称对应一个字段值和至少一个索引值；根据多个字段名称对应的字段值和索引值，删除多条待处理数据中的冗余字段，得到多条第一数据。本公开无需技术人员编写大量代码，根据对多条待处理数据解析得到的字段名称对应的索引值和字段值，即可删除多条待处理数据中的冗余字段，不仅节约了人力成本，而且无需针对不同的业务修改所编写的代码，因而冗余数据的处理方式更灵活。

主权项：1.一种冗余数据的处理方法，其特征在于，所述方法包括：获取多条待处理数据，每条待处理数据的数据量大于预设阈值；对所述多条待处理数据进行解析，得到多个字段名称，每个字段名称对应一个字段值和至少一个索引值，所述索引值用于指示字段名称对应的字段在待处理数据中的位置；根据多个字段名称对应的字段值和索引值，删除所述多条待处理数据中的冗余字段，得到多条处理后的数据；所述根据多个字段名称对应的字段值和索引值，删除所述多条待处理数据中的冗余字段，得到多条处理后的数据，包括：根据多个字段名称对应的字段值和索引值，删除多条待处理数据中字段名称相同的冗余字段，得到多条第一数据；从所述多条第一数据中，获取数据量大于所述预设阈值的多条第二数据；根据所述多条第二数据中字段名称对应的字段值和索引值，删除多条第二数据中字段名称相似的冗余数据，得到多条处理后的数据；所述根据多个字段名称对应的字段值和索引值，删除多条待处理数据中字段名称相同的冗余字段，得到多条第一数据，包括：将每个字段名称及其对应的字段值拼接成第一字符串，得到多个第一字符串；采用指定算法对所述多个第一字符串进行加密计算，得到多个第一指纹；根据所述多个字段名称对应的索引值和所述多个第一指纹，确定所述多条待处理数据中字段名称相同的冗余字段；删除所述多条待处理数据中字段名称相同的冗余字段，得到所述多条第一数据；所述根据所述多条第二数据中字段名称对应的字段值和索引值，删除多条第二数据中字段名称相似的冗余数据，得到多条处理后的数据，还包括：将所述多条第二数据中每个字段名称及其对应的索引值拼接成第二字符串，得到多个第二字符串；采用指定算法对所述多个第二字符串进行加密计算，得到多个第二指纹；计算任意两个第二指纹之间的海明距离；根据海明距离小于距离阈值的第二指纹，生成无向关联子图，所述无向关联子图包括多对节点和邻接矩阵，每对节点表示海明距离小于距离阈值的两个第二指纹对应的索引值；根据所述多对节点和所述邻接矩阵，确定所述多条第二数据中字段名称相似的冗余字段；删除所述多条第二数据中字段名称相似的冗余字段，得到所述多条处理后的数据。

全文数据：

权利要求：

百度查询： 北京三快在线科技有限公司 冗余数据的处理方法、装置、服务器及存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD