申请/专利权人：卓望数码技术(深圳)有限公司

申请日：2023-10-18

公开（公告）日：2024-04-09

公开（公告）号：CN117076509B

主分类号：G06F16/2455

分类号：G06F16/2455;G06F40/117;G06F40/194

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2023.12.05#实质审查的生效;2023.11.17#公开

摘要：本发明提供一种数据查重方法、装置、设备及存储介质，涉及计算机技术领域，包括：获取待查重数据记录，待查重数据记录具有数据标识；基于数据标识的字符长度，确定查重唯一标识；对查重唯一标识进行提取运算处理，得到目标处理结果；基于查重唯一标识，在目标处理结果关联的查重数据库中进行数据查重，得到数据查重结果。本发明通过基于数据标识的字符长度，确定查重唯一标识，通过对查重唯一标识的运算处理，使得用于实际查重的字符串长度大大减少，减少查重匹配数据的计算复杂度，提高数据查重的效率，且减少了查重数据存储的空间，同时在与目标处理结果关联的查重数据库中进行数据查重，减少单个查重库的压力，增加查重的并发处理能力。

主权项：1.一种数据查重方法，其特征在于，包括：获取待查重数据记录，其中，所述待查重数据记录具有数据标识；基于所述数据标识的字符长度，确定所述待查重数据记录的查重唯一标识；对所述查重唯一标识进行运算处理，得到目标处理结果；基于所述查重唯一标识，在所述目标处理结果关联的查重数据库中进行数据查重，得到数据查重结果；所述基于所述数据标识的字符长度，确定所述待查重数据记录的查重唯一标识，包括：计算所述数据标识中所有字符对应的字符长度；将所述数据标识的字符长度和预设长度阈值进行比较；基于比较结果，确定所述查重唯一标识；所述基于比较结果，确定所述查重唯一标识，包括：若所述字符长度小于或等于预设长度阈值，则将所述数据标识作为所述查重唯一标识；若所述字符长度大于预设长度阈值，则对所述数据标识进行摘要计算，以将摘要计算结果作为所述查重唯一标识，其中，所述摘要计算结果的字符长度小于或等于所述预设长度阈值；所述基于所述查重唯一标识，在所述目标处理结果关联的查重数据库中进行数据查重，得到数据查重结果，包括：基于各个预设数据库对应的数据库编号，确定数据库编号与所述目标处理结果相匹配的查重数据库；将所述查重唯一标识和所述查重数据库中的存储记录进行查重匹配，得到所述数据查重结果；所述基于各个预设数据库对应的数据库编号，确定数据库编号与所述目标处理结果相匹配的查重数据库，包括：采用并发线程处理，其中，并发线程的数量与查重数据库的数量相同，线程编号与查重数据库的数据库编号对应；线程只处理目标处理结果与线程编号相匹配的查重唯一标识，并且在查重过程中，到与线程编号相对应的查重数据库进行数据查重处理；所述对所述查重唯一标识进行运算处理，得到目标处理结果，包括：在所述查重唯一标识中提取多个目标字符；分别对各所述目标字符进行转码处理，得到各个转码数值；对各所述转码数值进行累加，并将累加数值进行取模运算，得到所述目标处理结果；所述在所述查重唯一标识中提取多个目标字符，包括：在所述查重唯一标识中提取前N位目标字符，提取后N位目标字符，或间隔提取N位目标字符，其中，N为正整数，且N小于或等于查重唯一标识的长度；所述数据标识是基于如下步骤确定：确定所述待查重数据记录关联的各个属性字段信息；在各个属性字段信息中选取若干个目标属性信息；将各所述目标属性字段信息进行拼接，得到所述数据标识。

全文数据：

权利要求：

百度查询： 卓望数码技术(深圳)有限公司 数据查重方法、装置、设备及存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD