申请/专利权人：北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司

申请日：2016-12-06

公开（公告）日：2020-11-24

公开（公告）号：CN108153784B

主分类号：G06F16/27(20190101)

分类号：G06F16/27(20190101)

优先权：

专利状态码：有效-授权

法律状态：2020.11.24#授权;2018.07.06#实质审查的生效;2018.06.12#公开

摘要：本发明公开了一种同步数据处理方法和装置,涉及数据处理领域。其中的同步数据处理方法包括：获取源数据和目标数据，其中，目标数据是源数据的同步数据；对源数据和目标数据进行比较，获得差异数据；根据差异数据对目标数据进行修复。通过比较源数据与同步源数据获得的目标数据，能够获得同步后的数据与源数据的差异，并根据差异对目标数据进行修复。从而，能够获得准确的数据同步结果。

主权项：1.一种同步数据处理方法，其特征在于，包括：获取源数据和目标数据，其中，目标数据是源数据的同步数据；对源数据和目标数据进行比较，获得差异数据，包括：获取源数据和目标数据中同一数据表的数据的校验值，其中，所述校验值包括源数据库和目标数据库中同一数据表中的预设字段的统计结果；比较源数据的所述校验值和目标数据的所述校验值；如果源数据的所述校验值和目标数据的所述校验值不同，比较所述源数据和目标数据中同一数据表的数据，获得差异数据，所述差异数据包括待添加数据和或待删除数据；其中，所述比较所述源数据和目标数据中同一数据表的数据，获得差异数据包括：对源数据和目标数据进行比较，删除源数据和目标数据中完全相同的数据，包括：分别从源数据和目标数据中装载若干批次的数据到源比较区和目标比较区中；和，按照数据的唯一索引的排序顺序，依次比较源比较区和目标比较区中的数据，删除源比较区和目标比较区中完全相同的数据；以及将源比较区和目标比较区中未被删除并且完成比较的数据分别导出到差异数据中，包括：如果源游标小于目标游标并且目标比较区中的数据均已经完成比较，将源比较区中的数据导出到待添加数据，并从源数据中装载若干批次的数据到源比较区中并继续进行比较；如果源游标大于目标游标并且源比较区中的数据均已经完成比较，将目标比较区中的数据导出到待删除数据，并从目标数据中装载若干批次的数据到目标比较区中并继续进行比较；其中，源游标为源比较区中待比较的数据的唯一索引，目标游标为目标比较区中待比较的数据的唯一索引；以及根据差异数据对目标数据进行修复。

全文数据：同步数据处理方法和装置技术领域[0001]本发明涉及数据处理领域，特别涉及一种同步数据处理方法和装置。背景技术[0002]目目u，出于对实时、准时地产生报表等需求，各种数据同步工具应运而生，并且使用越来越广泛。然而，在数据同步的过程中，可能因为网络、系统死锁、硬件故障等原因引发数据库同步错误，导致使用同步工具进行同步的数据之间产生不一致。而这些同步工具无法对数据进行进一步处理，以解决同步数据不准确的问题。发明内容[0003]本发明实施例所要解决的一个技术问题是:如何提高同步数据的准确性。_4]—根据本发明实施例的第一个方面，提供一种同步数据处理方法，包括:获取源数据和目标数据，其中，目标数据是源数据的同步数据;对源数据和目标数据进行比较，获得差异数据;根据差异数据对目标数据进行修复。[0005]在一个实施例中，对源数据和目标数据进行比较，获得差异数据包括:获取源数据和目标数据中同一数据表的数据的校验值；比较源数据的校验值和目标数据的校验值;如果源数据的校验值和目标数据的校验值不同，比较源数据和目标数据中同一数据表的数据，获得差异数据。[0006]在：个实施例中，对源数据和目标数据进行比较，获得差异数据包括:对源数据和目标数据进行比较，删除源数据和目标数据中完全相同的数据;将源数据和目标数据中未被删除并且完成比较的数据作为差异数据。[0007]根据本发明实施例的第二个方面，提供一种同步数据处理装置，包括:数据获取模块，用于获取源数据和目标数据，其中，目标数据是源数据的同步数据;数据比较模块，用于对源数据和目标数据进行比较，获得差异数据;数据修复模块，用于根据差异数据对目标数据进行修复。[0008]在一个实施例中，数据比较模块包括:校验值获取单元，用于获取源数据和目标数据中同一数据表的数据的校验值;校验值比较单元，用于比较源数据的校验值和目标数据的校验值;问题数据比较单元，用于当源数据的校验值和目标数据的校验值不同时，比较源数据和目标数据中同一数据表的数据，获得差异数据。[0009]_在一个实施例中，数据比较模块包括:相同数据删除单元，用于对源数据和目标数据进行比较，删除源数据和目标数据中完全相同的数据;差异数据获得单元，用于将源数据和目标数据中未被删除并且完成比较的数据作为差异数据。[0010]本发明通过比较源数据与同步源数据获得的目标数据，能够获得同步后的数据与源数据的差异，并根据差异对目标数据进行修复。从而，能够获得准确的数据同步结果。[0011]通过以下参照附图对本发明的示例性实施例的详细描述，本发明的:a：它特征及其优点将会变得清楚。N附图说明[0012]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。[0013]图1为本发明同步数据处理方法一个实施例的流程图。[0014]图2为本发明同步数据处理方法另一个实施例的流程图。[0015]图3为本发明获得差异数据的方法的一个实施例的流程图。[0016]图4为本发明获得差异数据的方法的另一个实施例的流程图。[0017]图5为本发明同步数据处理装置的一个实施例的结构图。[0018]图6为本发明同步数据处理装置的另一个实施例的结构图。[0019]图7为本发明同步数据处理装置的又一个实施例的结构图。[0020]图8为本发明同步数据处理装置的再一个实施例的结构图。具体实施方式[0021]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0022]图1为本发明同步数据处理方法一个实施例的流程图。如图丨所示，该实施例的方法包括：[0023]步骤S102，获取源数据和目标数据，其中，目标数据是源数据的同步数据。[0024]源数据和目标数据可以是从数据库中获得的数据表中的数据。源数据和目标数据可以来自相同的数据库，也可以来自不同的数据库。此外，目标数据也可以包含来自多个数据库的数据。[0025]步骤S104，对源数据和目标数据进行比较，获得差异数据。[0026]例如，可以在目标数据中逐一查找源数据中的数据、并在源数据中逐一查找目标数据中的数据，将无法查找到的数据作为差异数据;或者，可以首先根据源数据和目标数据中同数据表的校验值确定同步有差错的数据表，再通过详细比较确定这些数据表中的哪些数据是差异数据。[0027]差异数据主要包括三种:在源数据中存在而在目标数据中不存在的数据，这类数据是需要在目标数据中增加的数据;在目标数据中存在而在源数据中不存在的数据，这类数$是需要在目标数据中删除的数据;在源数据和目标数据中均存在，但是时间戮不一致的数据，这类数据是目标数据没有进行更新的数据。其中，时间戳是指由数据库自身维护的时间彳目息，在数据记录被插入、修改时会进行自动更新。[0028]步骤S106,根据差异数据对目标数据进行修复。[0029]可以在目标数据中增加待增加的数据、删除待删除的数据，并对待更新的数据按照源数据的内容进行更新。[0030]通过比较源数据与同步源数据获得的目标数据，能够获得同步后的数据与源数据的差异，并根据差异对目标数据进行修复。从而，能够获得准确的数据同步结果。[0031]当同步数据的数据量较大时，可以首先缩小可能存在同步错误的数据的范围，再进行具体的数据比较和修复。下面参考图2描述本发明另一个实施例的同步数据处理方法。[0032]图2为本发明同步数据处理方法另一个实施例的流程图。如图2所示，该实施例的方法包括：[0033]步骤S202，获取源数据和目标数据。[0034]在对源数据和目标数据中的数据内容进行校验之前，可以先对表的结构、属性进行校验。例如，可以根据数据库的元数据信息，获得表信息和结构信息，将表结构不一致的表进行记录并预警。[0035]步骤S204,获取源数据和目标数据中同一数据表的数据的校验值。[0036]例如，可以首先分别获取源数据和目标数据中同一数据表的总行数作为校验值，当源数据和目标数据中同一数据表的总行数不一致时，则说明同步有异常。[°037]此外，还可以将源数据库和目标数据库中同一数据表中同一行数据的哈希值作为te验值。例如，可以计算源数据和目标数据中同一数据表中同一行数据的所有字段的值的M〇5Message-DigestAlgorithms，消息摘要算法第五版值。从而，可以根据数据表中同一行数据的字段值生成校验值，使校验更准确。[0038]或者，还可以将源数据库和目标数据库中同一数据表中的预设字段的统计结果作为校验值。例如，对于数值类型的字段，可以分别计算源数据库和目标数据库中同一数据表中的数值类型字段的值的总和，或者，对于状态类型的字段，可以分别计算源数据库和目标数据库中同一数据表中具有特定状态的数据的总条数。从而，可以根据数据表中的部分信息生成校验值，校验效率更高。[0039]此外，还可以定期对同步数据进行校验。此时，可以获取源数据库和目标数据库中^一数据表的时间戳在同一时间段内的数据的校验值，该时间段的截止时间例如可以为当前时间，或者将当前时间向前偏移预设值后所确定的时间，该时间段的起始时间可以为上一次进行同步数据的比较时所采用的时间段的截止时间。[0040]^上述时间段的长度可以不是固定的。例如，可以取1小时内的源数据库和目标数据库中同一数据表的数据进行比较，随着数据的变化和业务的需求，在下一次进行比较时，也可以获取2〇分钟内的源数据库和目标数据库中同一数据表的数据进行比较。即，可以在任意的时间间隔内进行源数据和目标数据的比较。[0041]从而，可以仅对最近一段时间内的同步数据进行增量比较，提高了同步数据处理的效率。[0042]步骤S206，比较源数据的校验值和目标数据的校验值。[0043]步骤S208，如果源数据的校验值和目标数据的校验值不同，比较源数据和目标数据中同一数据表的数据，获得差异数据。[0044]如果校验值为源数据库和目标数据库中同一数据表的时间戳在同一时间段内的数据的校验值，那么当校验值不同时，可以仅比较源数据和目标数据中同一数据表的时间戳在该同一时间段内的数据，获得差异数据。从而，进一步减少了进行比较的数据量，提高JN步双据处埋的欢卒。[0045]步骤=10，根据差异数据对目标数据进行修复。[0046]通过采用上述方法，可以首先确定发生了同步错误的数据的范围，再在该范围内进行详细的数据比较和数据修复，提高了同步数据处理的效率。[0047]下面参考图3描述本发明一个实施例的获得差异数据的方法。[0048]图3为本发明获得差异数据的方法的一个实施例的流程图。如图3所示，该实施例的方法包括：[0049]步骤S302，对源数据和目标数据进行比较，删除源数据和目标数据中完全相同的数据。[0050]其中，源数据和目标数据可以是所有的源数据和目标数据，也可以是源数据和目标数据中已确定具有差异的数据。例如，可以为图2实施例中校验值不一致的源数据和目标数据。[0051]一种删除源数据和目标数据中完全相同的数据的方法为:搜索源数据和目标数据中具有相同唯一索引的数据;如果源数据和目标数据中具有相同唯一索引的数据具有相同的时间戳，删除源数据和目标数据中具有相同唯一索引的数据。[0052]此外，如果源数据和目标数据中具有相同唯一索引的数据具有不同的时间戮，说明该数据虽然未被删除，也不是新增数据，但是源数据发生了变更而在目标数据中没有进行相应更新，从而可以将源数据中具有相同唯一索引的数据导出到差异数据中的待更新数据中。[0053]其中，可以采用按序移动比较的方法获得源数据和目标数据中完全相同的数据。[0054]^如，可以将源数据和目标数据分别按照数据的唯一索引的递增或递减顺序进行排序，并采用源游标和目标游标分别记录源数据和目标数据的当前待比较数据的唯一索引，即分别指向源数据和目标数据的当前待比较数据。[0055]在初始阶段，源游标和目标游标分别指向源数据和目标数据的首个数据。比较源游标和目标游标所指向的数据，如果相同，则删除源数据和目标数据中的源游标和目标游标所指向的数据，并将源游标和目标游标后移一位;如果不同，当数据按唯一索引的递增顺序排列时，将源游标和目标游标中较小的游标后移，并继续进行比较。'[0056]步骤S304,将源数据和目标数据中未被删除并且完成比较的数据作为差异数据。[0057]其中，源数据中未被删除并且完成比较的数据为待添加数据，目标数据中未被删除并且完成比较的数据为待删除数据。[0058]当待进行比较的源数据和目标数据的数据量较大时，可以分批次地将数据加载到比较区中进行比较，并将源比较区和目标比较区中完成比较的数据导出或删除。下面参考图4描述本发明另一个实施例的获得差异数据的方法。夕[0059]图4为本发明获得差异数据的方法的另一个实施例的流程图。如图4所示，该实施例的方法包括：[0060]步骤S4〇2,分别从源数据和目标数据中装载若干批次的数据到源比较区和目标比较区中。[0061]可以根据需要对源数据和目标数据划分批次。例如，可以预设每个批次的数据条目数，或者设定各个批次的数据的唯一索引值的范围。’、[0062]其中，比较区例如可以采用队列实现。_[0063]步骤S404,对源比较区和目标比较区中的数据进行比较，删除源比较区和目标比较区中完全相同的数据。[0064]步骤S406,将源比较区和目标比较区中未被删除并且完成比较的数据分别导出到差异数据中。[0065]在导出数据时，可以按批次进行输出，从而可以对数据进行分批次的修复。[0066]当源比较区和目标比较区中的数据小于预设批次时，可以再装载若千批次的数据。例如，可以当比较区和目标比较区中的数据小于2个批次时，再装载1个批次的数据。[0067]通过采用上述方法，可以将源数据和目标数据分批次地加载到比较区中，并且仅对比较区中的数据进行比较，可以高效、低成本地处理海量数据，在兼顾了处理装置的性能的同时，满足了准确地进行数据同步的需求。[0068]在某些情况下，源比较区和目标比较区中的数据可能并不处于同一有效比较区域。例如，当前源比较区中的一条数据的唯一索引为1112,目标比较区中没有唯一索引为1112的数据。然而，这并不能说明目标数据中不包括唯一索引为1112的数据，因为该数据有可能尚未被加载到目标比较区中。因此，可以再从目标数据中加载一个批次的数据到目标比较区中，以使源比较区和目标比较区中的数据能够进行对应。[0069]—种比较和加载的方法为:如果源游标小于目标游标并且目标比较区中的数据均已经完成比较，将源比较区中的数据导出到待添加数据，并从源数据中装载若干批次的数据到源比较区中并继续进行比较。其中，源游标为源比较区中待比较的数据的唯一索引，目标游标为目标比较区中待比较的数据的唯一索引。[0070]在源比较区和目标比较区中的数据完成相同数据删除的操作之后，当源游标小于目标游标时，说明目标数据的比较和处理进度较快，并且源比较区中未被删除的数据均为已完成比较的数据，因此，可以将源比较区中的数据导出到待添加数据。而目标比较区中未被删除的数据中可能存在与源数据中相同的数据，而这些相同的源数据尚未加载到源比较区中进行比较，因此目标比较区中的数据很可能尚未完成比较，可以暂时保留。[0071]类似地，如果源游标大于目标游标并且源比较区中的数据均已经完成比较，将目标比较区中的数据导出到待删除数据，并从目标数据中装载若干批次的数据到目标比较区中并继续进行比较。[0072]在上述实施例中，唯一索引不仅可以为数值类型，还可以为其他类型，例如字符类型。对于非数值类型的唯一索引，可以按照预设的规则排序，例如字符对应的ASCIIAmericanStandardCodeforInformationInterchange，美国信息交换标准代码码等等^因此，即使唯一索引不是数值类型，也可以进行大小比较。其中，唯一索引较小的数据是指在数据升序排列时值较小的数据，以及在数据降序排列时值较大的数据，即更靠前的数据。[0073]此外，当源数据中所有的数据均己完成比较时，目标数据中未完成比较的数据没有可比较的对象，因此均为待删除数据，可以直接将目标数据中未完成比较的数据导出到差异数据中。类似地，当目标数据中所有的数据均已完成比较时，可以将源数据中未完成比较的数据导出到差异数据中。[0074]上述各个实施例的方法可以采用多个进程实现，例如，可以为不同数据库、不同数据表设置不同的进程进行同时处理，从而可以提升数据校验和修复的效率。每个进程可以对应独立的配置文件，用于配置该进程所处理的数据库、数据表、进行数据比较的时间段、库表中的唯一索引、进行校验的字段、报警配置、数据输出配置等等。[0075]下面参考图5描述本发明一个实施例的同步数据处理装置。[0076]图5为本发明同步数据处理装置的一个实施例的结构图。如图5所示，该实施例的装置包括:数据获取模块51，用于获取源数据和目标数据，其中，目标数据是源数据的同步数据;数据比较模块52，用于对源数据和目标数据进行比较，获得差异数据;数据修复模块53，用于根据差异数据对目标数据进行修复。[0077]其中，差异数据可以包括待添加数据、待删除数据和待更新数据中的至少一种。数据修复模块53可以用于:将待添加数据添加到目标数据中、将待删除数据从目标数据中删除、将目标数据中与待更新数据具有相同唯一索引的数据进行更新、使目标数据中更新后的数据与待更新数据相同中的至少一种。[0078]下面参考图6描述本发明另一个实施例的同步数据处理装置。[0079]图6为本发明同步数据处理装置的另一个实施例的结构图。如图6所示，该实施例的数据比较模块52可以包括:校验值获取单元621，用于获取源数据和目标数据中同一数据表的数据的校验值;校验值比较单元似2,用于比较源数据的校验值和目标数据的校验值；问题数据比较单元623，用于当源数据的校验值和目标数据的校验值不同时，比较源数据和目标数据中同一数据表的数据，获得差异数据。[00S0]其中，校验值获取单元621可以进一步用于获取源数据库和目标数据库中同一数据表的时间戳在同一时间段内的数据的校验值；问题数据比较单元623可以进一步用于当源数据的校验值和目标数据中同一数据表的时间戳在同一时间段内的数据的校验值不同，比较源数据和目标数据中同一数据表的时间戳在同一时间段内的数据，获得差异数据。[0081]其中，校验值获取单元6M还可以进一步用于将源数据库和目标数据库中同一数据表中的数据的哈希值作为校验值，或者，将源数据库和目标数据库中同一数据表中的预设字段的统计结果作为校验值。[0082]此外，数据比较模块52还可以包括:相同数据删除单元624，用于对源数据和目标数据进行比较，删除源数据和目标数据中完全相同的数据;差异数据获得单元625,用于将源数据和目标数据中未被删除并且完成比较的数据作为差异数据。[0083]其中，相同数据删除单元624可以进一步用于搜索源数据和目标数据中具有相同唯一索引的数据，如果源数据和目标数据中具有相同唯一索引的数据具有相同的时间戳，删除源数据和目标数据中具有相同唯一索引的数据。[0084]其中，相同数据删除单元624还可以进一步用于分别从源数据和目标数据中装载若干批次的数据到源比较区和目标比较区中，并对源比较区和目标比较区中的数据进行比较，删除源比较区和目标比较区中完全相同的数据;差异数据获得单元625可以进一步用于将源比较区和目标比较区中未被删除并且完成比较的数据分别导出到差异数据中。[0085]差异数据可以包括待添加数据和或待删除数据。相同数据删除单元624还可以进一步用于按照数据的唯一索引的排序顺序，依次比较源比较区和目标比较区中的数据;差异数据获得单元625还可以进一步用于当源游标小于目标游标并且目标比较区中的数据均已经完成比较时，将源比较区中的数据导出到待添加数据，并从源数据中装载若干批次的数据到源比较区中并继续进行比较，当源游标大于目标游标并且源比较区中的数据均已经完成比较时，将目标比较区中的数据导出到待删除数据，并从目标数据中装载若干批次的数据到目标比较区中并继续进行比较。其中，源游标为源比较区中待比较的数据的唯一索弓丨，目标游标为目标比较区中待比较的数据的唯一索引。[0086]此外，装置还可以包括:剩余数据导出模块64，用于当源数据中所有的数据均己完成比较，将目标数据中未完成比较的数据导出到差异数据中，和或，当目标数据中所有的数据均已完成比较，将源数据中未完成比较的数据导出到差异数据中。[0087]此外，装置还可以包括:待更新数据确定模块65,用于当源数据和目标数据中具有相同唯一索引的数据具有不同的时间戳时，将源数据中具有相同唯一索引的数据导出到待更新数据中。[0088]图7为本发明同步数据处理装置的又一个实施例的结构图。如图7所示，该实施例的装置700包括:存储器710以及耦接至该存储器710的处理器720,处理器720被配置为基于存储在存储器710中的指令，执行前述任意一个实施例中的同步数据处理方法。[0089]其中，存储器71〇例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序BootLoader以及其他程序等。[0090]图8为本发明同步数据处理装置的再一个实施例的结构图。如图8所示，该实施例的装置7〇〇包括:存储器710以及处理器72〇，还可以包括输入输出接口830、网络接口840、存储接口850等。这些接口830，840，85〇以及存储器710和处理器720之间例如可以通过总线860连接。其中，输入输出接口830为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口840为各种联网设备提供连接接口。存储接口850为SD卡、U盘等外置存储设备提供连接接口。[0091]本领域内的技术人员应当明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。[0092]本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和或方框图来描述的。应理解为可由计算机程序指令实现流程图和或方框图中的每一流程和或方框、以及流程图和或方框图中的流程和或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和或方框图一个方框或多个方框中指定的功能的装置。[0093]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和或方框图一个方框或多个方框中指定的功能。[0094]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和框图一个方框或多个方框中指定的功能的步骤。[0095]以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

权利要求：1.一种同步数据处理方法，其特征在于，包括：获取源数据和目标数据，其中，目标数据是源数据的同步数据；对源数据和目标数据进行比较，获得差异数据；根据差异数据对目标数据进行修复。2.根据权利要求1所述的方法，其特征在于，所述对源数据和目标数据进行比较，获得_异数据包括：获取源数据和目标数据中同一数据表的数据的校验值；比较源数据的所述校验值和目标数据的所述校验值；如果源数据的所述校验值和目标数据的所述校验值不同，比较所述源数据和目标数据中同一数据表的数据，获得差异数据。3.根据权利要求2所述的方法，其特征在于，所述获取源数据库和目标数据库中同一数据表的数据的校验值包括：获取源数据库和目标数据库中同一数据表的时间戳在同一时间段内的数据的校验值；所述如果源数据的所述校验值和目标数据的所述校验值不同，比较所述源数据和目标数据中同一数据表的数据，获得差异数据包括：如果源数据的所述校验值和目标数据中同一数据表的时间戳在同一时间段内的数据的校验值不同，比较所述源数据和目标数据中同一数据表的时间戳在同一时间段内的数据，获得差异数据。4.根据权利要求2所述的方法，其特征在于，所述获取源数据库和目标数据库中同一数据表中的数据的校验值包括：将源数据库和目标数据库中同一数据表中同一行数据的哈希值作为校验值;或者，将源数据库和目标数据库中同一数据表中的预设字段的统计结果作为校验值。5.根据权利要求1或2所述的方法，其特征在于，所述对源数据和目标数据进行比较，获得差异数据包括：对源数据和目标数据进行比较，删除源数据和目标数据中完全相同的数据；将源数据和目标数据中未被删除并且完成比较的数据作为差异数据。6.根据权利要求5所述的方法，其特征在于，所述对源数据和目标数据进行比较，删除源数据和目标数据中完全相同的数据包括：分别从源数据和目标数据中装载若干批次的数据到源比较区和目标比较区中；对源比较区和目标比较区中的数据进行比较，删除源比较区和目标比较区中完全相同的数据；所述将源数据和目标数据中未被删除并且完成比较的数据作为差异数据包括：将源比较区和目标比较区中未被删除并且完成比较的数据分别导出到差异数据中。7.根据权利要求6所述的方法，其特征在于，所述差异数据包括待添加数据和或待删除数据；~所述比较源比较区和目标比较区中的数据包括：按照数据的唯一索引的排序顺序，依次比较源比较区和目标比较区中的数据；所述将源比较区和目标比较区中未被删除并且完成比较的数据分别导出到差异数据中包括：如果源游标小于目标游标并且目标比较区中的数据均已经完成比较，将源比较区中的数据导出到待添加数据，并从源数据中装载若干批次的数据到源比较区中并继续进行比较；如果源游标大于目标游标并且源比较区中的数据均已经完成比较，将目标比较区中的数据导出到待删除数据，并从目标数据中装载若干批次的数据到目标比较区中并继续进行比较；其中，源游标为源比较区中待比较的数据的唯一索引，目标游标为目标比较区中待比较的数据的唯一索引。8.根据权利要求5所述的方法，其特征在于，还包括：当源数据中所有的数据均已完成比较，将目标数据中未完成比较的数据导出到差异数据中，和或，当目标数据中所有的数据均己完成比较，将源数据中未完成比较的数据导出到差异数据中。9.根据权利要求5所述的方法，其特征在于，所述对源数据和目标数据进行比较，删除源数据和目标数据中完全相同的数据包括：搜索源数据和目标数据中具有相同唯一索引的数据；如果源数据和目标数据中所述具有相同唯一索引的数据具有相同的时间戳，删除所述源数据和目标数据中所述具有相同唯一索引的数据。10.根据权利要求9所述的方法，其特征在于，还包括：如果源数据和目标数据中所述具有相同唯一索引的数据具有不同的时间戳，将源数据中所述具有相同唯一索引的数据导出到待更新数据中。11.根据权利要求1所述的方法，其特征在于，所述差异数据包括待添加数据、待删除数据和待更新数据中的至少一种；所述根据差异数据对目标数据进行修复至少包括以下一种：将待添加数据添加到目标数据中；将待删除数据从目标数据中删除；将目标数据中与待更新数据具有相同唯一索引的数据进行更新，使目标数据中更新后的数据与所述待更新数据相同。12.—种同步数据处理装置，其特征在于，包括：数据获取模块，用于获取源数据和目标数据，其中，目标数据是源数据的同步数据；数据比较模块，用于对源数据和目标数据进行比较，获得差异数据；数据修复模块，用于根据差异数据对目标数据进行修复。13.根据权利要求12所述的装置，其特征在于，所述数据比较模块包括：校验值获取单元，用于获取源数据和目标数据中同一数据表的数据的校验值；校验值比较单元，用于比较源数据的所述校验值和目标数据的所述校验值；问题数据比较单元，用于当源数据的所述校验值和目标数据的所述校验值不同时，比较所述源数据和目标数据中同一数据表的数据，获得差异数据。14.根据权利要求13所述的装置，其特征在于，所述校验值获取单元进一步用于获取源数据库和目标数据库中同一数据表的时间戳在同一时间段内的数据的校验值；所述问题数据比较单元进一步用于当源数据的所述校验值和目标数据中同一数据表的时间戳在同一时间段内的数据的校验值不同，比较所述源数据和目标数据中同一数据表的时间戳在同一时间段内的数据，获得差异数据。15.根据权利要求13所述的装置，其特征在于，所述校验值获取单元进一步用于将源数据库和目标数据库中同一数据表中同一行数据的哈希值作为校验值，或者，将源数据库和目标数据库中同一数据表中的预设字段的统计结果作为校验值。16.根据权利要求12或13所述的装置，其特征在于，所述数据比较模块包括：相同数据删除单元，用于对源数据和目标数据进行比较，删除源数据和目标数据中完全相同的数据；差异数据获得单元，用于将源数据和目标数据中未被删除并且完成比较的数据作为差异数据。17.根据权利要求16所述的装置，其特征在于，所述相同数据删除单元进一步用于分别从源数据和目标数据中装载若干批次的数据到源比较区和目标比较区中，并对源比较区和目标比较区中的数据进行比较，删除源比较区和目标比较区中完全相同的数据；所述差异数据获得单元进一步用于将源比较区和目标比较区中未被删除并且完成比较的数据分别导出到差异数据中。18.根据权利要求17所述的装置，其特征在于，所述差异数据包括待添加数据和或待删除数据；所述相同数据删除单元进一步用于按照数据的唯一索引的排序顺序，依次比较源比较区和目标比较区中的数据；所述差异数据获得单元进一步用于当源游标小于目标游标并且目标比较区中的数据均已经完成比较时，将源比较区中的数据导出到待添加数据，并从源数据中装载若干批次的数据到源比较区中并继续进行比较，当源游标大于目标游标并且源比较区中的数据均已经完成比较时，将目标比较区中的数据导出到待删除数据，并从目标数据中装载若干批次的数据到目标比较区中并继续进行比较；其中，源游标为源比较区中待比较的数据的唯一索引，目标游标为目标比较区中待比较的数据的唯一索引。19.根据权利要求16所述的装置，其特征在于，还包括：剩余数据导出模块，用于当源数据中所有的数据均已完成比较，将目标数据中未完成比较的数据导出到差异数据中，和或，当目标数据中所有的数据均已完成比较，将源数据中未完成比较的数据导出到差异数据中。20.根据权利要求16所述的装置，其特征在于，所述相同数据删除单元进一步用于搜索源数据和目标数据中具有相同唯一索引的数据，如果源数据和目标数据中所述具有相同唯一索引的数据具有相同的时间戳，删除所述源数据和目标数据中所述具有相同唯一索引的数据。21.根据权利要求20所述的装置，其特征在于，还包括：待更新数据确定模块，用于当源数据和目标数据中所述具有相同唯一索引的数据具有不同的时间戳时，将源数据中所述具有相同唯一索引的数据导出到待更新数据中。22.根据权利要求I2所述的装置，其特征在于，所述差异数据包括待添加数据、待删除数据和待更新数据中的至少一种；n所述数据修复模块用于:将待添加数据添加到目标数据中、将待删除数据从目标数据中删除、将目标数据中与待更新数据具有相同唯一索引的数据进行更新、使目标数据中更新后的数据与所述待更新数据相同中的至少一种。23.—种同步数据处理装置，其特征在于，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1-11中任一项所述的同步数据处理方法。

百度查询： 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 同步数据处理方法和装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD