申请/专利权人：平安科技(深圳)有限公司

申请日：2019-01-03

公开（公告）日：2024-04-16

公开（公告）号：CN109857737B

主分类号：G06F16/22

分类号：G06F16/22;G06F11/14

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2020.12.25#实质审查的生效;2019.06.07#公开

摘要：本发明涉及数据更新技术领域，揭示了一种冷热数据存储方法及装置、电子设备。所述方法包括：将热数据库中的热数据备份至冷数据库；其中，热数据库用于存储热数据，冷数据库用于存储冷数据；热数据为目标时长内数据访问频率大于或等于预设访问频率的数据，冷数据为目标时长内数据访问频率小于预设访问频率的数据；判断热数据库中是否存在转变为冷数据的目标热数据；若存在目标热数据，将该目标热数据从热数据库中删除。本发明实施例中，能够使得高实时性且高成本的热数据库存储被节点频繁访问的热数据，低实时性且低成本的冷数据库存储不经常被访问的冷数据，从而大大节省存储成本，并且最大程度地保证数据的访问利用率。

主权项：1.一种冷热数据存储方法，其特征在于，所述方法包括：将热数据库中与冷数据库中已存储数据不同的热数据备份至冷数据库；其中，所述热数据库用于存储所述热数据，所述数据库采用云储存方式存储冷数据，所述热数据库在响应速度上优于所述冷数据库；所述热数据为目标时长内数据访问频率大于或等于预设访问频率的数据，所述冷数据为所述目标时长内数据访问频率小于所述预设访问频率的数据；若所述热数据库处于关闭状态，则将所述热数据库中的热数据备份至所述冷数据库，若所述热数据库处于运行状态，对所述热数据库中的热数据备份至预设热备份存储设备，并按照时间顺序记录热数据所对应的日志序列号；判断是否检测到对所述冷数据库中的任一冷数据的访问请求；若检测到所述访问请求，将所述访问请求所访问的临时冷数据加载至温数据库，并累计对所述温数据库中的所述临时冷数据的访问次数；其中，所述热数据库的响应速度大于所述温数据库的响应速度，所述温数据库的响应速度大于所述冷数据库的响应速度；判断所述临时冷数据的访问次数是否大于或等于预设访问次数；若所述临时冷数据的访问次数大于或等于所述预设访问次数，则确定存在转变为所述热数据的目标冷数据，将所述温数据库中的所述临时冷数据作为所述目标冷数据；若所述临时冷数据的访问次数小于所述预设访问次数，则确定不存在转变为所述热数据的目标冷数据；若存在所述目标冷数据，将所述目标冷数据从所述温数据库加载至所述热数据库。

全文数据：一种冷热数据存储方法及装置、电子设备技术领域本发明涉及数据更新技术领域，特别涉及一种冷热数据存储方法及装置、电子设备。背景技术随着业务的发展和持续运行，企业的业务系统往往会产生大量的数据，这些数据被存储在数据库中，以供用户根据不同的业务需求进行访问。目前，为了应对高频数据访问，大多数企业采用实时性能较高的大规模存储集群比如MySQL、Cassandra以及MongoDB对数据进行存储。然而，由于数据量过大会使得数据库的访问性能下降，若是为了匹配不断增加的数据规模而搭建更多的数据库，则会导致存储成本大大升高。发明内容为了解决相关技术中存在的数据存储成本较高的问题，本发明提供了一种冷热数据存储方法及装置、电子设备。本发明实施例第一方面公开了一种冷热数据存储方法，所述方法包括：将热数据库中的热数据备份至冷数据库；其中，所述热数据库用于存储所述热数据，所述冷数据库用于存储冷数据；所述热数据为目标时长内数据访问频率大于或等于预设访问频率的数据，所述冷数据为所述目标时长内数据访问频率小于所述预设访问频率的数据；判断所述热数据库中是否存在转变为所述冷数据的目标热数据；若存在所述目标热数据，将所述目标热数据从所述热数据库中删除。作为一种可选的实施方式，在本发明实施例第一方面中，在所述将热数据库中的热数据备份至冷数据库之前，所述方法还包括：判断是否存在待存储数据；若存在所述待存储数据，获取所述待存储数据的数据类型；判断所述热数据库所存储的热数据的数据类型中是否包括所述待存储数据的数据类型；若是，将所述待存储数据加载至所述热数据库；若否，将所述待存储数据加载至所述冷数据库。作为一种可选的实施方式，在本发明实施例第一方面中，在所述将热数据库中的热数据备份至冷数据库之前，所述方法还包括：判断所述冷数据库中是否存在与所述热数据库中任一热数据相同的重复冷数据；若不存在所述重复冷数据，执行所述将热数据库中的热数据备份至冷数据库的步骤；若存在所述重复冷数据，从所述热数据库中删除与所述重复冷数据相同的重复热数据，并将删除所述重复热数据后的热数据库中的其余热数据备份至所述冷数据库。作为一种可选的实施方式，在本发明实施例第一方面中，所述将热数据库中的热数据备份至冷数据库，包括：当检测到所述热数据库处于关闭状态时，将所述热数据库中的热数据备份至所述冷数据库；其中，所述热数据包括数据文件、控制文件、联机文件、参数文件以及口令文件中的至少一种；在所述将热数据库中的热数据备份至冷数据库之后，所述方法还包括：当检测到所述热数据库处于运行状态时，通过归档模式对所述热数据库中的热数据进行热备份。作为一种可选的实施方式，在本发明实施例第一方面中，所述方法还包括：判断所述冷数据库中是否存在转变为所述热数据的目标冷数据；若存在所述目标冷数据，将所述目标冷数据加载至所述热数据库。作为一种可选的实施方式，在本发明实施例第一方面中，所述判断所述冷数据库中是否存在转变为所述热数据的目标冷数据，包括：判断是否检测到对所述冷数据库中的任一冷数据的访问请求；若检测到所述访问请求，将所述访问请求所访问的临时冷数据加载至温数据库，并累计对所述温数据库中的所述临时冷数据的访问次数；其中，所述热数据库的响应速度大于所述温数据库的响应速度，所述温数据库的响应速度大于所述冷数据库的响应速度；判断所述临时冷数据的访问次数是否大于或等于预设访问次数；若所述临时冷数据的访问次数大于或等于所述预设访问次数，则确定存在转变为所述热数据的目标冷数据，将所述温数据库中的所述临时冷数据作为所述目标冷数据；若所述临时冷数据的访问次数小于所述预设访问次数，则确定不存在转变为所述热数据的目标冷数据；所述若存在所述目标冷数据，将所述目标冷数据加载至所述热数据库，包括：若存在所述目标冷数据，将所述目标冷数据从所述温数据库加载至所述热数据库。作为一种可选的实施方式，在本发明实施例第一方面中，所述方法还包括：若存在所述目标冷数据，获取所述目标冷数据的目标数据类型，并将所述冷数据库中与所述目标数据类型对应的除去所述目标冷数据之外的其它冷数据加载至所述热数据库。本发明实施例第二方面公开了一种冷热数据存储装置，所述装置包括：备份单元，用于将热数据库中的热数据备份至冷数据库；其中，所述热数据库用于存储所述热数据，所述冷数据库用于存储冷数据；所述热数据为目标时长内数据访问频率大于或等于预设访问频率的数据，所述冷数据为所述目标时长内数据访问频率小于所述预设访问频率的数据；判断单元，用于判断所述热数据库中是否存在转变为所述冷数据的目标热数据；删除单元，用于在所述判断单元确定存在所述目标热数据时，将所述目标热数据从所述热数据库中删除。本发明实施例第三方面公开了一种电子设备，所述电子设备包括：处理器；存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现本发明实施例第一方面公开的冷热数据存储方法。本发明实施例第四方面公开了一种计算机可读存储介质，其存储计算机程序，所述计算机程序使得计算机执行本发明实施例第一方面公开的冷热数据存储方法。本发明的实施例提供的技术方案可以包括以下有益效果：本发明所提供的冷热数据存储方法包括如下步骤：将热数据库中的热数据备份至冷数据库，其中，热数据库用于存储热数据，冷数据库用于存储冷数据；热数据为目标时长内数据访问频率大于或等于预设访问频率的数据，冷数据为目标时长内数据访问频率小于预设访问频率的数据；判断热数据库中是否存在转变为冷数据的目标热数据，若存在目标热数据，将目标热数据从热数据库中删除。此方法下，通过定期将热数据库中的热数据备份到冷数据库，以及将失去高频特性的目标热数据从热数据库中删除，能够针对数据的访问频率特性，使得高实时性且高成本的热数据库存储被节点频繁访问的热数据，低实时性且低成本的冷数据库存储不经常被访问的冷数据，从而大大节省存储成本，并且最大程度地保证数据的访问利用率。应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。图1是本发明实施例公开的一种装置的结构示意图；图2是本发明实施例公开的一种冷热数据存储方法的流程图；图3是本发明实施例公开的另一种冷热数据存储方法的流程图；图4是本发明实施例公开的一种冷热数据存储装置的结构示意图。具体实施方式这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。实施例一本发明的实施环境可以是电子设备，例如智能手机、平板电脑、台式电脑。图1是本发明实施例公开的一种装置的结构示意图。装置100可以是上述电子设备。如图1所示，装置100可以包括以下一个或多个组件：处理组件102，存储器104，电源组件106，多媒体组件108，音频组件110，传感器组件114以及通信组件116。处理组件102通常控制装置100的整体操作，诸如与显示，电话呼叫，数据通信，相机操作以及记录操作相关联的操作等。处理组件102可以包括一个或多个处理器118来执行指令，以完成下述的方法的全部或部分步骤。此外，处理组件102可以包括一个或多个模块，用于便于处理组件102和其他组件之间的交互。例如，处理组件102可以包括多媒体模块，用于以方便多媒体组件108和处理组件102之间的交互。存储器104被配置为存储各种类型的数据以支持在装置100的操作。这些数据的示例包括用于在装置100上操作的任何应用程序或方法的指令。存储器104可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器StaticRandomAccessMemory，简称SRAM，电可擦除可编程只读存储器ElectricallyErasableProgrammableRead-OnlyMemory，简称EEPROM，可擦除可编程只读存储器ErasableProgrammableReadOnlyMemory，简称EPROM，可编程只读存储器ProgrammableRed-OnlyMemory，简称PROM，只读存储器Read-OnlyMemory，简称ROM，磁存储器，快闪存储器，磁盘或光盘。存储器104中还存储有一个或多个模块，用于该一个或多个模块被配置成由该一个或多个处理器118执行，以完成如下所示方法中的全部或者部分步骤。电源组件106为装置100的各种组件提供电力。电源组件106可以包括电源管理系统，一个或多个电源，及其他与为装置100生成、管理和分配电力相关联的组件。多媒体组件108包括在装置100和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器LiquidCrystalDisplay，简称LCD和触摸面板。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。屏幕还可以包括有机电致发光显示器OrganicLightEmittingDisplay，简称OLED。音频组件110被配置为输出和或输入音频信号。例如，音频组件110包括一个麦克风Microphone，简称MIC，当装置100处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器104或经由通信组件116发送。在一些实施例中，音频组件110还包括一个扬声器，用于输出音频信号。传感器组件114包括一个或多个传感器，用于为装置100提供各个方面的状态评估。例如，传感器组件114可以检测到装置100的打开关闭状态，组件的相对定位，传感器组件114还可以检测装置100或装置100一个组件的位置改变以及装置100的温度变化。在一些实施例中，该传感器组件114还可以包括磁传感器，压力传感器或温度传感器。通信组件116被配置为便于装置100和其他设备之间有线或无线方式的通信。装置100可以接入基于通信标准的无线网络，如WiFiWireless-Fidelity，无线保真。在本发明实施例中，通信组件116经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在本发明实施例中，通信组件116还包括近场通信NearFieldCommunication，简称NFC模块，用于以促进短程通信。例如，在NFC模块可基于射频识别RadioFrequencyIdentification，简称RFID技术，红外数据协会InfraredDataAssociation，简称IrDA技术，超宽带UltraWideband，简称UWB技术，蓝牙技术和其他技术来实现。在示例性实施例中，装置100可以被一个或多个应用专用集成电路ApplicationSpecificIntegratedCircuit，简称ASIC、数字信号处理器、数字信号处理设备、可编程逻辑器件、现场可编程门阵列、控制器、微控制器、微处理器或其他电子元件实现，用于执行下述方法。实施例二请参阅图2，图2是本发明实施例公开的一种冷热数据存储方法的流程示意图。如图2所示该冷热数据存储方法可以包括以下步骤：201、将热数据库中的热数据备份至冷数据库；其中，热数据库用于存储热数据，冷数据库用于存储冷数据；热数据为目标时长内数据访问频率大于或等于预设访问频率的数据，冷数据为目标时长内数据访问频率小于预设访问频率的数据。本发明实施例中，热数据库可以用于存储访问频率较高的热数据比如在线类数据，需要应对复杂的查询、插入、更新以及删除操作，并且，为了优先保障读写性能的高效性和及时性，通常要求查询速度要精确到数秒甚至毫秒级。因此，可以理解，热数据库可以选用投入成本高、性能优秀的数据库，比如MySQL、Cassandra和MongoDB等。必要地，还可以利用大规模数据库集群存储系统，通过增加系统中的存储节点来并行处理数据请求，以充分发挥数据库的性能优势与有效利用率，获得更高的并发访问性能。冷数据库可以用于存储访问频率较低的冷数据例如企业备份数据、业务与操作日志数据以及话单与统计数据等，其中，冷数据通常要求较长的保存时间，因此冷数据的数据量可以达到热数据的十倍甚至百倍，并且，冷数据一般只需处理简单的查询操作，对查询速度的容忍度高，甚至能够允许异步处理。因此，可以理解，冷数据库可以采用低成本的云存储方式，比如平安的iobs和亚马逊的S3等。本发明实施例不作限定。作为一种可选的实施方式，在步骤201之前，还可以包括以下步骤：判断是否存在待存储数据；若存在待存储数据，获取该待存储数据的数据类型；判断热数据库所存储的热数据的数据类型中是否包括该待存储数据的数据类型；若是，将该待存储数据加载至热数据库；若否，将该待存储数据加载至冷数据库。可见，实施可选的实施方式，基于同种数据类型的数据具有相近的访问频率的特点，能够根据待存储数据的数据类型，分别从冷数据库和热数据库中确认是否存在与该数据类型匹配的数据，来决定待存储数据的存储位置，从而提高数据备份的效率。可以理解，这样可能在冷数据库和热数据库中都不存在与待存储数据相同数据类型的数据，对于这种情况，由于该数据类型的创建时间较短，具有较强的时效性，可以将该待存储数据作为热数据。因此，作为一种可选的实施方式，若判断出热数据库和冷数据库中都不存在与该数据类型对应的数据，优选将该待存储数据加载至热数据库。202、判断热数据库中是否存在转变为冷数据的目标热数据，其中，若存在目标热数据时，执行步骤203；若不存在目标热数据时，结束本流程。本发明实施例中，可选的，判断热数据库中是否存在转变为冷数据的目标热数据的方式可以为：检测热数据库中是否存在热度值低于预设的最低热度阈值的目标热数据；其中，热度值用于累计指定单位时间内对热数据的访问频率。因此，若任一热数据的访问频率低于最低热度阈值所规定的最低访问频率，则可以判定该热数据为目标热数据。例如，记录对某数据的访问开始时间为S，每一次访问该数据，将访问量累加一，于E时刻获取指定单位时间内比如每30分钟的访问量Q，则该数据的热度值为：P＝Q*E-ST。若设定指定单位时间内的最低热度阈值为P0，通过热度值计算结果判断是否存在P＜P0，来检测数据库中是否存在热度值低于预设的最低热度阈值的目标热数据。进一步地，可以理解，对于创建时间较长的热数据，例如一年前甚至更长时间以前的浏览记录信息，通常来说会失去参考价值，而且很少会被访问，因此，可以将创建时间和访问频率共同作为热度值的判定标准，优先考虑创建时间较长且访问频率不高的热数据转变为冷数据的可能性。203、将该目标热数据从热数据库中删除。作为一种可选的实施方式，在将该目标热数据从热数据库中删除之前，还可以包括以下步骤：判断该目标热数据是否具有周期性规律；若可以确定出该目标热数据的周期性规律，则先将该目标热数据加载至周期性数据库，再执行将该目标热数据从热数据库中删除；其中，周期性数据库用于存储按照指定周期被加载至热数据库中的数据；进一步地，在将该目标热数据加载至周期性数据库之后，还可以包括以下步骤：根据该目标热数据的周期性规律，按照指定的周期自动地将该目标热数据从周期性数据库加载至热数据库。举例来说，一笔交易信息在每个月的2号至5号会被频繁查询，而在其他时间只会被偶尔查询甚至不会被查询，因此，这类交易数据在一个月的大部分时间内都存储在周期性数据库中，在每个月的2号至5号才被加载至热数据库。可见，根据业务情况和数据规律来周期性地将数据加载至热数据库，既在大多数时间节省不必要的存储空间，又能够及时地应对特定时期的查询需求。可以理解，周期性数据库的实时性能可以低于热数据库。可见，实施图2所描述的方法，能够通过定期将热数据库中的热数据备份到冷数据库，以及将失去高频特性的目标热数据从热数据库中删除，针对数据的访问频率特性，使得高实时性且高成本的热数据库存储被节点频繁访问的热数据，低实时性且低成本的冷数据库存储不经常被访问的冷数据，从而大大节省存储成本，并且最大程度地保证数据的访问利用率；以及，能够根据待存储数据的数据类型，分别从冷数据库和热数据库中确认是否存在与该数据类型匹配的数据，来决定待存储数据的存储位置，从而提高数据备份的效率。实施例三请参阅图3，图3是本发明实施例公开的另一种冷热数据存储方法的流程示意图。如图3所示，该冷热数据存储方法可以包括以下步骤：301、判断冷数据库中是否存在与热数据库中任一热数据相同的重复冷数据，若存在重复冷数据，执行步骤302；若不存在重复冷数据，执行步骤303。302、从热数据库中删除与该重复冷数据相同的重复热数据，并将删除该重复热数据后的热数据库中的其余热数据备份至冷数据库，直接执行步骤304。本发明实施例中，若判断出冷数据库中存在与热数据库中任一热数据相同的冷数据，则确定该冷数据为重复冷数据，而在热数据库中与重复冷数据相同的热数据为重复热数据。可见，实施上述步骤301～步骤302，能够在备份热数据库中的热数据之前，对冷数据库中的冷数据进行检测，从而将热数据库中与冷数据库中已存储数据不同的热数据备份至冷数据库，降低冷数据库中的数据重复率，避免因相同数据的反复存储而占用过多空间。303、当检测到热数据库处于关闭状态时，将热数据库中的热数据备份至冷数据库。本发明实施例中，热数据库用于存储热数据，冷数据库用于存储冷数据；热数据为目标时长内数据访问频率大于或等于预设访问频率的数据，冷数据为目标时长内数据访问频率小于预设访问频率的数据；热数据包括数据文件、控制文件、联机文件、参数文件以及口令文件中的至少一种。可见，实施上述步骤303，能够在热数据库处于关闭状态时，通过将热数据库中的热数据冷备份至冷数据库，从而减小热数据库中数据的丢失概率。此外，冷备份还具有备份速度较快、归档难度较低、容易将数据恢复至特定的时间节点、维护成本较低以及安全程度较高的优点。本发明实施例中，可选的，当检测到热数据库处于运行状态时，通过归档模式对热数据库中的热数据进行热备份。具体来说，当热数据库处于运行状态时，还采用指定的热备份存储设备，每隔指定时间将热数据库中的数据备份至热备份存储设备，并按照时间顺序记录日志序列号。若热数据库奔溃，则将热备份存储设备中与最新日志序列号对应的热备份数据文件加载至重启后的热数据库，便可以恢复崩溃前的实时热备份数据。进一步地，将热数据库中的数据备份至热备份存储设备的方式可以为：将热数据中的数据以去除重复数据的方式备份至热备份存储设备，从而减少重复数据所占用的存储空间。以及，在将热备份存储设备中的与最新日志序列号对应的热备份数据文件加载至重启后的热数据库之前，还可以判断重启后的热数据库是否能够正常运行，若正常运行，则执行将热备份存储设备中的与最新日志序列号对应的热备份数据文件加载至重启后的热数据库；若无法正常运行，则有必要发出检修热数据库的警报信息。可见，实施可选的实施方式，能够在出现数据丢失或者其他异常情况时，根据对运行状态的热数据库的实时备份数据以及历史冷备份数据，恢复出尽可能多的数据，从而降低因数据损坏或者丢失造成的访问失败概率。304、判断热数据库中是否存在转变为冷数据的目标热数据，其中，若存在目标热数据时，执行步骤305；若不存在目标热数据时，结束本流程。305、将该目标热数据从热数据库中删除。作为一种可选的实施方式，本发明实施例还可以包括以下步骤：判断冷数据库中是否存在转变为热数据的目标冷数据；若存在目标冷数据，将该目标冷数据加载至热数据库。可见，根据对冷数据库中冷数据的访问频率，能够将冷数据库中被多次访问并且恢复高频特性的数据重新加载至热数据库，从而提高对数据的访问效率。进一步地，作为一种可选的实施方式，若冷数据库中存在转变为热数据的目标冷数据，获取该目标冷数据的目标数据类型，并将冷数据库中与该目标数据类型对应的除去目标冷数据之外的其它冷数据加载至热数据库。举例来说，在业绩汇报会议之前，为了统计企业的订单情况，需要频繁访问存储在数据库中的销售订单数据。若对某一部门4月份的销售订单数据进行频繁访问后，将该部门4月份的销售订单数据从冷数据库中加载至热数据库，相应地，可以将该部门在同一季度的其他销售订单数据以及其他相关部门的销售订单数据从冷数据库加载至温数据库，以对冷数据库中同属于销售订单类型的数据进行提前预热。可见，若冷数据库中存在转变为热数据的目标冷数据，可以理解，与目标冷数据属于同种数据类型的其它冷数据也存在被访问的潜在可能性，因此，实施可选的实施方式，能够通过对冷数据库中的冷数据进行智能筛选，将与目标冷数据同种数据类型的其它冷数据共同加载至热数据库，从而提高数据调用的效率。作为另一种可选的实施方式，在判断出冷数据库中存在转变为热数据的目标冷数据之后，以及在将该目标冷数据加载至热数据库之前，还可以执行以下步骤：确定该目标冷数据对应的数据标签；其中，可以根据行业类型以及业务类型等信息类型对数据标签进行分类；可选的，由于行业类型可包括生产、物流、医疗以及银行等，因此可以为不同行业类型的数据分配一级数据标签，进一步地，对于任一特定行业，还包括各类的业务类型，则可以在一级数据标签下设置对应该行业类型中不同业务类型的二级数据标签，例如，对于一笔银行转账数据，可以为该转账数据设置一个一级标签为银行，并且二级标签为转账业务的数据标签。相应的，将该目标冷数据加载至热数据库的方式具体可以为：根据该目标冷数据对应的数据标签，将该目标冷数据作为新增的热数据加载到热数据库中对应该数据标签的位置。可见，通过对不同数据类型的数据进行分类存储，能够提高对同类数据进行插入以及删除等操作的处理效率。优选的，判断冷数据库中是否存在转变为热数据的目标冷数据的方式具体为：判断是否检测到对冷数据库中的任一冷数据的访问请求；若检测到访问请求，将该访问请求所访问的临时冷数据加载至温数据库，并累计对温数据库中的该临时冷数据的访问次数；其中，热数据库的响应速度大于温数据库的响应速度，温数据库的响应速度大于冷数据库的响应速度；判断该临时冷数据的访问次数是否大于或等于预设访问次数，若该临时冷数据的访问次数大于或等于预设访问次数，则确定存在转变为热数据的目标冷数据；若该临时冷数据的访问次数小于预设访问次数，则确定不存在转变为所述热数据的目标冷数据；相应的，若存在目标冷数据，将该目标冷数据加载至热数据库的方式具体为：若存在目标冷数据，将该目标冷数据从温数据库加载至热数据库。本发明实施例中，若对任一冷数据的访问次数超过预设访问次数，可以确认该冷数据为目标冷数据，例如，若预设访问次数设为10次，那么该冷数据需要在冷数据库中被访问10次才可被确定转变为热数据，进一步地，由于在等待该冷数据的访问次数累积至10次的过程中，该冷数据在冷数据库中的访问效率较低，因此，可以利用响应速度略优于冷数据库的温数据库，起到对数据进行预热处理的作用，从而提高数据访问效率。更优选的，在将该访问请求所访问的临时冷数据加载至温数据库之后，以及在累计对温数据库中的该临时冷数据的访问次数之前，还可以执行以下步骤：从将该访问请求所访问的临时冷数据加载至温数据库开始计时，检测在计时时长达到预设响应时长之前，是否能够检测到对温数据库中的该临时冷数据的访问请求；若在预设响应时长之内检测到访问请求，则执行累计对温数据库中的该临时冷数据的访问次数；若未检测到访问请求，则将该临时冷数据从温数据库加载至冷数据库。可见，通过设定对临时冷数据的访问间隔时长，可以节省长期不被访问的临时冷数据在温数据库中所占用的存储空间，从而更好地发挥温数据库的性能。可见，实施图3所描述的方法，能够通过定期将热数据库中的热数据备份到冷数据库，以及将失去高频特性的目标热数据从热数据库中删除，针对数据的访问频率特性，使得高实时性且高成本的热数据库存储被节点频繁访问的热数据，低实时性且低成本的冷数据库存储不经常被访问的冷数据，从而大大节省存储成本，并且最大程度地保证数据的访问利用率；以及，能够在备份热数据库中的热数据之前，对冷数据库中的冷数据进行检测，从而将热数据库中与冷数据库中已存储数据不同的热数据备份至冷数据库，降低冷数据库中的数据重复率，避免因相同数据的反复存储而占用过多空间；以及，能够在热数据库处于关闭状态时，通过将热数据库中的热数据冷备份至冷数据库，从而减小热数据库中数据的丢失概率；以及，根据对冷数据库中冷数据的访问频率，能够将冷数据库中被多次访问并且恢复高频特性的数据重新加载至热数据库，从而提高对数据的访问效率；以及，能够根据待存储数据的数据类型，分别从冷数据库和热数据库中确认是否存在与该数据类型匹配的数据，来决定待存储数据的存储位置，从而提高数据备份的效率；以及，可以利用响应速度略优于冷数据库的温数据库，起到对数据进行预热处理的作用，从而提高数据访问效率。实施例四请参阅图4，图4是本发明实施例公开的一种冷热数据存储装置的结构示意图。如图4所示，该冷热数据存储装置可以包括：备份单元401、判断单元402以及删除单元403，其中，备份单元401，用于将热数据库中的热数据备份至冷数据库；其中，热数据库用于存储热数据，冷数据库用于存储冷数据；热数据为目标时长内数据访问频率大于或等于预设访问频率的数据，冷数据为目标时长内数据访问频率小于预设访问频率的数据。判断单元402，用于判断热数据库中是否存在转变为冷数据的目标热数据。本发明实施例中，可选的，判断单元402判断热数据库中是否存在转变为冷数据的目标热数据的方式可以为：检测热数据库中是否存在热度值低于预设的最低热度阈值的目标热数据；其中，热度值用于累计指定单位时间内对热数据的访问频率。因此，若任一热数据的访问频率低于最低热度阈值所规定的最低访问频率，则可以判定该热数据为目标热数据。例如，记录对某数据的访问开始时间为S，每一次访问该数据，将访问量累加一，于E时刻获取指定单位时间内比如每30分钟的访问量Q，则该数据的热度值为：P＝Q*E-ST。若设定指定单位时间内的最低热度阈值为P0，通过热度值计算结果判断是否存在P＜P0，来检测数据库中是否存在热度值低于预设的最低热度阈值的目标热数据。进一步地，可以理解，对于创建时间较长的热数据，例如一年前甚至更长时间以前的浏览记录信息，通常来说会失去参考价值，而且很少会被访问，因此，可以将创建时间和访问频率共同作为热度值的判定标准，优先考虑创建时间较长且访问频率不高的热数据转变为冷数据的可能性。判断单元402，还用于：在备份单元401将热数据库中的热数据备份至冷数据库之前，判断是否存在待存储数据；若存在待存储数据，获取该待存储数据的数据类型；判断热数据库所存储的热数据的数据类型中是否包括该待存储数据的数据类型；若是，将该待存储数据加载至热数据库；若否，将该待存储数据加载至冷数据库。可见，实施可选的实施方式，基于同种数据类型的数据具有相近的访问频率的特点，能够根据待存储数据的数据类型，分别从冷数据库和热数据库中确认是否存在与该数据类型匹配的数据，来决定待存储数据的存储位置，从而提高数据备份的效率。可以理解，这样可能在冷数据库和热数据库中都不存在与待存储数据相同数据类型的数据，对于这种情况，由于该数据类型的创建时间较短，具有较强的时效性，可以将该待存储数据作为热数据。因此，作为一种可选的实施方式，若判断出热数据库和冷数据库中都不存在与该数据类型对应的数据，优选将该待存储数据加载至热数据库。删除单元403，用于在判断单元402确定存在目标热数据时，将该目标热数据从热数据库中删除。作为一种可选的实施方式，判断单元402还用于：在将该目标热数据从热数据库中删除之前，判断该目标热数据是否具有周期性规律；若可以确定出该目标热数据的周期性规律，则先将该目标热数据加载至周期性数据库，再执行将该目标热数据从热数据库中删除；其中，周期性数据库用于存储按照指定周期被加载至热数据库中的数据；进一步地，在将该目标热数据加载至周期性数据库之后，还可以包括以下步骤：根据该目标热数据的周期性规律，按照指定的周期自动地将该目标热数据从周期性数据库中加载至热数据库。举例来说，一笔交易信息在每个月的2号至5号会被频繁查询，而在其他时间只会被偶尔查询甚至不会被查询，因此，这类交易数据在一个月的大部分时间内都存储在周期性数据库中，在每个月的2号至5号才被加载至热数据库。可见，根据业务情况和数据规律来周期性地将数据加载至热数据库，既在大多数时间节省不必要的存储空间，又能够及时地应对特定时期的查询需求。可以理解，周期性数据库的实时性能可以低于热数据库。可见，实施图4所描述的装置，能够通过定期将热数据库中的热数据备份到冷数据库，以及将失去高频特性的目标热数据从热数据库中删除，针对数据的访问频率特性，使得高实时性且高成本的热数据库存储被节点频繁访问的热数据，低实时性且低成本的冷数据库存储不经常被访问的冷数据，从而大大节省存储成本，并且最大程度地保证数据的访问利用率；以及，能够根据待存储数据的数据类型，分别从冷数据库和热数据库中确认是否存在与该数据类型匹配的数据，来决定待存储数据的存储位置，从而提高数据备份的效率。实施例五请参阅图4，图4是本发明实施例公开的一种冷热数据存储装置的结构示意图。如图4所示，该冷热数据存储装置中：判断单元402，还用于在备份单元401将热数据库中的热数据备份至冷数据库之前，判断冷数据库中是否存在与热数据库中任一热数据相同的重复冷数据。删除单元403，还用于在判断单元402确定存在重复冷数据时，从热数据库中删除与该重复冷数据相同的重复热数据。备份单元401用于将热数据库中的热数据备份至冷数据库的方式具体为：备份单元401，用于在检测到热数据库处于关闭状态时，将热数据库中的热数据备份至冷数据库；其中，热数据包括数据文件、控制文件、联机文件、参数文件以及口令文件中的至少一种。本发明实施例中，可选的，备份单元401还用于：当检测到热数据库处于运行状态时，通过归档模式对热数据库中的热数据进行热备份。具体来说，当热数据库处于运行状态时，还采用指定的热备份存储设备，每隔指定时间将热数据库中的数据备份至热备份存储设备，并按照时间顺序记录日志序列号。若热数据库奔溃，则将热备份存储设备中与最新日志序列号对应的热备份数据文件加载至重启后的热数据库，便可以恢复崩溃前的实时热备份数据。进一步地，备份单元401将热数据库中的数据备份至热备份存储设备的方式可以为：将热数据中的数据以去除重复数据的方式备份至热备份存储设备，从而减少重复数据所占用的存储空间。以及，在将热备份存储设备中与最新日志序列号对应的热备份数据文件加载至重启后的热数据库之前，还可以判断重启后的热数据库是否能够正常运行，若正常运行，则执行将热备份存储设备中与最新日志序列号对应的热备份数据文件加载至重启后的热数据库；若无法正常运行，则有必要发出检修热数据库的警报信息。可见，实施可选的实施方式，能够在出现数据丢失或者其他异常情况时，根据对运行状态的热数据库的实时备份数据以及历史冷备份数据，恢复出尽可能多的数据，从而降低因数据损坏或者丢失造成的访问失败概率。备份单元401，还用于在删除单元403从热数据库中删除与该重复冷数据相同的重复热数据之后，将删除该重复热数据后的热数据库中的其余热数据备份至冷数据库。判断单元402，还用于：判断冷数据库中是否存在转变为热数据的目标冷数据；若存在目标冷数据，将该目标冷数据加载至热数据库。可见，根据对冷数据库中冷数据的访问频率，能够将冷数据库中被多次访问并且恢复高频特性的数据重新加载至热数据库，从而提高对数据的访问效率。进一步地，作为一种可选的实施方式，若判断单元402确定冷数据库中存在转变为热数据的目标冷数据，获取该目标冷数据的目标数据类型，并将冷数据库中与该目标数据类型对应的除去目标冷数据之外的其它冷数据加载至热数据库。举例来说，在业绩汇报会议之前，为了统计企业的订单情况，需要频繁访问存储在数据库中的销售订单数据。若对某一部门4月份的销售订单数据进行频繁访问后，将该部门4月份的销售订单数据从冷数据库中加载至热数据库，相应地，可以将该部门在同一季度的其他销售订单数据以及其他相关部门的销售订单数据从冷数据库加载至温数据库，以对冷数据库中同属于销售订单类型的数据进行提前预热。可见，若冷数据库中存在转变为热数据的目标冷数据，可以理解，与目标冷数据属于同种数据类型的其它冷数据也存在被访问的潜在可能性，因此，实施可选的实施方式，能够通过对冷数据库中的冷数据进行智能筛选，将与目标冷数据同种数据类型的其它冷数据共同加载至热数据库，从而提高数据调用的效率。作为另一种可选的实施方式，在判断单元402判断出冷数据库中存在转变为热数据的目标冷数据之后，以及在将该目标冷数据加载至热数据库之前，还可以执行以下步骤：确定该目标冷数据对应的数据标签；其中，可以根据行业类型以及业务类型等信息类型对数据标签进行分类；可选的，由于行业类型可包括生产、物流、医疗以及银行等，因此可以为不同行业类型的数据分配一级数据标签，进一步地，对于任一特定行业，还包括各类的业务类型，则可以在一级数据标签下设置对应该行业类型中不同业务类型的二级数据标签，例如，对于一笔银行转账数据，可以为该转账数据设置一个一级标签为银行，并且二级标签为转账业务的数据标签。相应的，将该目标冷数据加载至热数据库的方式具体可以为：根据该目标冷数据对应的数据标签，将该目标冷数据作为新增的热数据加载到热数据库中对应该数据标签的位置。可见，通过对不同数据类型的数据进行分类存储，能够提高对同类数据进行插入以及删除等操作的处理效率。优选的，判断单元402判断冷数据库中是否存在转变为热数据的目标冷数据的方式具体为：判断是否检测到对冷数据库中的任一冷数据的访问请求；若检测到访问请求，将该访问请求所访问的临时冷数据加载至温数据库，并累计对温数据库中的该临时冷数据的访问次数；其中，热数据库的响应速度大于温数据库的响应速度，温数据库的响应速度大于冷数据库的响应速度；判断该临时冷数据的访问次数是否大于或等于预设访问次数，若该临时冷数据的访问次数大于或等于预设访问次数，则确定存在转变为热数据的目标冷数据；若该临时冷数据的访问次数小于预设访问次数，则确定不存在转变为所述热数据的目标冷数据。相应的，若判断单元402确定存在目标冷数据，将该目标冷数据加载至热数据库的方式具体为：若判断单元402确定存在目标冷数据，将该目标冷数据从温数据库加载至热数据库。本发明实施例中，若对任一冷数据的访问次数超过预设访问次数，可以确认该冷数据为目标冷数据，例如，若预设访问次数设为10次，那么该冷数据需要在冷数据库中被访问10次才可被确定转变为热数据，进一步地，由于在等待该冷数据的访问次数累积至10次的过程中，该冷数据在冷数据库中的访问效率较低，因此，可以利用响应速度略优于冷数据库的温数据库，起到对数据进行预热处理的作用，从而提高数据访问效率。更优选的，在将该访问请求所访问的临时冷数据加载至温数据库之后，以及在累计对温数据库中的该临时冷数据的访问次数之前，还可以执行以下步骤：从将该访问请求所访问的临时冷数据加载至温数据库开始计时，检测在计时时长达到预设响应时长之前，是否能够检测到对温数据库中的该临时冷数据的访问请求；若在预设响应时长之内检测到访问请求，则执行累计对温数据库中的该临时冷数据的访问次数；若未检测到访问请求，则将该临时冷数据从温数据库加载至冷数据库。可见，通过设定对临时冷数据的访问间隔时长，可以节省长期不被访问的临时冷数据在温数据库中所占用的存储空间，从而更好地发挥温数据库的性能。可见，实施图4所描述的装置，能够通过定期将热数据库中的热数据备份到冷数据库，以及将失去高频特性的目标热数据从热数据库中删除，针对数据的访问频率特性，使得高实时性且高成本的热数据库存储被节点频繁访问的热数据，低实时性且低成本的冷数据库存储不经常被访问的冷数据，从而大大节省存储成本，并且最大程度地保证数据的访问利用率；以及，能够在备份热数据库中的热数据之前，对冷数据库中的冷数据进行检测，从而将热数据库中与冷数据库中已存储数据不同的热数据备份至冷数据库，降低冷数据库中的数据重复率，避免因相同数据的反复存储而占用过多空间；以及，能够在热数据库处于关闭状态时，通过将热数据库中的热数据冷备份至冷数据库，从而减小热数据库中数据的丢失概率；以及，根据对冷数据库中冷数据的访问频率，能够将冷数据库中被多次访问并且恢复高频特性的数据重新加载至热数据库，从而提高对数据的访问效率；以及，能够根据待存储数据的数据类型，分别从冷数据库和热数据库中确认是否存在与该数据类型匹配的数据，来决定待存储数据的存储位置，从而提高数据备份的效率；以及，可以利用响应速度略优于冷数据库的温数据库，起到对数据进行预热处理的作用，从而提高数据访问效率。本发明还提供一种电子设备，该电子设备包括：处理器；存储器，该存储器上存储有计算机可读指令，该计算机可读指令被处理器执行时，实现如前所示的冷热数据存储方法。该电子设备可以是图1所示装置100。在一示例性实施例中，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如前所示的冷热数据存储方法。应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

权利要求：1.一种冷热数据存储方法，其特征在于，所述方法包括：将热数据库中的热数据备份至冷数据库；其中，所述热数据库用于存储所述热数据，所述冷数据库用于存储冷数据；所述热数据为目标时长内数据访问频率大于或等于预设访问频率的数据，所述冷数据为所述目标时长内数据访问频率小于所述预设访问频率的数据；判断所述热数据库中是否存在转变为所述冷数据的目标热数据；若存在所述目标热数据，将所述目标热数据从所述热数据库中删除。2.根据权利要求1所述的方法，其特征在于，在所述将热数据库中的热数据备份至冷数据库之前，所述方法还包括：判断是否存在待存储数据；若存在所述待存储数据，获取所述待存储数据的数据类型；判断所述热数据库所存储的热数据的数据类型中是否包括所述待存储数据的数据类型；若是，将所述待存储数据加载至所述热数据库；若否，将所述待存储数据加载至所述冷数据库。3.根据权利要求1所述的方法，其特征在于，在所述将热数据库中的热数据备份至冷数据库之前，所述方法还包括：判断所述冷数据库中是否存在与所述热数据库中任一热数据相同的重复冷数据；若不存在所述重复冷数据，执行所述将热数据库中的热数据备份至冷数据库的步骤；若存在所述重复冷数据，从所述热数据库中删除与所述重复冷数据相同的重复热数据，并将删除所述重复热数据后的热数据库中的其余热数据备份至所述冷数据库。4.根据权利要求1～3任一项所述的方法，其特征在于，所述将热数据库中的热数据备份至冷数据库，包括：当检测到所述热数据库处于关闭状态时，将所述热数据库中的热数据备份至所述冷数据库；其中，所述热数据包括数据文件、控制文件、联机文件、参数文件以及口令文件中的至少一种；在所述将热数据库中的热数据备份至冷数据库之后，所述方法还包括：当检测到所述热数据库处于运行状态时，通过归档模式对所述热数据库中的热数据进行热备份。5.根据权利要求1～4任一项所述的方法，其特征在于，所述方法还包括：判断所述冷数据库中是否存在转变为所述热数据的目标冷数据；若存在所述目标冷数据，将所述目标冷数据加载至所述热数据库。6.根据权利要求5所述的方法，其特征在于，所述判断所述冷数据库中是否存在转变为所述热数据的目标冷数据，包括：判断是否检测到对所述冷数据库中的任一冷数据的访问请求；若检测到所述访问请求，将所述访问请求所访问的临时冷数据加载至温数据库，并累计对所述温数据库中的所述临时冷数据的访问次数；其中，所述热数据库的响应速度大于所述温数据库的响应速度，所述温数据库的响应速度大于所述冷数据库的响应速度；判断所述临时冷数据的访问次数是否大于或等于预设访问次数；若所述临时冷数据的访问次数大于或等于所述预设访问次数，则确定存在转变为所述热数据的目标冷数据，将所述温数据库中的所述临时冷数据作为所述目标冷数据；若所述临时冷数据的访问次数小于所述预设访问次数，则确定不存在转变为所述热数据的目标冷数据；所述若存在所述目标冷数据，将所述目标冷数据加载至所述热数据库，包括：若存在所述目标冷数据，将所述目标冷数据从所述温数据库加载至所述热数据库。7.根据权利要求5或6所述的方法，其特征在于，所述方法还包括：若存在所述目标冷数据，获取所述目标冷数据的目标数据类型，并将所述冷数据库中与所述目标数据类型对应的除去所述目标冷数据之外的其它冷数据加载至所述热数据库。8.一种冷热数据存储装置，其特征在于，所述装置包括：备份单元，用于将热数据库中的热数据备份至冷数据库；其中，所述热数据库用于存储所述热数据，所述冷数据库用于存储冷数据；所述热数据为目标时长内数据访问频率大于或等于预设访问频率的数据，所述冷数据为所述目标时长内数据访问频率小于所述预设访问频率的数据；判断单元，用于判断所述热数据库中是否存在转变为所述冷数据的目标热数据；删除单元，用于在所述判断单元确定存在所述目标热数据时，将所述目标热数据从所述热数据库中删除。9.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1～7中任一项所述的方法的步骤。10.一种计算机可读存储介质，其特征在于，其存储计算机程序，所述计算机程序使得计算机执行权利要求1～7任一项所述的冷热数据存储方法。

百度查询： 平安科技(深圳)有限公司 一种冷热数据存储方法及装置、电子设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD