申请/专利权人：深圳博十强志科技有限公司

申请日：2017-01-03

公开（公告）日：2022-12-02

公开（公告）号：CN106649869B

主分类号：G06F16/2458

分类号：G06F16/2458;G06F16/248

优先权：

专利状态码：有效-授权

法律状态：2022.12.02#授权;2019.06.04#实质审查的生效;2017.05.10#公开

摘要：本发明公开了一种数据库大数据的统计方法及装置，方法包括：查询数据库中的日志表中是否存在指定日期的日志记录，如是，退出；否则，根据业务需求编写SQL格式的业务统计脚本，并将其保存到数据库或代码的配置文件中，执行下一步骤；调用所述业务统计脚本对所述指定日期的业务报表数据进行汇总及统计，并将得到的业务汇总数据保存到所述数据库中的汇总数据表中，以供用户直接查询指定日期的业务汇总数据；将所述指定日期的原始明细数据按照拆分规则拆分到相应的数据拆分子表中；将所述指定日期的执行结果保存到所述数据库中的日志记录中。本发明能极大减少用户查询花费的时间、提高统计查询的效率、减少硬件资源和成本的浪费。

主权项：1.一种数据库大数据的统计方法，其特征在于，包括如下步骤：A）查询数据库中的日志表中是否存在指定日期的日志记录，如是，退出；否则，根据业务需求编写SQL格式的业务统计脚本，并将其保存到数据库或代码的配置文件中，执行步骤B）；B）调用所述业务统计脚本对所述指定日期的业务报表数据进行汇总及统计，并将得到的业务汇总数据保存到所述数据库中的汇总数据表中，以供用户直接查询指定日期的业务汇总数据；C）将所述指定日期的原始明细数据按照拆分规则拆分到相应的数据拆分子表中；D）将所述指定日期的执行结果保存到所述数据库中的日志记录中。

全文数据：数据库大数据的统计方法及装置技术领域[0001] 本发明涉及大数据统计领域，特别涉及一种数据库大数据的统计方法及装置。背景技术[0002] —般企业业务数据都会保存在数据库中，以保证数据的完整性和可用性。随着业务的增长，单个数据表的数据会越来越庞大，当单个数据表的数据达到千万级或者上亿级时，用户统计查询的速度会越来越慢，长则数分钟，其统计效率较低，这样就无法满足用户的需求。目前普遍的做法是升级服务器硬件配置来满足业务的需求，随着数据量的增大，硬件资源的消耗也会越来越大。这样在业务没有环比增长的情况下，需要不断升级硬件资源来满足不断堆积的数据要求，这样会造成硬件资源和成本的浪费。发明内容[0003] 本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种能极大减少用户查询花费的时间、提高统计查询的效率、减少硬件资源和成本的浪费的数据库大数据的统计方法及装置。[0004] 本发明解决其技术问题所采用的技术方案是:构造一种数据库大数据的统计方法，包括如下步骤:A查询数据库中的日志表中是否存在指定日期的日志记录，如是，退出；否则，根据业务需求编写SQL格式的业务统计脚本，并将其保存到数据库或代码的配置文件中，执行步骤B；B调用所述业务统计脚本对所述指定日期的业务报表数据进行汇总及统计，并将得到的业务汇总数据保存到所述数据库中的汇总数据表中，以供用户直接查询指定日期的业务汇总数据；C将所述指定日期的原始明细数据按照拆分规则拆分到相应的数据拆分子表中；D将所述指定日期的执行结果保存到所述数据库中的日志记录中。[0005] 在本发明所述的数据库大数据的统计方法中，所述业务需求为从原始明细数据中汇总统计出各种指标数据，所述指标数据包括激活用户数、计费金额和次日留存。[0006] 在本发明所述的数据库大数据的统计方法中，所述拆分规则为按照月份或日期来进行拆分。[0007] 在本发明所述的数据库大数据的统计方法中，所述原始明细数据包括用户激活、来访、订购记录和用户浏览器信息。[0008] 在本发明所述的数据库大数据的统计方法中，所述用户通过Web业务管理系统中的各个报表页面来浏览所述指定日期的业务汇总数据。[0009] 本发明还涉及一种实现上述数据库大数据的统计方法的装置，包括:日志记录查询单元:用于查询数据库中的日志表中是否存在指定日期的日志记录，如是，退出；否则，根据业务需求编写SQL格式的业务统计脚本，并将其保存到数据库或代码的配置文件中；脚本调用单元:用于调用所述业务统计脚本对所述指定日期的业务报表数据进行汇总及统计，并将得到的业务汇总数据保存到所述数据库中的汇总数据表中，以供用户直接查询指定日期的业务汇总数据；数据拆分单元:用于将所述指定日期的原始明细数据按照拆分规则拆分到相应的数据拆分子表中；结果保存单元:用于将所述指定日期的执行结果保存到所述数据库中的日志记录中。[0010] 在本发明所述的装置中，所述业务需求为从原始明细数据中汇总统计出各种指标数据，所述指标数据包括激活用户数、计费金额和次日留存。[0011] 在本发明所述的数据库大数据的统计方法中，所述拆分规则为按照月份或日期来进行拆分。[0012] 在本发明所述的数据库大数据的统计方法中，所述原始明细数据包括用户激活、来访、订购记录和用户浏览器信息。[0013] 在本发明所述的数据库大数据的统计方法中，所述用户通过Web业务管理系统中的各个报表页面来浏览所述指定日期的业务汇总数据。[0014]实施本发明的数据库大数据的统计方法及装置，具有以下有益效果:由于根据业务需求编写SQL格式的业务统计脚本;调用业务统计脚本对指定日期的业务报表数据进行汇总及统计，并将得到的业务汇总数据保存到数据库中的汇总数据表中；将指定日期的原始明细数据按照拆分规则拆分到相应的数据拆分子表中；也就是根据用户希望看到的结果预设SQL格式的业务统计脚本，提前将结果汇总统计出来保存到汇总数据表中，汇总数据表一般在万条以内，极大减少用户查询花费的时间以及执行查询带来的系统压力；同时在每次汇总完后，将汇总范围内的原始明细数据拆分到对应的数据拆分子表中，用户查询原始数据明细时，就可以直接在数据拆分子表中进行查询统计，极大减少用户查询花费的时间以及执行查询带来的系统压力，同时极大减少原始明细数据表的量级，提高涉及原始数据表的操作效率，所以其能极大减少用户查询花费的时间、提高统计查询的效率、减少硬件资源和成本的浪费。附图说明[0015] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。[0016]图1为本发明数据库大数据的统计方法及装置一个实施例中的方法的流程图；图2为所述实施例中装置的结构示意图。具体实施方式[0017]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0018] 在本发明数据库大数据的统计方法及装置实施例中，其数据库大数据的统计方法的流程图如图1所示。图1中，该数据库大数据的统计方法包括如下步骤:步骤SOl查询数据库中的日志表中是否存在指定日期的日志记录:本步骤中，查询数据库中的日志表中是否存在指定日期的日志记录，如果存在，则执行步骤S02;否则，执行步骤S03。值得一提的是，这里的指定日期一般为一个日期范围，在一些情况下也可以为某一天或某一天中指定的时间段。[0019] 步骤S02退出:如果上述步骤SOl中查询的结果是已经存在指定日期的日志记录，则执行本步骤。本步骤中，退出。[0020] 步骤S03根据业务需求编写SQL格式的业务统计脚本，并将其保存到数据库或代码的配置文件中:如果上述步骤SOl中查询的结果是不存在指定日期的日志记录，则执行本步骤。本步骤中，根据业务需求编写SQL格式的业务统计脚本，也就是业务需求不同，编写的SQL格式的业务统计脚本的内容也不同，编写好SQL格式的业务统计脚本后，就开始进入存储过程，本实施例中，将编写SQL格式的业务统计脚本保存到数据库或代码的配置文件中。值得一提的是，业务需求主要是从原始明细数据中去汇总统计各种指标数据，例如:指标数据可以是汇总某段时间的激活用户数、计费金额和次日留存等等。执行完本步骤，执行步骤S04。[0021] 步骤S04调用业务统计脚本对指定日期的业务报表数据进行汇总及统计，并将得到的业务汇总数据保存到数据库中的汇总数据表中，以供用户直接查询指定日期的业务汇总数据:本步骤中，调用预先配置好的业务统计脚本也就是上述步骤S03中编写的SQL格式的业务统计脚本对指定日期的业务报表数据进行汇总及统计，并将汇总后得到的业务汇总数据保存到数据库中的汇总数据表中，以供用户直接查询指定日期的业务汇总数据。当用户查询指定日期的业务汇总数据时，可以有多种查询方式，本实施例中采用的查询方式是:用户通过Web业务管理系统中的各个报表页面来浏览指定日期的业务汇总数据。[0022] 步骤S05将指定日期的原始明细数据按照拆分规则拆分到相应的数据拆分子表中:本步骤中，将指定日期的原始明细数据按照拆分规则拆分到相应的数据拆分子表中，以供用户查询指定日期的原始数据明细，具体的，原始明细数据主要是指用户行为产生的明细数据，原始明细数据可以包括用户激活、来访、订购记录和用户浏览器信息等。拆分规则可以根据实际情况来设计，本实施例中，拆分规则一般是按照月份或日期来进行拆分。[0023] 值得一提的是，数据拆分子表的命名与原始表的命名是相关联且有规律可行的，例如:如果用户来访信息表的命名为user_Visit_l0g，则其对应的数据拆分子表的命名为user_visit_log20161201、user_visit_log20161202，以此类推。[0024] 步骤S06将指定日期的执行结果保存到数据库中的日志记录中:本步骤中，将指定日期的执行结果保存到数据库中的日志记录中。[0025] 对比传统的对千万级和近亿级的数据库数据进行数据统计查询，本发明的方法根据用户希望看到的结果预设SQL格式的业务统计脚本，提前将结果汇总统计出来保存到汇总数据表中，汇总数据表一般在万条以内，极大减少用户查询花费的时间以及执行查询带来的系统压力。同时本发明的方法在每次汇总完后，将汇总范围内的原始明细数据拆分到数据拆分子表中，用户查询原始数据明细时就可以直接在数据拆分子表中进行查询统计，极大减少用户查询花费的时间以及执行查询带来的系统压力，同时极大减少原始数据表的量级，提高涉及原始数据表的操作效率。所以其能极大减少用户查询花费的时间、提高统计查询的效率、减少硬件资源和成本的浪费。[0026] 本实施例还涉及一种实现上述数据库大数据的统计方法的装置，其结构示意图如图2所示。图2中，该装置包括日志记录查询单元1、脚本调用单元2、数据拆分单元3和结果保存单元4;其中，日志记录查询单元I用于查询数据库中的日志表中是否存在指定日期的日志记录，如是，退出；否则，根据业务需求编写SQL格式的业务统计脚本，并将其保存到数据库或代码的配置文件中；值得一提的是，这里的指定日期一般为一个日期范围，在一些情况下也可以为某一天或某一天中指定的时间段。值得一提的是，业务需求不同，编写的SQL格式的业务统计脚本的内容也不同，编写好SQL格式的业务统计脚本后，就开始进入存储过程，本实施例中，将编写SQL格式的业务统计脚本保存到数据库或代码的配置文件中。业务需求主要是从原始明细数据中去汇总统计各种指标数据，例如:指标数据可以是汇总某段时间的激活用户数、计费金额和次日留存等等。[0027] 脚本调用单元2用于调用业务统计脚本对指定日期的业务报表数据进行汇总及统计，并将得到的业务汇总数据保存到数据库中的汇总数据表中，以供用户直接查询指定日期的业务汇总数据。当用户查询指定日期的业务汇总数据时，可以有多种查询方式，本实施例中采用的查询方式是:用户通过Web业务管理系统中的各个报表页面来浏览指定日期的业务汇总数据。[0028] 数据拆分单元3用于将指定日期的原始明细数据按照拆分规则拆分到相应的数据拆分子表中；原始明细数据主要是指用户行为产生的明细数据，原始明细数据可以包括用户激活、来访、订购记录和用户浏览器信息等。拆分规则可以根据实际情况来设计，本实施例中，拆分规则一般是按照月份或日期来进行拆分。结果保存单元4用于将指定日期的执行结果保存到数据库中的日志记录中。[0029] 对比传统的对千万级和近亿级的数据库数据进行数据统计查询，本发明的装置根据用户希望看到的结果预设SQL格式的业务统计脚本，提前将结果汇总统计出来保存到汇总数据表中，汇总数据表一般在万条以内，极大减少用户查询花费的时间以及执行查询带来的系统压力。同时本发明的装置在每次汇总完后，将汇总范围内的原始明细数据拆分到数据拆分子表中，用户查询原始数据明细时就可以直接在数据拆分子表中进行查询统计，极大减少用户查询花费的时间以及执行查询带来的系统压力，同时极大减少原始数据表的量级，提高涉及原始数据表的操作效率。所以其能极大减少用户查询花费的时间、提高统计查询的效率、减少硬件资源和成本的浪费。[0030] 在本实施例的另外一些情况下，例如:在不考虑硬件资源消耗的情况下，可以购买商业数据库来统计和计算数据，例如Oracle，但其会消耗极大的硬件资源。[0031]总之，本发明能克服传统技术中存在的数据库中的数据表不断变长的硬件瓶颈，能解决在现有硬件资源下数据库大数据统计效率较慢的问题。其能极大减少用户查询花费的时间、提高统计查询的效率、减少硬件资源和成本的浪费。[0032]以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

权利要求：1.一种数据库大数据的统计方法，其特征在于，包括如下步骤:A查询数据库中的日志表中是否存在指定日期的日志记录，如是，退出；否则，根据业务需求编写SQL格式的业务统计脚本，并将其保存到数据库或代码的配置文件中，执行步骤B；B调用所述业务统计脚本对所述指定日期的业务报表数据进行汇总及统计，并将得到的业务汇总数据保存到所述数据库中的汇总数据表中，以供用户直接查询指定日期的业务汇总数据；C将所述指定日期的原始明细数据按照拆分规则拆分到相应的数据拆分子表中；D将所述指定日期的执行结果保存到所述数据库中的日志记录中。2.根据权利要求1所述的数据库大数据的统计方法，其特征在于，所述业务需求为从原始明细数据中汇总统计出各种指标数据，所述指标数据包括激活用户数、计费金额和次日留存。3.根据权利要求1所述的数据库大数据的统计方法，其特征在于，所述拆分规则为按照月份或日期来进行拆分。4.根据权利要求1至3任意一项所述的数据库大数据的统计方法，其特征在于，所述原始明细数据包括用户激活、来访、订购记录和用户浏览器信息。5.根据权利要求1至3任意一项所述的数据库大数据的统计方法，其特征在于，所述用户通过Web业务管理系统中的各个报表页面来浏览所述指定日期的业务汇总数据。6.—种实现如权利要求1所述的数据库大数据的统计方法的装置，其特征在于，包括:日志记录查询单元:用于查询数据库中的日志表中是否存在指定日期的日志记录，如是，退出；否则，根据业务需求编写SQL格式的业务统计脚本，并将其保存到数据库或代码的配置文件中；脚本调用单元:用于调用所述业务统计脚本对所述指定日期的业务报表数据进行汇总及统计，并将得到的业务汇总数据保存到所述数据库中的汇总数据表中，以供用户直接查询指定日期的业务汇总数据；数据拆分单元:用于将所述指定日期的原始明细数据按照拆分规则拆分到相应的数据拆分子表中；结果保存单元:用于将所述指定日期的执行结果保存到所述数据库中的日志记录中。7.根据权利要求6所述的实现如权利要求1所述的数据库大数据的统计方法的装置，其特征在于，所述业务需求为从原始明细数据中汇总统计出各种指标数据，所述指标数据包括激活用户数、计费金额和次日留存。8.根据权利要求6所述的实现如权利要求1所述的数据库大数据的统计方法的装置，其特征在于，所述拆分规则为按照月份或日期来进行拆分。9.根据权利要求6至8任意一项所述的实现如权利要求1所述的数据库大数据的统计方法的装置，其特征在于，所述原始明细数据包括用户激活、来访、订购记录和用户浏览器信息。10.根据权利要求6至8任意一项所述的实现如权利要求1所述的数据库大数据的统计方法的装置，其特征在于，所述用户通过Web业务管理系统中的各个报表页面来浏览所述指定日期的业务汇总数据。

百度查询： 深圳博十强志科技有限公司 数据库大数据的统计方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD