申请/专利权人：中国工商银行股份有限公司

申请日：2017-06-30

公开（公告）日：2020-09-15

公开（公告）号：CN107247804B

主分类号：G06F16/26(20190101)

分类号：G06F16/26(20190101);G06F16/2455(20190101)

优先权：

专利状态码：有效-授权

法律状态：2020.09.15#授权;2017.11.10#实质审查的生效;2017.10.13#公开

摘要：本发明提供一种运维大数据分析方法、装置及系统，其中，该运维大数据分析方法包括以下步骤：从客户端获取所需运维数据；将所述所需运维数据按键值对格式进行转换，获得键值对格式的所需运维数据；按照预设格式对所述键值对格式的所需运维数据进行封装处理，获得封装后的所需运维数据；对所述封装后的所需运维数据进行数据挖掘，获得数据挖掘结果；将所述数据挖掘结果进行展示。该方案取代了传统的人工查看日志、图表的方式，自动化判断数据需关注的要点。比人工方式大大的节省了人力，同时避免了可能的遗漏以及维护人员长期重复性工作中产生的懈怠，使性能分析、健康评价等工作切实的产生了效益。

主权项：1.一种运维大数据分析方法，其特征在于，包括：从客户端获取所需运维数据，所述所需运维数据包括操作系统层面数据、日志记录数据和应用接口数据；所述操作系统层面数据包括CPU使用率、IO数据读速度、IO数据写速度、服务端口建立连接数、网络流量；所述日志记录数据包括交易量、交易响应时间、JVM使用率、单次垃圾回收时长、和与上一次垃圾回收的时间间隔时长；所述应用接口数据包括当前数据源连接池大小、当前Webccontainer线程池大小、数据源连接池最大值、Webccontainer线程池最大值、数据源平均和Webccontainer线程池活动线程数；将所述所需运维数据按键值对格式进行转换，获得键值对格式的所需运维数据；将所述键值对格式的所需运维数据进行筛选，获得日志缓存数据和数据库缓存数据；将所述日志缓存数据解析为MAP数组格式，按照日志缓存所需格式对MAP数组格式的日志缓存数据进行封装，将所述数据库缓存数据解析为MAP数组格式，按照数据库缓存所需格式对MAP数组格式的数据库缓存数据进行封装，获得封装后的所需运维数据，将封装后的日志缓存数据记录到指定的日志文件中，将封装后的数据库缓存数据存入相应的数据库表中；对所述封装后的所需运维数据进行数据挖掘，获得数据挖掘结果；将所述数据挖掘结果进行展示。

全文数据：运维大数据分析方法、装置及系统技术领域[0001]本发明涉及大数据挖掘技术领域，特别涉及一种运维大数据分析方法、装置及系统。背景技术[0002]目前，我国信息化程度不断提高，各类数据中心如雨后春笋般涌现。相应的，IT运维的数据量也成几何速度上升。一方面，运维人员的增长远远跟不上服务器、数据量的增长;另一方面，公司对于提高IT系统稳定性，降低成本的需求却越来越高。这就要求不断的提高运维的自动化水平。[0003]现在市场上和业界，监控、程序部署的自动化产品比较丰富，但是对运维数据利用不足。由于开发人员缺乏运维经验，不了解运维数据挖掘的算法;而运维人员由于时间和技术水平的限制，无法将思路产品化，因此现有的对大数据的运维多局限于人工查看日志、性能图标，这种人工方法效率低且无法覆盖所有服务器。[0004]此外，大数据在各行各业的应用也愈加广泛，创造出了数以千亿的市场。如何提高运维大数据的利用效率，从中挖掘到金子，发现现有IT系统中的问题，降低设备和人员成本，并且对未来做出预测，成为当前IT维护部门的一个重要问题。发明内容[0005]本发明实施例提供了一种运维大数据分析方法，比人工方式大大的节省了人力，提高了运维大数据的利用效率，同时避免了可能的遗漏以及维护人员长期重复性工作中产生的懈怠，使性能分析、健康评价等工作切实的产生了效益。该运维大数据分析方法包括：[0006]从客户端获取所需运维数据；[0007]将所述所需运维数据按键值对格式进行转换，获得键值对格式的所需运维数据；[0008]按照预设格式对所述键值对格式的所需运维数据进行封装处理，获得封装后的所需运维数据；[0009]对所述封装后的所需运维数据进行数据挖掘，获得数据挖掘结果；[0010]将所述数据挖掘结果进行展示。[0011]在一个实施例中，所述所需运维数据包括操作系统层面数据、日志记录数据和应用接口数据；[0012]从客户端获取所需运维数据，包括：[0013]设定监听端口，通过监听端口获取客户端主动上送的所需运维数据中的操作系统层面数据和日志记录数据；[00M]通过应用程序接口从客户端获取所需运维数据中的应用接口数据。[0015]在一个实施例中，所述操作系统层面数据包括CPU使用率、IO数据读速度、IO数据写速度、服务端口建立连接数、网络流量；[0016]所述日志记录数据包括交易量、交易响应时间、JVM使用率、单次垃圾回收时长、和与上一次垃圾回收的时间间隔时长；[0017]所述应用接口数据包括当前数据源连接池大小、当前Webccontainer线程池大小、数据源连接池最大值、Webccontainer线程池最大值、数据源平均和Webccontainer线程池活动线程数。[0018]在一个实施例中，在按照预设格式对所述键值对格式的所需运维数据进行封装处理之前，还包括：[0019]将所述键值对格式的所需运维数据进行筛选，获得日志缓存数据和数据库缓存数据；[0020]按照预设格式对所述键值对格式的所需运维数据进行封装处理，包括：[0021]将所述日志缓存数据按照日志缓存所需格式进行封装，将所述数据库缓存数据按照数据库缓存所需格式进行封装。[0022]在一个实施例中，在将所述日志缓存数据按照日志缓存所需格式进行封装，将所述数据库缓存数据按照数据库缓存所需格式进行封装之后，还包括：[0023]将封装后的日志缓存数据记录到指定的日志文件中，将封装后的数据库缓存数据存入相应的数据库表中。[0024]在一个实施例中，按照预设格式对所述键值对格式的所需运维数据进行封装处理，包括：[0025]将所述键值对格式的所需运维数据解析为MP数组格式的所需运维数据；[0026]按照预设格式对MP数组格式的所需运维数据进行封装处理。[0027]在一个实施例中，将所述数据挖掘结果进行展示，包括：[0028]将所述数据挖掘结果以邮件或EXCEL表的形式进行展示。[0029]本发明实施例提供了一种运维大数据分析装置，比人工方式大大的节省了人力，提高了运维大数据的利用效率，同时避免了可能的遗漏以及维护人员长期重复性工作中产生的懈怠，使性能分析、健康评价等工作切实的产生了效益。该运维大数据分析装置包括：[0030]数据获取模块，用于从客户端获取所需运维数据；[0031]格式转换模块，用于将所述所需运维数据按键值对格式进行转换，获得键值对格式的所需运维数据；[0032]数据封装模块，用于按照预设格式对所述键值对格式的所需运维数据进行封装处理，获得封装后的所需运维数据；[0033]数据挖掘模块，用于对所述封装后的所需运维数据进行数据挖掘，获得数据挖掘结果；[0034]展示模块，用于将所述数据挖掘结果进行展示。[0035]在一个实施例中，所述所需运维数据包括操作系统层面数据、日志记录数据和应用接口数据；[0036]所述数据获取模块具体用于：[0037]按照如下方式从客户端获取所需运维数据：[0038]设定监听端口，通过监听端口获取客户端主动上送的所需运维数据中的操作系统层面数据和日志记录数据；[0039]通过应用程序接口从客户端获取所需运维数据中的应用接口数据。[0040]在一个实施例中，所述操作系统层面数据包括CPU使用率、IO数据读速度、IO数据写速度、服务端口建立连接数、网络流量；[0041]所述日志记录数据包括交易量、交易响应时间、JVM使用率、单次垃圾回收时长、与上一次垃圾回收的时间间隔时长；[0042]所述应用接口数据包括当前数据源连接池大小、当前Webccontainer线程池大小、数据源连接池最大值、Webccontainer线程池最大值、数据源平均和Webccontainer线程池活动线程数。[0043]在一个实施例中，还包括:筛选模块，用于将所述键值对格式的所需运维数据进行筛选，获得日志缓存数据和数据库缓存数据；[0044]所述数据封装模块具体用于:将所述日志缓存数据按照日志缓存所需格式进行封装，将所述数据库缓存数据按照数据库缓存所需格式进行封装。[0045]在一个实施例中，还包括:记录存储模块，用于将封装后的日志缓存数据记录到指定的日志文件中，将封装后的数据库缓存数据存入相应的数据库表中。[0046]在一个实施例中，所述数据封装模块具体用于：[0047]将所述所键值对格式的所需运维数据解析为MP数组格式的所需运维数据；[0048]按照预设格式对MAP数组格式的所需运维数据进行封装处理。[0049]在一个实施例中，所述展示模块具体用于：[0050]将所述数据挖掘结果以邮件或EXCEL表的形式进行展示。[0051]本发明实施例还提供了一种运维大数据分析系统，包括:客户端和如上所述的运维大数据分析装置。[0052]在本发明实施例中，首先，从客户端获取所需运维数据，然后将所述所需运维数据按键值对格式进行转换，获得键值对格式的所需运维数据;按照预设格式对所述键值对格式的所需运维数据进行封装处理，获得封装后的所需运维数据，然后，对所述封装后的所需运维数据进行数据挖掘，获得数据挖掘结果，最后，将所述数据挖掘结果进行展示。该方案取代了传统的人工查看日志、图表的方式，自动化判断数据需关注的要点。相比人工方式来说，本发明方法大大的节省了人力，提高了运维大数据的利用效率，同时避免了可能的遗漏以及维护人员长期重复性工作中产生的懈怠，使性能分析、健康评价等工作切实的产生了效益。附图说明[0053]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。[0054]图1是本发明实施例提供的一种运维大数据分析方法流程图；[0055]图2是本发明实施例提供的一种运维大数据分析装置结构示意图。具体实施方式[0056]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0057]现有技术中，因服务器系统，以及其产生的运维数据日益繁多，采用人工查看日志、图表的方法和现有的工具已无法很好的满足生产运维自动化、精确化的管理要求，特别在问题发现和成本降低方面。[0058]本发明基于多年运维经验，提炼最有代表性和前瞻性的数据指标，将人工数据挖掘的思路转换为算法，对运维历史数据进行统计和挖掘，并结合历史故障信息和性能瓶颈进行印证，提出并实现了一种新的更加自动化、智能化、可扩展的运维大数据挖掘方法、装置及系统。该应用系统能够有效地预判生产故障和性能瓶颈，发现资源浪费，提高运维人员工作效率，对于银行业及其他拥有大量运维数据、重视IT系统质量、同时又想降低成本的企业，具有重要的现实意义。[0059]在本发明实施例中，提供了一种运维大数据分析方法，如图1所示，该方法包括：[0060]步骤101:从客户端获取所需运维数据；[0061]步骤102:将所述所需运维数据按键值对格式进行转换，获得键值对格式的所需运维数据；[0062]步骤103:按照预设格式对所述键值对格式的所需运维数据进行封装处理，获得封装后的所需运维数据；[0063]步骤104:对所述封装后的所需运维数据进行数据挖掘，获得数据挖掘结果；[0064]步骤105:将所述数据挖掘结果进行展示。[0065]具体实施时，从客户端获取的数据主要包括三种:操作系统层面数据、日志记录数据和应用接口数据。这三种数据是通过如下方式获得的:设定监听端口，通过监听端口获取客户端主动上送的所需运维数据中的操作系统层面数据和日志记录数据;通过应用程序接口从客户端获取所需运维数据中的应用接口数据。然后将所述所需运维数据按键值对格式进行转换，获得键值对格式的所需运维数据。[0066]具体的，（1从客户端通过系统命令对CPU、连接数、10、网络流量等操作系统层面数据获取;将数据初步处理为键值对格式键值对就是可以根据一个键值获得对应的一个值。例如，一般的面向对象编辑中，经常会使用Form.Enable=True或False，就是用一系列API函数对一个值的封装。），并主动报送服务端。其中，表1为获取的操作系统层面数据的关键字段列表：[0067]表1[0068][0069]2在客户端通过文本处理从日志中提取交易量、交易响应时间、JVM使用率、gc时间、gc间隔等数据。JVM是JavaVirtualMachineJava虚拟机）的缩写，JVM是一种用于计算设备的规范，它是一个虚构出来的计算机，是通过在实际的计算机上仿真模拟各种计算机功能来实现的。将数据处理为键值对格式，并主动报送服务端。其中，表2为获取的日志记录数据的关键字段列表：[0070]表2[0071][0072]3由服务端主动发起，通过应用程序接口，获取客户端数据应用接口数据），客户端不主动上送数据。其中，表3为获取的应用接口数据的关键字段列表：[0073]表3[0076]具体实施时，在本方法涉及的应用程序启动时需要读取本发明的配置文件，获取本发明各项参数配置;更新配置文件后，手工将配置文件内容加载至内存。表4为配置的各项参数的关键字段列表：[0077]表4[0078][0079]具体实施时，在按照预设格式对所述键值对格式的所需运维数据进行封装处理步骤103之前，还包括:将所述键值对格式的所需运维数据进行筛选，获得日志缓存数据和数据库缓存数据。[0080]那步骤103具体的就是将所述日志缓存数据按照日志缓存所需格式进行封装，将所述数据库缓存数据按照数据库缓存所需格式进行封装。在将所述日志缓存数据按照日志缓存所需格式进行封装，将所述数据库缓存数据按照数据库缓存所需格式进行封装之后，还需要将封装后的日志缓存数据记录到指定的日志文件中，将封装后的数据库缓存数据存入相应的数据库表中，如表5所示。在将日志缓存数据记录到指定的日志文件中时，还可以将操作过程中的提示性信息、系统输出记录写入磁盘日志文件。[0081]表5[0082][0083]在将封装后的日志缓存数据记录到指定的日志文件中，将封装后的数据库缓存数据存入相应的数据库表中时，涉及到数据库操作和文件读写操作。数据库操作包括:打开数据库库，自建数据源连接池，实现数据源连接的创建关闭清理等;文件读写操作包括:文件读写，重写了文件类实现自身的需求；日志格式调整，重写日志类增加了时间戳等自定义内容。日志文件可通过tivoli等外部程序进行处理。[0084]具体实施时，若要完成步骤103还需要将所述键值对格式的所需运维数据解析为MAP数组格式的所需运维数据，并进行大小写，长度转换;然后再按照预设格式对MAP数组格式的所需运维数据进行封装处理。[0085]具体实施时，在完成了上述数据封装之后，就需要对封装之后的数据进行数据挖掘步骤104。具体的，可以按照如下几种方式分别针对不同参数和指标完成数据挖掘：[0086]1某些数据具有固定上限。如CPU上限为100,数据源上限为数据源最大值。对于这些数据可以设定一个固定窗口（也即是阈值），按照不同应用，取各应用主要业务时段平均值，比如，主要业务时段主要包括上午9-11时，下午14-17时，部分应用服务器批量时段等。阈值根据应用实际情况设置。[0087]2某些数据不具有固定上限，即阈值不固定。对于这些数据可以设定一个滑动窗口，适用于需要与之前某一时段对比的情况。本发明主要与上周同一时段进行对比，部分时段与上月同一时段进行对比。比如，针对各类连接数等一般无上限要求或上限要求太过宽松的指标，采用滑动窗口，发现性能指标突然的变化。[0088]⑶针对某些数据，主要发现其平均值较低，但高峰期性能出现瓶颈的情况。比如，A发现一段时间内出现NN根据应用不同）次超过阈值根据应用不同）瞬高的情况;B发现高峰期交易有明显缓慢的情况，基准阈值为5秒，根据用户习惯的调查，超过5秒的请求响应时间足以使用户离开页面。[0089]还可以模拟人的思维，通过设置复杂参数，基于基础的数据挖掘算法初始算法），实现复杂场景的数据挖掘，其中，初始算法和阈值主要根据经验设置。主要包括：[0090]A通过一段时间内访问量最高的ip与其他ip对比，以及该ip历史访问情况和访问总量，发现异常访问ip。如异常访问请求时间明显延长或大部分为失败交易，则将问题升级。[0091]B通过垃圾回收后的jvm每次平均值对比，并参照jvm最大值，发现内存泄露。[0092]C通过将采用第（1、（2、（3种方法进行数据挖掘获得的数据挖掘结果，以及外部应用的连接数报警，与对应时间的交易情况进行对比，评估阈值设置的合理性。[0093]在获得了数据挖掘结果之后，发现目前分析结果数据挖掘结果并没有准确反映IT系统运行情况，可以结合用户体验不断发现报警的不合理处，添加个人定制的参数，结合基础的算法生成个人定制算法。然后证明效果良好的个人定制算法加以保存，下次可直接使用。个人定制的参数可以包括:A可选挖掘时段;B可按主机;C可选应用类型;D可指定基础算法;E可调整阈值。[0094]数据挖掘的主要指标如表6所示：[0095]表6[0096][0097]具体实施时，在获得了数据挖掘结果之后，需要将结果通过各种形式，直观的展现在用户面前。比如，可以将数据挖掘结果是一个结果集封装后，将结果发送邮件。这个结果发送邮件可以是定时执行，也可以是随时查看。还可以以EXCEL表的形式进行展示[0098]邮件格式类似如下：以下为WEB服务器连接数对比一周前突增的服务器：[0099][0100]基于同一发明构思，本发明实施例中还提供了一种运维大数据分析装置，如下面的实施例所述。由于运维大数据分析装置解决问题的原理与运维大数据分析方法相似，因此运维大数据挖掘装置的实施可以参见运维大数据分析方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。[0101]图2是本发明实施例的运维大数据分析装置的一种结构框图，如图2所示，改运维大数据分析包括：[0102]数据获取模块201，用于从客户端获取所需运维数据；[0103]格式转换模块202,用于将所述所需运维数据按键值对格式进行转换，获得键值对格式的所需运维数据；[0104]数据封装模块203，用于按照预设格式对所述键值对格式的所需运维数据进行封装处理，获得封装后的所需运维数据；[0105]数据挖掘模块204,用于对所述封装后的所需运维数据进行数据挖掘，获得数据挖掘结果；[0106]展示模块205,用于将所述数据挖掘结果进行展示。[0107]下面对该结构进行说明。[0108]具体实施时，所述所需运维数据包括操作系统层面数据、日志记录数据和应用接口数据；[0109]所述数据获取模块201具体用于：[0110]按照如下方式从客户端获取所需运维数据：[0111]设定监听端口，通过监听端口获取客户端主动上送的所需运维数据中的操作系统层面数据和日志记录数据；[0112]通过应用程序接口从客户端获取所需运维数据中的应用接口数据。[0113]具体实施时，所述操作系统层面数据包括CPU使用率、IO数据读速度、IO数据写速度、服务端口建立连接数、网络流量；[0114]所述日志记录数据包括交易量、交易响应时间、JVM使用率、单次垃圾回收时长、与上一次垃圾回收的时间间隔时长；[0115]所述应用接口数据包括当前数据源连接池大小、当前Webccontainer线程池大小、数据源连接池最大值、Webccontainer线程池最大值、数据源平均和Webccontainer线程池活动线程数。[0116]具体实施时，还包括：筛选模块，用于将所述键值对格式的所需运维数据进行筛选，获得日志缓存数据和数据库缓存数据；[0117]所述数据封装模块203具体用于:将所述日志缓存数据按照日志缓存所需格式进行封装，将所述数据库缓存数据按照数据库缓存所需格式进行封装。[0118]具体实施时，还包括:记录存储模块，用于将封装后的日志缓存数据记录到指定的日志文件中，将封装后的数据库缓存数据存入相应的数据库表中。[0119]具体实施时，所述数据封装模块203具体用于：[0120]将所述所键值对格式的所需运维数据解析为MP数组格式的所需运维数据；[0121]按照预设格式对MP数组格式的所需运维数据进行封装处理。[0122]具体实施时，所述展示模块205具体用于：[0123]将所述数据挖掘结果以邮件或EXCEL表的形式进行展示。[0124]具体实施时，本发明还提出一种运维大数据分析系统，包括:客户端和以上所述的运维大数据分析装置。[0125]综上所述，本发明提出的自动化、可扩展的运维大数据分析方法、装置及系统，取代了传统的人工查看日志、图表的方式，自动化判断数据需关注的要点。比人工方式大大的节省了人力，同时避免了可能的遗漏以及维护人员长期重复性工作中产生的懈怠，使性能分析、健康评价等工作切实的产生了效益。[0126]另外基于多年运维经验，采用独创的、经得起实践检验的数据挖掘算法，模拟人工判断时的思路，实现智能化大数据挖掘。本发明是一个开放的系统，实现了数据挖掘、数据展现、结果分析、算法生成，再到数据挖掘的闭环，使数据挖掘的算法可以在实践中不断自我优化扩展，达到更加完美的效果。本发明还支持外部程序的扩展，如tivoli等得集成，可将报警内容通过tivoli展现。通过本发明的不断完善，可以更加准确做好资源的利用，避免可能的故障风险，有效的降低企业的资源使用成本和故障停机成本，对企业IT运维水平的提尚有着重要的现实意义。[0127]本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。[0128]本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和或方框图来描述的。应理解可由计算机程序指令实现流程图和或方框图中的每一流程和或方框、以及流程图和或方框图中的流程和或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和或方框图一个方框或多个方框中指定的功能的装置。[0129]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和或方框图一个方框或多个方框中指定的功能。[0130]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和或方框图一个方框或多个方框中指定的功能的步骤。[0131]以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

权利要求：1.一种运维大数据分析方法，其特征在于，包括：从客户端获取所需运维数据；将所述所需运维数据按键值对格式进行转换，获得键值对格式的所需运维数据；按照预设格式对所述键值对格式的所需运维数据进行封装处理，获得封装后的所需运维数据；对所述封装后的所需运维数据进行数据挖掘，获得数据挖掘结果；将所述数据挖掘结果进行展示。2.如权利要求1所述的运维大数据分析方法，其特征在于，所述所需运维数据包括操作系统层面数据、日志记录数据和应用接口数据；从客户端获取所需运维数据，包括：设定监听端口，通过监听端口获取客户端主动上送的所需运维数据中的操作系统层面数据和日志记录数据；通过应用程序接口从客户端获取所需运维数据中的应用接口数据。3.如权利要求2所述的运维大数据分析方法，其特征在于，所述操作系统层面数据包括CPU使用率、IO数据读速度、IO数据写速度、服务端口建立连接数、网络流量；所述日志记录数据包括交易量、交易响应时间、JVM使用率、单次垃圾回收时长、和与上一次垃圾回收的时间间隔时长；所述应用接口数据包括当前数据源连接池大小、当前Webccontainer线程池大小、数据源连接池最大值、Webccontainer线程池最大值、数据源平均和Webccontainer线程池活动线程数。4.如权利要求1所述的运维大数据分析方法，其特征在于，在按照预设格式对所述键值对格式的所需运维数据进行封装处理之前，还包括：将所述键值对格式的所需运维数据进行筛选，获得日志缓存数据和数据库缓存数据；按照预设格式对所述键值对格式的所需运维数据进行封装处理，包括：将所述日志缓存数据按照日志缓存所需格式进行封装，将所述数据库缓存数据按照数据库缓存所需格式进行封装。5.如权利要求4所述的运维大数据分析方法，其特征在于，在将所述日志缓存数据按照日志缓存所需格式进行封装，将所述数据库缓存数据按照数据库缓存所需格式进行封装之后，还包括：将封装后的日志缓存数据记录到指定的日志文件中，将封装后的数据库缓存数据存入相应的数据库表中。6.如权利要求1所述的运维大数据分析方法，其特征在于，按照预设格式对所述键值对格式的所需运维数据进行封装处理，包括：将所述键值对格式的所需运维数据解析为MP数组格式的所需运维数据；按照预设格式对MP数组格式的所需运维数据进行封装处理。7.如权利要求1所述的运维大数据分析方法，其特征在于，将所述数据挖掘结果进行展示，包括：将所述数据挖掘结果以邮件或EXCEL表的形式进行展示。8.—种运维大数据分析装置，其特征在于，包括：数据获取模块，用于从客户端获取所需运维数据；格式转换模块，用于将所述所需运维数据按键值对格式进行转换，获得键值对格式的所需运维数据；数据封装模块，用于按照预设格式对所述键值对格式的所需运维数据进行封装处理，获得封装后的所需运维数据；数据挖掘模块，用于对所述封装后的所需运维数据进行数据挖掘，获得数据挖掘结果；展示模块，用于将所述数据挖掘结果进行展示。9.如权利要求8所述的运维大数据分析装置，其特征在于，所述所需运维数据包括操作系统层面数据、日志记录数据和应用接口数据；所述数据获取模块具体用于：按照如下方式从客户端获取所需运维数据：设定监听端口，通过监听端口获取客户端主动上送的所需运维数据中的操作系统层面数据和日志记录数据；通过应用程序接口从客户端获取所需运维数据中的应用接口数据。10.如权利要求9所述的运维大数据分析装置，其特征在于，所述操作系统层面数据包括CHJ使用率、IO数据读速度、IO数据写速度、服务端口建立连接数、网络流量；所述日志记录数据包括交易量、交易响应时间、JVM使用率、单次垃圾回收时长、与上一次垃圾回收的时间间隔时长；所述应用接口数据包括当前数据源连接池大小、当前Webccontainer线程池大小、数据源连接池最大值、Webccontainer线程池最大值、数据源平均和Webccontainer线程池活动线程数。11.如权利要求8所述的运维大数据分析装置，其特征在于，还包括:筛选模块，用于将所述键值对格式的所需运维数据进行筛选，获得日志缓存数据和数据库缓存数据；所述数据封装模块具体用于:将所述日志缓存数据按照日志缓存所需格式进行封装，将所述数据库缓存数据按照数据库缓存所需格式进行封装。12.如权利要求11所述的运维大数据分析装置，其特征在于，还包括:记录存储模块，用于将封装后的日志缓存数据记录到指定的日志文件中，将封装后的数据库缓存数据存入相应的数据库表中。13.如权利要求8所述的运维大数据分析装置，其特征在于，所述数据封装模块具体用于：将所述键值对格式的所需运维数据解析为MP数组格式的所需运维数据；按照预设格式对MP数组格式的所需运维数据进行封装处理。14.如权利要求8所述的运维大数据分析装置，其特征在于，所述展示模块具体用于：将所述数据挖掘结果以邮件或EXCEL表的形式进行展示。15.—种运维大数据分析系统，其特征在于，包括:客户端和权利要求8至14所述的运维大数据分析装置。

百度查询： 中国工商银行股份有限公司 运维大数据分析方法、装置及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD