申请/专利权人：北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司

申请日：2017-10-25

公开（公告）日：2020-06-30

公开（公告）号：CN107819745B

主分类号：H04L29/06(20060101)

分类号：H04L29/06(20060101);H04L12/24(20060101);H04L12/26(20060101)

优先权：

专利状态码：有效-授权

法律状态：2020.06.30#授权;2018.04.13#实质审查的生效;2018.03.20#公开

摘要：本发明公开了一种异常流量的防御方法和装置，涉及计算机技术领域。其中，该方法包括：根据服务端的黑名单滤除异常的日志上报请求，并将过滤剩下的日志上报请求进行存储；统计存储的当前一级监控周期的日志上报请求量；在当前一级监控周期的日志上报请求量符合预设的异常流量判断条件时，进行异常流量预警。通过以上步骤，能够从多个层面、实时高效地识别异常流量，提高异常流量的防御效果，同时减少异常流量对服务端存储资源与计算资源的占用。

主权项：1.一种异常流量的防御方法，其特征在于，所述方法包括：在确认日志上报请求携带的黑名单版本号与服务端的黑名单版本号不同的情况下，根据服务端的黑名单滤除异常的日志上报请求，并将过滤剩下的日志上报请求进行存储；统计存储的当前一级监控周期的日志上报请求量；在当前一级监控周期的日志上报请求量符合预设的异常判断条件时，进行异常流量预警。

全文数据：异常流量的防御方法和装置技术领域[0001]本发明涉及计算机技术领域，尤其涉及一种异常流量的防御方法和装置。背景技术[0002]在现有技术中，主要通过以下方案识别异常流量:将服务端一天内接收的全部数据汇总、同步至数据加工应用层;通过数据加工应用层计算统计指标，然后，通过数据业务展示层对得到的统计指标进行展示;如果统计指标存在异常，再通过人工方式详细查找、定位、剔除异常流量;然后，对剔除异常流量后的数据重新进行数据加工和数据展示。[0003]在实现本发明过程中，发明人发现现有技术中至少存在如下问题:第一、在现有异常流量识别方案中，需要在统计指标存在异常时，通过人工方式逐一查询、定位、剔除异常，时效性较差;第二、确定存在异常流量之后，需要重新对剔除异常流量的数据进行加工和展示，消耗服务端的计算资源;第三、服务端将接收的异常流量也进行了存储，消耗服务端的存储资源。发明内容[0004]有鉴于此，本发明提供了一种异常流量的防御方法和装置，以能够从多个层面、实时高效地识别异常流量，同时减少异常流量对服务端存储资源与计算资源的占用。[0005]为实现上述目的，根据本发明的一个方面，提供了一种异常流量的防御方法。[0006]本发明的异常流量的防御方法包括:根据服务端的黑名单滤除异常的日志上报请求，并将过滤剩下的日志上报请求进行存储；统计存储的当前一级监控周期的日志上报请求量;在当前一级监控周期的日志上报请求量符合预设的异常判断条件时，进行异常流量预警。[0007]在一个实施例中，所述方法还包括:在所述根据服务端的黑名单滤除异常的日志上报请求的步骤之前，确认日志上报请求携带的黑名单版本号与服务端的黑名单版本号不同。[0008]在一个实施例中，所述方法还包括:在日志上报请求携带的客户端的黑名单版本号与服务端的黑名单版本号相同的情况下，将所述日志上报请求进行存储。[0009]在一个实施例中，所述方法还包括:在所述确认日志上报请求携带的黑名单版本号与服务端的黑名单版本号不同的步骤之后，将所述服务端的黑名单发送至客户端。[0010]在一个实施例中，所述方法还包括:在进行异常流量预警之后，通过训练得到的识别模型对所述当前一级监控周期的日志上报请求进行识别;在识别出异常的日志上报请求的情况下，更新服务端的黑名单。[0011]在一个实施例中，所述在当前一级监控周期的日志上报请求量符合预设的异常判断条件时，进行异常流量预警的步骤包括:在当前一级监控周期的日志上报请求量大于第一流量阈值Cmax，或者小于第二流量阈值：_的情况下，进行异常流量预警;其中，第一流量阈值Cmax大于第二流量阈值Cmin。[0012]在一个实施例中，所述在当前一级监控周期的日志上报请求量符合预设的异常判断条件时，进行异常流量预警的步骤还包括:在当前一级监控周期的日志上报请求量不小于Cmin、且不大于Cmax的情况下，计算当前一级监控周期的日志上报请求量的环比波动参数、同比波动参数;在所述环比波动参数和所述同比波动参数都不满足预设的波动范围的情况下，进行异常流量预警。[0013]在一个实施例中，所述方法还包括:假设当前一级监控周期为第i个一级监控周期，根据如下公式计算当前一级监控周期的日志上报请求量的环比波动参数和同比波动参数，[0016]其中，α为第i个一级监控周期的日志上报请求量的环比波动参数，p⑴为第i个一级监控周期内的日志上报请求量，Pi-Ι为第i-Ι个一级监控周期内的日志上报请求量，X⑴为第i个一级监控周期对应的时间，Xi_l为第i_l个一级监控周期对应的时间；σ为第i个一级监控周期的日志上报请求量的同比波动参数，m表示计算〇所用的最近二级监控周期的个数，Pk表示第k个二级监控周期中的第i个一级监控周期内的日志上报请求量，ω表示最近m个二级监控周期内的日志上报请求量序列{Pj-m+1，…Pi}的均值。[0017]为实现上述目的，根据本发明的另一方面，提供了一种异常流量的防御装置。[0018]本发明的异常流量的防御装置包括:过滤模块，用于根据服务端的黑名单滤除异常的日志上报请求，并将过滤剩下的日志上报请求进行存储;统计模块，用于统计存储的当前一级监控周期的日志上报请求量;预警模块，用于在当前一级监控周期的日志上报请求量符合预设的异常流量判断条件时，进行异常流量预警。[0019]在一个实施例中，所述过滤模块，还用于在根据服务端的黑名单滤除异常的日志上报请求之前，确认日志上报请求携带的黑名单版本号与服务端的黑名单版本号不同。[0020]在一个实施例中，所述过滤模块，还用于在日志上报请求携带的黑名单版本号与服务端的黑名单版本号相同的情况下，将所述日志上报请求进行存储。[0021]在一个实施例中，所述装置还包括:发送模块，用于在所述过滤模块确认日志上报请求携带的客户端的黑名单版本号与服务端的黑名单版本号不同之后，将所述服务端的黑名单发送至客户端。[0022]在一个实施例中，所述装置还包括:识别模块，用于在所述预警模块进行异常流量预警之后，通过训练得到的识别模型对所述当前一级监控周期的日志上报请求进行识别；更新模块，用于在所述识别模块识别出异常的日志上报请求的情况下，更新服务端的黑名单。[0023]在一个实施例中，所述预警模块在当前一级监控周期的日志上报请求量符合预设的异常判断条件时，进行异常流量预警包括:所述预警模块在当前一级监控周期的日志上报请求量大于第一流量阈值Cmax，或者小于第二流量阈值Cmin的情况下，进行异常流量预警；其中，第一流量阈值Cmax大于第二流量阈值Cmin。[0024]在一个实施例中，所述预警模块在当前一级监控周期的日志上报请求量符合预设的异常判断条件时，进行异常流量预警还包括:在当前一级监控周期的日志上报请求量不小于Cmin、且不大于CmaJ^情况下，计算当前一级监控周期的日志上报请求量的环比波动参数、同比波动参数;在所述环比波动参数和所述同比波动参数都不满足预设的波动范围的情况下，进行异常流量预警。[0025]在一个实施例中，假设当前一级监控周期为第i个一级监控周期，所述预警模块根据如下公式计算当前一级监控周期的日志上报请求量的环比波动参数和同比波动参数，[0028]其中，α为第i个一级监控周期的日志上报请求量的环比波动参数，p⑴为第i个一级监控周期内的日志上报请求量，Pi-Ι为第i-Ι个一级监控周期内的日志上报请求量，X⑴为第i个一级监控周期对应的时间，Xi-Ι为第i-Ι个一级监控周期对应的时间；σ为第i个一级监控周期的日志上报请求量的同比波动参数，m表示计算〇所用的最近二级监控周期的个数，Pk表示第k个二级监控周期中的第i个一级监控周期内的日志上报请求量，ω表示最近m个二级监控周期内的日志上报请求量序列{Pj-m+1，…Pi}的均值。[0029]为实现上述目的，根据本发明的再一个方面，提供了一种服务器。[0030]本发明的服务器，包括:一个或多个处理器；以及，存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的异常流量的防御方法。[0031]为实现上述目的，根据本发明的又一个方面，提供了一种计算机可读介质。[0032]本发明的计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的异常流量的防御方法。[0033]上述发明中的一个实施例具有如下优点或有益效果:通过在服务端设置黑名单对异常的日志上报请求进行滤除，以及统计当前一级监控周期的日志上报请求量、并在请求量符合异常判断条件时进行预警等步骤，能够从多个层面实时、高效地识别出异常流量，减少异常流量对服务端存储资源与计算资源的占用。[0034]上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。附图说明[0035]附图用于更好地理解本发明，不构成对本发明的不当限定。其中：[0036]图1是根据本发明一个实施例的异常流量的防御方法的主要步骤的示意图；[0037]图2是根据本发明另一实施例的异常流量的防御方法的主要步骤的示意图；[0038]图3是根据本发明再一实施例的异常流量的防御方法的主要步骤的示意图；[0039]图4是根据本发明一个实施例的异常流量的防御装置的主要模块的示意图；[0040]图5是根据本发明另一实施例的异常流量的防御装置的主要模块的示意图；[0041]图6是根据本发明再一实施例的异常流量的防御装置的主要模块的示意图；[0042]图7是本发明实施例可以应用于其中的示例性系统架构图；[0043]图8是适于用来实现本发明实施例的服务器的计算机系统的结构示意图。具体实施方式[0044]以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识至IJ，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。[0045]需要指出的是，在不冲突的情况下，本发明中的实施例以及实施例中的特征可以相互组合。[0046]图1是根据本发明一个实施例的异常流量的防御方法的主要步骤的示意图。本发明实施例的异常流量的防御方法可由服务端执行。如图1所示，本发明实施例的异常流量的防御方法包括以下步骤：[0047]步骤S101、根据服务端的黑名单滤除异常的日志上报请求，并将过滤剩下的日志上报请求进行存储。[0048]具体实施时，所述日志上报请求可以包括:访问页面的URL链接地址）、页面展示的内容、浏览器的属性值、cookie参数、用户信息等。在该示例中，步骤SlOl包括:若日志上报请求的特征与所述黑名单上的异常的特征匹配，则判定该日志上报请求异常，并将异常的日志上报请求滤除；若日志上报请求的特征与所述黑名单上的异常的特征不匹配，则判定该日志上报请求正常，并将正常的日志上报请求进行存储。[0049]通过步骤SlOl，能够从“日志上报请求的特征”层面实时高效地识别、滤除服务端接收的异常的日志上报请求，减少异常流量对服务端存储资源的占用。[0050]步骤S102、统计存储的当前一级监控周期的日志上报请求量。[0051]示例性的，一级监控周期为1小时。应理解的是，本领域技术人员可以根据需要设置一级监控周期的时长，比如，可将一级监控周期设为2小时、0.5小时或其他。[0052]步骤S103、在当前一级监控周期的日志上报请求量符合预设的异常判断条件时，进行异常流量预警。[0053]在一可选实施方式中，步骤S103包括两种需要进行异常流量预警的情况：[0054]第一种情况:在当前一级监控周期的日志上报请求量大于第一流量阈值Cmax，或者小于第二流量阈值Cmin的情况下，进行异常流量预警。其中，第一流量阈值Cmax大于第二流量阈值Cmin。[0055]在具体实施时，可以基于历史日志上报请求量的记录情况灵活设置CmaxXmin的值。例如，假设一级监控周期的时长为1小时，当前时刻为上午9点，则可将过去7天中同期日志上报请求量的最大值15000作为该时刻的Cmax;假设当前时刻为下午3点，可将过去7天同期日志上报请求量的最大值20000作为该时刻的Cmax。基于历史数据灵活设置不同时刻的Cmax与Cmin，能够提高异常流量识别的准确性。[0056]第二种情况:在当前一级监控周期的日志上报请求量不小于Cmin、且不大于Cmax的情况下，计算当前一级监控周期的日志上报请求量的环比波动参数、同比波动参数;在所述环比波动参数和所述同比波动参数都不满足预设的波动范围的情况下，进行异常流量预警。在具体实施时，所述环比波动参数的预设波动范围和所述同比波动参数的预设波动范围可以根据历史日志上报请求量的波动情况确定。[0057]在第二种情况下，假设当前一级监控周期为第i个一级监控周期，可以根据如下公式计算当前一级监控周期的日志上报请求量的环比波动参数和同比波动参数，[0060]其中，α为第i个一级监控周期的日志上报请求量的环比波动参数，p⑴为第i个一级监控周期内的日志上报请求量，Pi-Ι为第i-Ι个一级监控周期内的日志上报请求量，X⑴为第i个一级监控周期对应的时间，Xi_l为第i_l个一级监控周期对应的时间；σ为第i个一级监控周期的日志上报请求量的同比波动参数，m为计算〇所用的最近二级监控周期的个数，Pk表示第k个二级监控周期中的第i个一级监控周期内的日志上报请求量，k的可选取值为{j-m+1，…，j}，j表示当前一级监控周期所在的二级监控周期的序号，ω表示最近m个二级监控周期内的日志上报请求量序列{Pj-m+1，…Pi}的均值。[0061]其中，二级监控周期的时长大于一级监控周期的时长。示例性的，一级监控周期的时长为1小时、二级监控周期的时长为一天，当前时刻为10号上午9点，则α反映了10号上午9点存储的日志上报请求量相对于10号上午8点存储的日志上报请求量的波动情况，σ反映了最近m天中同期天上午9点存储的日志上报请求量的波动情况。[0062]通过步骤S102、步骤S103,能够从每个监测周期内“服务端存储的数据量”的层面实时高效地识别出异常流量、并及时进行异常流量预警。进一步，在步骤S103中，通过综合考虑日志上报请求量异常、以及日志上报请求量的波动异常这两种情况，能够提高对异常流量的防御效果。[0063]应理解的是，以上可选实施方式是关于步骤S103的示例性说明，不应构成对本发明保护范围的限制。在不影响本发明实施的情况下，本领域技术人员还可以调整异常判断条件。例如，在另一可选实施方式中，异常判断条件为:在当前一级监控周期的日志上报请求量大于第一流量阈值Cmax，或者小于第二流量阈值Cmin的情况下，进行异常流量预警；否贝IJ，不进行异常流量预警。[0064]在本发明实施例中，能够从“日志上报请求的特征”以及“日志上报请求量”多个层面实时、高效地识别出异常流量，提高了对异常流量的防御效果。另外，通过实时识别、屏蔽异常流量，能够减少异常流量对服务端存储资源与计算资源的占用。[0065]图2是根据本发明另一实施例的异常流量的防御方法的主要步骤的示意图。本发明实施例的异常流量的防御方法可由服务端执行。如图2所示，本发明实施例的异常流量的防御方法包括以下步骤：[0066]步骤S201、接收客户端发送的日志上报请求。[0067]其中，所述日志上报请求携带客户端的黑名单版本号。具体实施时，在向服务端发送日志上报请求之前，可以先通过客户端本地存储的黑名单对日志上报请求进行过滤。如果日志上报请求的特征与本地黑名单上的异常的特征匹配，判定该日志上报请求异常，进而不向服务端发送该日志上报请求;如果日志上报请求的特征与本地黑名单上的异常的特征不匹配，判定该日志上报请求正常，进而将该日志上报请求发送至服务端。[0068]步骤S202、判断所述日志上报请求携带的客户端的黑名单版本号与服务端的黑名单版本号是否相同。[0069]在该步骤中，如果客户端的黑名单版本号与服务端的黑名单版本号不同，执行步骤S203;否则，执行步骤S204。在具体实施时，由于客户端的黑名单通常是由服务端下发的，故而服务端黑名单的更新一般早于客户端。因此，确定客户端的黑名单版本号与服务端的黑名单版本号不同，即意味着客户端的黑名单不是最新的。[0070]步骤S203、根据服务端的黑名单滤除异常的日志上报请求，并将过滤剩下的日志上报请求进行存储。在步骤S203之后，执行步骤S205。[0071]在该步骤中，如果日志上报请求的特征与服务端黑名单上的异常特征匹配，判定该日志上报请求异常，进而服务端不存储该日志上报请求;如果日志上报请求的特征与服务端黑名单上的异常特征不匹配，判定该日志上报请求正常，进而服务端将该日志上报请求进行存储。[0072]步骤S204、直接将日志上报请求进行存储。在步骤S204之后，执行步骤S205。[0073]在本发明实施例中，通过在客户端、服务端两侧都设置黑名单，能够提高对异常流量的防御效果。通过判断日志上报请求携带的黑名单版本号与服务端的黑名单版本号是否相同，并根据判断结果执行步骤S203或步骤S204,既能保障服务端根据最新的黑名单对日志上报请求进行识别，提高异常流量的识别准确率，又能避免在服务端与客户端存储的黑名单相同时的重复识别的问题，提高异常流量的识别效率。[0074]步骤S205、统计存储的当前一级监控周期的日志上报请求量。[0075]示例性的，所述一级监控周期为1小时。[0076]步骤S206、判断当前一级监控周期的日志上报请求量是否符合预设的异常判断条件。[0077]在该步骤中，如果当前一级监控周期的日志上报请求量符合预设的异常判断条件，则执行步骤S207;否则，不执行步骤S207。关于步骤S206如何实施，可参考图1所示实施例中步骤S103的实施方式。[0078]步骤S207、进行异常流量预警。[0079]除了以上步骤之外，本发明实施例的方法还可包括:在客户端的黑名单版本号与服务端的黑名单版本号不同的情况下，将服务端存储的黑名单发送至客户端。通过这一步骤，能够及时更新客户端存储的黑名单，使得客户端能够根据最新的黑名单滤除异常流量，提高异常流量的防御效果。[0080]在本发明实施例中，能够从“日志上报请求的特征”以及“日志上报请求量”多个层面实时、高效地识别出异常流量，提高了对异常流量的防御效果。通过判断日志上报请求携带的黑名单版本号与服务端的黑名单版本号是否相同、并根据判断结果执行步骤S203或S204,既能提高异常流量的识别准确率，又能提高异常流量的识别效率。[0081]图3是根据本发明再一实施例的异常流量的防御方法的主要步骤的示意图。本发明实施例的异常流量的防御方法可由服务端执行。如图3所示，本发明实施例的异常流量的防御方法包括：[0082]步骤S301、根据服务端的黑名单滤除异常的日志上报请求，并将过滤剩下的日志上报请求进行存储。[0083]在该步骤中，如果日志上报请求的特征与服务端黑名单上的异常的特征匹配，判定该日志上报请求异常，进而服务端不存储该日志上报请求;如果日志上报请求的特征与服务端黑名单上的异常的特征不匹配，判定该日志上报请求正常，进而服务端将该日志上报请求进行存储。[0084]步骤S302、统计存储的当前一级监控周期的日志上报请求量。[0085]步骤S303、判断当前一级监控周期的日志上报请求量是否符合预设的异常判断条件。[0086]关于步骤S303如何实施，可参考图1所示实施例中与步骤S103相关的表述。在步骤S303中，如果当前一级监控周期的日志上报请求量符合预设的异常判断条件时，则执行步骤S304;否则，不执行步骤S304。[0087]步骤S304、进行异常流量预警。在步骤S304之后，执行步骤S305。[0088]步骤S305、通过训练得到的识别模型对所述当前一级监控周期的日志上报请求进行识别。[0089]其中，所述识别模型用于识别出正常的日志上报请求和异常的日志上报请求。示例性的，所述识别模型为决策树模型，所述一级监控周期为1小时。在该示例中，将当前1小时内存储的日志上报请求输入决策树模型，以根据决策树模型对日志上报请求进行识别。如果通过识别模型识别出异常的日志上报请求，执行步骤S306;否则，不执行步骤S306。[0090]步骤S306、更新服务端的黑名单。[0091]在本发明实施例中，通过执行步骤S301至步骤S304,能够从“日志上报请求的特征”以及“日志上报请求量”多个层面实时、高效地识别出异常流量。进一步，在进行异常流量预警之后，通过识别模型识别出异常的日志上报请求，并根据异常识别结果更新服务端的黑名单，能够更加精确地定位异常流量，及时更新服务端的黑名单，进一步提高了异常流量的防御效果。[0092]图4是根据本发明一个实施例的异常流量的防御装置的主要模块的示意图。本发明实施例的异常流量的防御装置可设置于服务端。如图4所示，本发明实施例的异常流量的防御装置400包括:过滤模块401、统计模块402、预警模块403。[0093]过滤模块401，用于根据服务端的黑名单滤除异常的日志上报请求，并将过滤剩下的日志上报请求进行存储。[0094]具体实施时，所述日志上报请求可以包括:访问页面的URL链接地址）、页面展示的内容、浏览器的属性值、cookie参数、用户信息等。在接收到客户端发送的日志上报请求之后，过滤模块401根据存储的黑名单对日志上报请求进行过滤，并将过滤剩下的日志上报请求进行存储包括:若日志上报请求的特征与所述黑名单上的异常的特征匹配，则判定该日志上报请求异常，并将异常的日志上报请求滤除;若日志上报请求的特征与所述黑名单上的异常的特征不匹配，则判定该日志上报请求正常，并将正常的日志上报请求进行存储。[0095]在本发明实施例中，通过设置过滤模块401，能够从“日志上报请求的特征”层面实时高效地识别、滤除异常的日志上报请求，减少异常流量对服务端存储资源的占用。[0096]统计模块402,用于统计存储的当前一级监控周期的日志上报请求量。[0097]示例性的，一级监控周期为1小时。应理解的是，本领域技术人员可以根据需要设置一级监控周期的时长，比如，可将一级监控周期设为2小时、0.5小时或其他。[0098]预警模块403,用于在当前一级监控周期的日志上报请求量符合预设的异常判断条件时，进行异常流量预警。[0099]在一可选实施方式中，预警模块403进行异常流量预警包括以下两种情况：[0100]第一种情况:在当前一级监控周期的日志上报请求量大于第一流量阈值Cmax，或者小于第二流量阈值^„的情况下，预警模块403进行异常流量预警。其中，第一流量阈值Cmax大于第二流量阈值Cmin。[0101]第二种情况:在当前一级监控周期的日志上报请求量不小于Cmin、且不大于Cmax的情况下，预警模块403计算当前一级监控周期的日志上报请求量的环比波动参数、同比波动参数;在所述环比波动参数和所述同比波动参数都不满足预设的波动范围的情况下，进行异常流量预警。在具体实施时，环比波动参数的预设波动范围和同比波动参数的预设波动范围可以根据历史日志上报请求量的波动情况确定。[0102]在第二种情况下，假设当前一级监控周期为第i个一级监控周期，预警模块403可以根据如下公式计算当前一级监控周期的日志上报请求量的环比波动参数和同比波动参数，[0105]其中，α为第i个一级监控周期的日志上报请求量的环比波动参数，p⑴为第i个一级监控周期内的日志上报请求量，Pi-Ι为第i-Ι个一级监控周期内的日志上报请求量，X⑴为第i个一级监控周期对应的时间，Xi_l为第i_l个一级监控周期对应的时间；σ为第i个一级监控周期的日志上报请求量的同比波动参数，m表示计算〇所用的最近二级监控周期的个数，Pk表示第k个二级监控周期中的第i个一级监控周期内的日志上报请求量，k的可选取值为{j-m+1，…，j}，j表示当前一级监控周期所在的二级监控周期的序号，ω表示最近m个二级监控周期内的日志上报请求量序列{Pj-m+1，…Pi}的均值。[0106]其中，二级监控周期的时长大于一级监控周期的时长。示例性的，一级监控周期的时长为1小时、二级监控周期的时长为一天，当前时刻为10号上午9点，则α反映了10号上午9点存储的日志上报请求量相对于10号上午8点存储的日志上报请求量的波动情况，σ反映了最近m天中同期天上午9点存储的日志上报请求量的波动情况。[0107]在本发明实施例中，通过设置统计模块402和预警模块403,能够从每个监测周期内服务端存储的数据量的层面实时高效地识别出异常流量、并及时进行异常流量预警。进一步，通过综合考虑日志上报请求量异常、以及日志上报请求量的波动异常这两种情况，能够提高对异常流量的防御效果。[0108]应理解的是，以上可选实施方式是关于异常判断条件的示例性说明，不应构成对本发明保护范围的限制。在不影响本发明实施的情况下，本领域技术人员还可以调整异常判断条件。例如，在另一可选实施方式中，异常判断条件为:在当前一级监控周期的日志上报请求量大于第一流量阈值Cmax，或者小于第二流量阈值Cmin的情况下，进行异常流量预警；否则，不进行异常流量预警。[0109]本发明实施例的异常流量的防御装置，能够从“日志上报请求的特征”以及“日志上报请求量”多个层面实时、高效地识别出异常流量，提高了对异常流量的防御效果。另外，通过实时识别、屏蔽异常流量，能够减少异常流量对服务端存储资源与计算资源的占用。[0110]图5是根据本发明另一实施例的异常流量的防御装置的主要模块的示意图。本发明实施例的异常流量的防御装置可设置于服务端。如图5所示，本发明实施例的异常流量的防御装置500包括:过滤模块501、发送模块502、统计模块503、预警模块504。[0111]过滤模块501，用于在服务端接收客户端发送的日志上报请求之后，判断日志上报请求携带的客户端的黑名单版本号与服务端的黑名单版本号是否相同。[0112]过滤模块501，还用于在客户端的黑名单版本号与服务端的黑名单版本号不同的情况下，根据服务端的黑名单滤除异常的日志上报请求，并将过滤剩下的日志上报请求进行存储。在具体实施时，如果日志上报请求的特征与服务端黑名单上的异常的特征匹配，判定该日志上报请求异常，过滤模块501不存储该日志上报请求;如果日志上报请求的特征与服务端黑名单上的异常的特征不匹配，判定该日志上报请求正常，进而过滤模块501将该日志上报请求进行存储。[0113]过滤模块501，还用于在客户端的黑名单版本号与服务端的黑名单版本号相同的情况下，直接将服务端接收的日志上报请求进行存储。[0114]在本发明实施例中，通过过滤模块判断客户端的黑名单版本号与服务端的黑名单版本号是否相同，并根据判断结果对日志上报请求进行再次识别或直接存储，既能提高异常流量的识别准确率，又能提高异常流量的识别效率。[0115]发送模块502，用于在过滤模块501确认日志上报请求携带的客户端的黑名单版本号与服务端的黑名单版本号不同之后，将服务端存储的黑名单发送至客户端。通过设置发送模块502,能够及时更新客户端存储的黑名单，提高异常流量的防御效果。[0116]统计模块503,用于统计存储的当前一级监控周期的日志上报请求量。示例性的，所述一级监控周期为1小时。[0117]预警模块504,用于在当前一级监控周期的日志上报请求量符合预设的异常判断条件时，进行异常流量预警。关于预警模块504如何依据预设的异常判断条件进行预警，可参考图4所不实施例中的相关表述。[0118]本发明实施例的异常流量的防御装置，能够从“日志上报请求的特征”以及“日志上报请求量”多个层面实时、高效地识别出异常流量，提高了对异常流量的防御效果。通过过滤模块判断日志上报请求携带的黑名单版本号与服务端的黑名单版本号是否相同、并根据判断结果对日志上报请求进行再次识别或直接存储，既能提高异常流量的识别准确率，又能提尚异常流量的识别效率。[0119]图6是根据本发明再一实施例的异常流量的防御装置的主要模块的示意图。本发明实施例的异常流量的防御装置可设置于服务端。如图6所示，本发明实施例的异常流量的防御装置600包括:过滤模块601、统计模块602、预警模块603、识别模块604、更新模块605。[0120]过滤模块601，用于根据服务端的黑名单滤除异常的日志上报请求，并将过滤剩下的日志上报请求进行存储。具体实施时，如果日志上报请求的特征与服务端黑名单上的异常的特征匹配，判定该日志上报请求异常，进而过滤模块601不存储该日志上报请求;如果日志上报请求的特征与服务端黑名单上的异常的特征不匹配，判定该日志上报请求正常，进而过滤模块601将该日志上报请求进行存储。[0121]统计模块602,用于统计存储的当前一级监控周期的日志上报请求量。[0122]预警模块603,用于在当前一级监控周期的日志上报请求量符合预设的异常判断条件时，进行异常流量预警。关于预警模块603如何依据预设的异常判断条件进行预警，可参考图4所不实施例中的相关表述。[0123]识别模块604,用于在预警模块603进行异常流量预警之后，通过训练得到的识别模型对所述当前一级监控周期的日志上报请求进行识别。[0124]其中，所述识别模型用于识别出正常的日志上报请求与异常的日志上报请求。示例性的，所述识别模型为决策树模型，所述一级监控周期为1小时。在该示例中，将当前1小时内存储的日志上报请求输入识别模块604中的决策树模型，若识别出异常的日志上报请求，则调用更新模块605。[0125]更新模块605,用于在识别模块604识别出异常的日志上报请求的情况下，根据识别模块的识别结果更新服务端的黑名单。[0126]本发明实施例的异常流量的防御装置，能够从“日志上报请求的特征”以及“日志上报请求量”多个层面实时、高效地识别出异常流量。进一步，在进行异常流量预警之后，通过识别模块识别出异常的日志上报请求，并通过更新模块更新服务端的黑名单，能够精准地定位、识别异常流量，及时更新服务端的黑名单，进一步提高了异常流量的防御效果。[0127]图7示出了可以应用本发明实施例的异常流量的防御方法或异常流量的防御装置的示例性系统架构700。[0128]如图7所示，系统架构700可以包括终端设备701、702、703,网络704和服务器705。网络704用以在终端设备701、702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。[0129]用户可以使用终端设备701、702、703通过网络704与服务器705交互，以接收或发送消息等。终端设备701、702、703上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。[0130]终端设备701、702、703可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。[0131]服务器705可以是提供各种服务的服务器，例如，对用户利用终端设备701、702、703所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的日志上报请求进行分析等处理，并可以将处理结果反馈给终端设备。[0132]需要说明的是，本发明实施例所提供的异常流量的防御方法一般由服务器705执行，相应地，异常流量的防御装置一般设置于服务器705中。[0133]应该理解，图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。[0134]图8示出了适于用来实现本发明实施例的服务器的计算机系统800的结构示意图。图8示出的计算机系统仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。[0135]如图8所示，计算机系统800包括中央处理单元CPU801，其可以根据存储在只读存储器Φ0Μ802中的程序或者从存储部分808加载到随机访问存储器RAM803中的程序而执行各种适当的动作和处理。在RAM803中，还存储有系统800操作所需的各种程序和数据。CPU801、R0M802以及RAM803通过总线804彼此相连。输入输出（IO接口805也连接至总线804。[0136]以下部件连接至IO接口805:包括键盘、鼠标等的输入部分806;包括诸如阴极射线管CRT、液晶显示器LCD等以及扬声器等的输出部分807;包括硬盘等的存储部分808;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至IO接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。[0137]特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和或从可拆卸介质811被安装。在该计算机程序被中央处理单元CPU801执行时，执行本发明的系统中限定的上述功能。[0138]需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是一一但不限于一一电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器RAM、只读存储器ROM、可擦式可编程只读存储器EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于:无线、电线、光缆、RF等等，或者上述的任意合适的组合。[0139]附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。[0140]描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括过滤模块、统计模块、预警模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，统计模块还可以被描述为“统计日志上报请求量的模块”。[0141]作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备执行以下流程:根据服务端的黑名单滤除异常的日志上报请求，并将过滤剩下的日志上报请求进行存储；统计存储的当前一级监控周期的日志上报请求量;在当前一级监控周期的日志上报请求量符合预设的异常判断条件时，进行异常流量预警。[0142]上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

权利要求：1.一种异常流量的防御方法，其特征在于，所述方法包括：根据服务端的黑名单滤除异常的日志上报请求，并将过滤剩下的日志上报请求进行存储；统计存储的当前一级监控周期的日志上报请求量；在当前一级监控周期的日志上报请求量符合预设的异常判断条件时，进行异常流量预警。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：在所述根据服务端的黑名单滤除异常的日志上报请求的步骤之前，确认日志上报请求携带的黑名单版本号与服务端的黑名单版本号不同。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：在日志上报请求携带的黑名单版本号与服务端的黑名单版本号相同的情况下，将所述日志上报请求进行存储。4.根据权利要求2所述的方法，其特征在于，所述方法还包括：在所述确认日志上报请求携带的黑名单版本号与服务端的黑名单版本号不同的步骤之后，将所述服务端的黑名单发送至客户端。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：在进行异常流量预警之后，通过训练得到的识别模型对所述当前一级监控周期的日志上报请求进行识别;在识别出异常的日志上报请求的情况下，更新服务端的黑名单。6.根据权利要求1所述的方法，其特征在于，所述在当前一级监控周期的日志上报请求量符合预设的异常判断条件时，进行异常流量预警的步骤包括：在当前一级监控周期的日志上报请求量大于第一流量阈值Cmax，或者小于第二流量阈值Cmin的情况下，进行异常流量预警;其中，第一流量阈值Cmax大于第二流量阈值Cmin。7.根据权利要求6所述的方法，其特征在于，所述在当前一级监控周期的日志上报请求量符合预设的异常判断条件时，进行异常流量预警的步骤还包括：在当前一级监控周期的日志上报请求量不小于Cmin、且不大于CmaJ^情况下，计算当前一级监控周期的日志上报请求量的环比波动参数、同比波动参数;在所述环比波动参数和所述同比波动参数都不满足预设的波动范围的情况下，进行异常流量预警。8.根据权利要求7所述的方法，其特征在于，所述方法还包括：假设当前一级监控周期为第i个一级监控周期，根据如下公式计算当前一级监控周期的日志上报请求量的环比波动参数和同比波动参数，其中，α为第i个一级监控周期的日志上报请求量的环比波动参数，P⑴为第i个一级监控周期内的日志上报请求量，Pi_l为第i_l个一级监控周期内的日志上报请求量，Xi为第i个一级监控周期对应的时间，Xi-Ι为第（i-Ι个一级监控周期对应的时间；σ为第i个一级监控周期的日志上报请求量的同比波动参数，m表示计算〇所用的最近二级监控周期的个数，Pk表示第k个二级监控周期中的第i个一级监控周期内的日志上报请求量，k的可选取值为{j-m+1，…，j}，j表示当前一级监控周期所在的二级监控周期的序号，ω表示最近m个二级监控周期内的日志上报请求量序列，…Pi}的均值。9.一种异常流量的防御装置，其特征在于，所述装置包括：过滤模块，用于根据服务端的黑名单滤除异常的日志上报请求，并将过滤剩下的日志上报请求进行存储；统计模块，用于统计存储的当前一级监控周期的日志上报请求量；预警模块，用于在当前一级监控周期的日志上报请求量符合预设的异常判断条件时，进行异常流量预警。10.根据权利要求9所述的装置，其特征在于，所述过滤模块，还用于在根据服务端的黑名单滤除异常的日志上报请求之前，确认日志上报请求携带的黑名单版本号与服务端的黑名单版本号不同。11.根据权利要求10所述的装置，其特征在于，所述过滤模块，还用于在日志上报请求携带的黑名单版本号与服务端的黑名单版本号相同的情况下，将所述日志上报请求进行存储。12.根据权利要求10所述的装置，其特征在于，所述装置还包括：发送模块，用于在所述过滤模块确认日志上报请求携带的黑名单版本号与服务端的黑名单版本号不同之后，将所述服务端的黑名单发送至客户端。13.根据权利要求9所述的装置，其特征在于，所述装置还包括：识别模块，用于在所述预警模块进行异常流量预警之后，通过训练得到的识别模型对所述当前一级监控周期的日志上报请求进行识别；更新模块，用于在所述识别模块识别出异常的日志上报请求的情况下，更新服务端的黑名单。14.根据权利要求9所述的装置，其特征在于，所述预警模块在当前一级监控周期的曰志上报请求量符合预设的异常判断条件时，进行异常流量预警包括：所述预警模块在当前一级监控周期的日志上报请求量大于第一流量阈值Cmax，或者小于第二流量阈值Cmin的情况下，进行异常流量预警;其中，第一流量阈值Cmax大于第二流量阈值Cmiη〇15.根据权利要求14所述的装置，其特征在于，所述预警模块在当前一级监控周期的日志上报请求量符合预设的异常判断条件时，进行异常流量预警还包括：在当前一级监控周期的日志上报请求量不小于Cmin、且不大于CmaJ^情况下，计算当前一级监控周期的日志上报请求量的环比波动参数、同比波动参数;在所述环比波动参数和所述同比波动参数都不满足预设的波动范围的情况下，进行异常流量预警。16.根据权利要求15所述的装置，其特征在于，假设当前一级监控周期为第i个一级监控周期，所述预警模块根据如下公式计算当前一级监控周期的日志上报请求量的环比波动参数和同比波动参数，其中，α为第i个一级监控周期的日志上报请求量的环比波动参数，P⑴为第i个一级监控周期内的日志上报请求量，Pi_l为第i_l个一级监控周期内的日志上报请求量，Xi为第i个一级监控周期对应的时间，Xi-Ι为第（i-Ι个一级监控周期对应的时间；σ为第i个一级监控周期的日志上报请求量的同比波动参数，m表示计算〇所用的最近二级监控周期的个数，Pk表示第k个二级监控周期中的第i个一级监控周期内的日志上报请求量，k的可选取值为{j-m+1，…，j}，j表示当前一级监控周期所在的二级监控周期的序号，ω表示最近m个二级监控周期内的日志上报请求量序列，…Pi}的均值。17.—种服务器，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至8中任一所述的方法。18.—种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至8中任一所述的方法。

百度查询： 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 异常流量的防御方法和装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD