申请/专利权人：闪捷信息科技有限公司

申请日：2018-04-25

公开（公告）日：2020-11-13

公开（公告）号：CN108683643B

主分类号：H04L29/06(20060101)

分类号：H04L29/06(20060101);G06F21/62(20130101);G06F40/157(20200101)

优先权：

专利状态码：有效-授权

法律状态：2020.11.13#授权;2018.11.13#实质审查的生效;2018.10.19#公开

摘要：本发明涉及网络信息通信安全领域，具体涉及一种基于流式处理的数据脱敏系统及其脱敏方法。本发明通过以下技术方案得以实现的：一种基于流式处理的数据脱敏系统，包含用于获取数据的获取模块、对数据进行脱敏处理的脱敏模块和将脱敏后的数据发出的发送模块，还包含有：缓存模块；判断模块，所述判断模块用于判断目前收到的一个或一个以上的数据包是否包含完整的记录行，并将收集到的一个或一个以上的数据包存储在所述缓存模块中。本发明的目的是提供一种基于流式处理的数据脱敏系统及其脱敏方法，与现有技术不同，采用流式的方式对服务器发送来的数据进行脱敏处理，避免需要大容量的存储空间进行数据缓存，数据脱敏速度快，改善时延问题。

主权项：1.一种基于流式处理的数据脱敏系统，包含用于获取数据的获取模块、对数据进行脱敏处理的脱敏模块和将脱敏后的数据发出的发送模块，其特征在于；还包含有：缓存模块；判断模块，所述判断模块用于判断目前收到的一个或一个以上的数据包是否包含完整的记录行，并将收集到的一个或一个以上的数据包存储在所述缓存模块中，当所述判断模块判断一个完整的记录行存在于一个数据包中，所述脱敏模块直接对该数据包进行脱敏处理，当所述判断模块判断一个完整的记录行存在于两个或两个以上的数据包中，先由合并模块将这两个或两个以上的数据包进行拼接，随后所述脱敏模块再对合并后的记录行数据进行脱敏，当所述判断模块判断一个数据包中既存在前一个记录行的部分数据又存在下一个记录行的部分数据，则先有合并模块将该数据包和之前包含前一个记录行的所有数据包进行拼接，随后脱敏，脱敏后发送模块只发出该数据包之前所有包含前一个记录行的所有数据包。

全文数据：一种基于流式处理的数据脱敏系统及其脱敏方法技术领域[0001]本发明涉及网络信息通信安全领域，具体涉及一种基于流式处理的数据脱敏系统及其脱敏方法。背景技术[0002]随着时代的进步，互联网通信及其应用催生并承载着大数据时代。相比传统数据，大数据具有应用数据流通量大、速度高、类型多的特点，使得互联网成为一个开放的复杂系统，不仅给人们的通信带来方便，也相应的承载着复杂和未知的问题，这其中就包括网络安全的威胁和风险。[0003]在大数据的处理领域，数据的存储和流通环节的数据安全问题成为了人们关注的焦点之一，在这种背景下，人们开始使用数据脱敏技术。数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下，在不违反系统规则下，对真实数据进行改造并提供测试使用，如身份证号、手机号、卡号、客户号等个人信息都需要进行数据脱敏。[0004]在现有技术中，数据脱敏的实现方法为:首先，缓存需要脱敏的数据包，如果当前数据包为完整的协议包，则根据设置的规则对数据进行转换；随后，完成一个脱敏过程，如果数据包不是完整的协议包，就继续缓存数据，直至缓存的数据能够组成完整的协议包，再根据设置的规则对缓存的数据进行转换。然而，这样的技术方案存在着一定的缺陷。[0005]缺陷一:脱敏过程中需要的缓存大小不可预期。由于脱敏之前可能需要缓存数据，缓存数据的多少和具体的数据库查询方式有关，事前无法预期。当多个脱敏工作进行中时，系统现有的存储空间可能会无法满足需要而导致系统无法继续正常工作。[0006]缺陷二:实时响应差。需要先缓存所有数据，缓存结束之后进行数据脱敏后才能返回结果，而这一对所有数据进行缓存和对大量数据进行脱敏的方式需要耗费大量时间，因此会导致返回的脱敏数据存在时延问题。发明内容[0007]本发明的目的是提供一种基于流式处理的数据脱敏系统及其脱敏方法，与现有技术不同，采用流式的方式对服务器发送来的数据进行脱敏处理，避免需要大容量的存储空间进行数据缓存，数据脱敏速度快，改善时延问题。[0008]本发明的上述技术目的是通过以下技术方案得以实现的：一种基于流式处理的数据脱敏系统，包含用于获取数据的获取模块、对数据进行脱敏处理的脱敏模块和将脱敏后的数据发出的发送模块，还包含有：缓存模块；判断模块，所述判断模块用于判断目前收到的一个或一个以上的数据包是否包含完整的记录行，并将收集到的一个或一个以上的数据包存储在所述缓存模块中。[0009]作为本发明的优选，所述脱敏模块包含提取模块、映射模块和替换模块，所述提取模块用于查找和提取数据中的敏感数据和与所述敏感数据对应的目标脱敏规则，所述映射模块用于在映射关系中查找与所述目标脱敏规则所对应的目标数据字典，所述替换模块用于将所述目标数据字典对相对应的所述敏感数据进行替换处理。[0010]作为本发明的优选，当所述判断模块判断一个完整的记录行存在于一个数据包中，所述脱敏模块直接对该数据包进行脱敏处理。[0011]作为本发明的优选，当所述判断模块判断一个完整的记录行存在于两个或两个以上的数据包中，先由合并模块将这两个或两个以上的数据包进行拼接，随后所述脱敏模块再对合并后的记录行数据进行脱敏。[0012]作为本发明的优选，当所述判断模块判断一个数据包中既存在前一个记录行的部分数据又存在下一个记录行的部分数据，则先有合并模块将该数据包和之前包含前一个记录行的所有数据包进行拼接，随后脱敏，脱敏后发送模块只发出该数据包之前所有包含前一个记录行的所有数据包。[0013]—种基于流式处理的数据脱敏系统的脱敏方法，包括以下步骤：步骤一:抓包步骤，在该步骤中，获取模块逐个获取来自服务器发送来的数据包，且缓存在缓存模块中；步骤二:判断步骤，在该步骤中，判断模块对于数据包是否拥有完整的记录行进行判断，若有完整的记录行，则进入下一步骤，若没有，则继续抓取数据包，直至拥有完整的记录行；步骤三:脱敏步骤，在该步骤中，脱敏模块对步骤二中获取到的拥有完整的记录行的数据包进行脱敏处理；步骤四：数据发送步骤，发送模块将脱敏后的数据发送给客户端。[0014]作为本发明的优选，在步骤二中，当前获取到的一个数据包就包含了一个完整的记录行，则脱敏模块直接对该数据包进行脱敏处理，随后由发送模块发送给客户端。[0015]作为本发明的优选，在步骤二中，当前获取到的一个数据包未包含一个完整的记录行，则继续由获取模块抓取下一个数据包，直至判断模块判断出当前抓取的所有数据包包含了一个完整的记录行，随后，合并模块对拼接这些构成一个完整记录行的所有数据包，拼接后进行数据脱敏和发送。[0016]作为本发明的优选，在步骤二中，当前获取到的一个数据包未包含一个完整的记录行，则继续由获取模块抓取下一个数据包，直至判断模块判断出当前抓取的所有数据包包含了一个完整的记录行，当最后一个数据包既包含有当前记录行数据，又包含有下一个记录行数据时，合并模块合并第一个数据包到最后一个数据包进行合并并且脱敏，但保留最后一个数据包不被发送，之前所有的数据包由发送模块发送给客户端。[0017]综上所述，本发明具有如下有益效果：1、本技术方案采用流式脱敏的技术，只需要缓存到完整的记录行就可以操作，对缓存容量的要求小。[0018]2、脱敏操作效率高，延时少。[0019]附图说明：图1是买施例1的示意图；图2是图1中数据脱敏系统的具体示意图。[0020]图中。具体实施方式[0021]以下结合附图对本发明作进一步详细说明。[0022]本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。[0023]实施例1，如图1所示，包含上方的服务器端和下方的客户端。客户端的具体实现形式可以是PC电脑、笔记本电脑、IPAD、智能手机、平板电脑等设备，这里不做具体限制。首先由客户端发送数据请求给数据脱敏系统，数据脱敏系统直接将数据请求发送给服务器端，服务器解读了该数据请求之后，就将对应的原始数据发送给数据脱敏系统，数据脱敏系统根据一定的规则对数据进行数据脱敏之后，再将脱敏后的数据发送给客户端。[0024]具体的，如图2所示，客户端发送给数据脱敏系统的数据包都是逐个发送，如packetl、packet2、packet3…packetN，发送过来的数据包是逐个缓存在缓存模块中的。与现有技术不同的是，在本技术方案中，需要由判断模块去判断记录行的完整情况，此时就会有至少三种情况。[0025]情况一、第一个获取到的数据包packetl本身就包含有了完整的记录行，此时，直接对这个数据包packetl直接进行脱敏处理，随后通过发送模块发送给客户端。[0026]情况二、第一个获取到的数据包packetl只是包含了记录行的一部分，该记录行的其余数据存在后续的packet[2_N]中，例如，存在于packet2、packet3、和packet4中，此时，合并模块就将所有的数据包，即packetl到packet4的数据进行平结，随后对合并的记录数据进行脱敏，最后分别发送packetl到packet4脱敏后的数据包。[0027]由于一个记录行，往往包含有多个字段，这些字段也并不一定存在于一个数据包内，于是就会产生上文中的现象。[0028]情况三、与情况二的区别是最后一个数据包中，不止包含前一个记录行的字段，也包含下一个记录行的部分字段。[0029]例如，packet1、packet2、packet3中都存在记录行A的数据。而packet4中不仅存在一部分记录行A的数据，还存在一部分下一个记录行，即记录行B的数据。在这种情况下，依然能将packetl到4的数据进行拼接合并脱敏，但是在发送的时候，只发送packetl到3的脱敏数据，而packet4的数据留下，参与下一个记录行的脱敏操作。因为packet4还包含不完成的记录行B，所以仍需缓存，知道后续的数据包使得记录行B完整为止。[0030]而脱敏的具体过程如下，首先，获取多个敏感数据，且获取各敏感数据相应的目标脱敏规则;随后，在映射关系中查找与各目标脱敏规则对应的目标数据字典，映射关系包括脱敏规则与数据字典之间的对应关系;最后采用查找到的目标数据字典对相应的敏感数据进行替换处理，以实现数据脱敏。例如，电话号码15832321212则会脱敏为158****1212。[0031]本技术方案对比现有技术，现有技术需要一直缓存数据包直到能够组成完成的协议包才可以进行脱敏操作，一方面使得脱敏过程中需要的缓存大小不可预期，另一方面在时间上耗时较长，导致发送给客户端的脱敏数据存在时延问题。而本技术方案采用流式脱敏的技术，只需要缓存到完整的记录行就可以操作，对缓存容量的要求小，脱敏操作效率高，延时少。

权利要求：1.一种基于流式处理的数据脱敏系统，包含用于获取数据的获取模块、对数据进行脱敏处理的脱敏模块和将脱敏后的数据发出的发送模块，其特征在于;还包含有：缓存模块；判断模块，所述判断模块用于判断目前收到的一个或一个以上的数据包是否包含完整的记录行，并将收集到的一个或一个以上的数据包存储在所述缓存模块中。2.根据权利要求1所述的一种基于流式处理的数据脱敏系统，其特征在于:所述脱敏模块包含提取模块、映射模块和替换模块，所述提取模块用于查找和提取数据中的敏感数据和与所述敏感数据对应的目标脱敏规则，所述映射模块用于在映射关系中查找与所述目标脱敏规则所对应的目标数据字典，所述替换模块用于将所述目标数据字典对相对应的所述敏感数据进行替换处理。3.根据权利要求1所述的一种基于流式处理的数据脱敏系统，其特征在于：当所述判断模块判断一个完整的记录行存在于一个数据包中，所述脱敏模块直接对该数据包进行脱敏处理。4.根据权利要求1所述的一种基于流式处理的数据脱敏系统，其特征在于：当所述判断模块判断一个完整的记录行存在于两个或两个以上的数据包中，先由合并模块将这两个或两个以上的数据包进行拼接，随后所述脱敏模块再对合并后的记录行数据进行脱敏。5.根据权利要求1所述的一种基于流式处理的数据脱敏系统，其特征在于：当所述判断模块判断一个数据包中既存在前一个记录行的部分数据又存在下一个记录行的部分数据，则先有合并模块将该数据包和之前包含前一个记录行的所有数据包进行拼接，随后脱敏，脱敏后发送模块只发出该数据包之前所有包含前一个记录行的所有数据包。6.根据权利要求1所述的一种基于流式处理的数据脱敏系统的脱敏方法，其特征在于，包括以下步骤：步骤一:抓包步骤，在该步骤中，获取模块逐个获取来自服务器发送来的数据包，且缓存在缓存模块中；步骤二:判断步骤，在该步骤中，判断模块对于数据包是否拥有完整的记录行进行判断，若有完整的记录行，则进入下一步骤，若没有，则继续抓取数据包，直至拥有完整的记录行；步骤三:脱敏步骤，在该步骤中，脱敏模块对步骤二中获取到的拥有完整的记录行的数据包进行脱敏处理；步骤四：数据发送步骤，发送模块将脱敏后的数据发送给客户端。7.根据权利要求6所述的一种基于流式处理的数据脱敏系统的脱敏方法，其特征在于：在步骤二中，当前获取到的一个数据包就包含了一个完整的记录行，则脱敏模块直接对该数据包进行脱敏处理，随后由发送模块发送给客户端。8.根据权利要求6所述的一种基于流式处理的数据脱敏系统的脱敏方法，其特征在于：在步骤二中，当前获取到的一个数据包未包含一个完整的记录行，则继续由获取模块抓取下一个数据包，直至判断模块判断出当前抓取的所有数据包包含了一个完整的记录行，随后，合并模块对拼接这些构成一个完整记录行的所有数据包，拼接后进行数据脱敏和发送。9.根据权利要求6所述的一种基于流式处理的数据脱敏系统的脱敏方法，其特征在于：在步骤二中，当前获取到的一个数据包未包含一个完整的记录行，则继续由获取模块抓取下一个数据包，直至判断模块判断出当前抓取的所有数据包包含了一个完整的记录行，当最后一个数据包既包含有当前记录行数据，又包含有下一个记录行数据时，合并模块合并第一个数据包到最后一个数据包进行合并并且脱敏，但保留最后一个数据包不被发送，之前所有的数据包由发送模块发送给客户端。

百度查询： 闪捷信息科技有限公司 一种基于流式处理的数据脱敏系统及其脱敏方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD