申请/专利权人：广州银禾网络通信有限公司

申请日：2017-03-01

公开（公告）日：2021-01-05

公开（公告）号：CN107092530B

主分类号：G06F9/50(20060101)

分类号：G06F9/50(20060101)

优先权：

专利状态码：有效-授权

法律状态：2021.01.05#授权;2017.09.19#实质审查的生效;2017.08.25#公开

摘要：本发明提供了一种基于分布式内存的信令数据处理方法及系统，所述方法包括：S1、数据采集；S2、数据预处理；S3、数据存储：将经过预处理的原始信令数据转化为对应的格式分别存入磁盘和内存中；其中，等待存入内存中的信令数据被先处理成由数据块构建成的数据集后，再存入内存中；S4、分布式数据处理：读取内存中存储的数据集，对数据集进行分布式处理；S5、转存：将键值对形式的数据集实时地保存在磁盘存储的键值数据库中。本发明提供的一种基于分布式内存的信令数据处理方法及系统，既可以减少内存的使用又能提高容错率，大大提高了系统的处理速度，同时当磁盘内数据处理完成后就丢弃内存中的数据保证了空间的开销和处理的实时性。

主权项：1.一种移动通信网络的信令数据处理方法，其特征在于，包括以下步骤：S1、数据采集；S2、数据预处理；S3、数据存储：将经过预处理的原始信令数据转化为对应的格式分别存入磁盘和内存中；其中，等待存入内存中的信令数据被先处理成由数据块构建成的数据集后，再存入内存中；S4、分布式数据处理：读取内存中存储的数据集，对数据集进行分布式处理；具体包括以下步骤：S401、针对数据集中的每一个数据块，删除其中冗余的运算信息，只记录下不同数据块之间的依赖关系信息；S402、将S401中处理后得到的新的数据集转化成键值对形式的数据集；S5、转存：将键值对形式的数据集实时地保存在磁盘存储的键值数据库中；在S3中，将信令数据处理成数据集的方法包括以下步骤：S301、使用分布式系统将内存中等待存储的数据划分到至少一个分布式节点上，并且使得每个分布式节点都对应着一个索引，将所有的索引数据存储到一个包含索引信息的分布式节点中；S302、通过查找分布式节点的索引，快速的读取内存中存储的信令数据，进而把信令数据按照一定规律切分成一批一批的批数据，按照先进先出的规则，把这些批数据分别封装为数据块，接着对每个数据块进行归并处理，用数据块构建成数据集，处理结束后将数据集存放入内存中。

全文数据：一种基于分布式内存的信令数据处理方法及系统技术领域[0001]本发明涉及网络通信领域，具体涉及一种基于分布式内存的信令数据处理方法及系统。背景技术[0002]随着数据业务需求的猛增，我们获取的数据正在以指数的形式增长。虽然信令分析系统可以全面的记录网络信令情况，但是由于数据量巨大，现有的信令分析系统的分析时间较长，应用效果不是很理想。发明内容[0003]有鉴于此，有必要针对现有技术中存在的问题，提供一种基于分布式内存的信令数据处理方法及系统，其能够有效地提高数据的处理速度，保证数据的实时性。[0004]为实现上述目的，本发明采用以下技术方案：[0005]—种移动通信网络的信令数据处理方法，包括以下步骤：[0006]S1、数据采集；[0007]S2、数据预处理；[0008]S3、数据存储:将经过预处理的原始信令数据转化为对应的格式分别存入磁盘和内存中；其中，等待存入内存中的信令数据被先处理成由数据块构建成的数据集后，再存入内存中；[0009]S4、分布式数据处理:读取内存中存储的数据集，对数据集进行分布式处理;具体包括以下步骤：[0010]S401、针对数据集中的每一个数据块，删除其中冗余的运算信息，只记录下不同数据块之间的依赖关系信息；[0011]S402、将S401中处理后得到的新的数据集转化成键值对形式的数据集；[0012]S5、转存:将键值对形式的数据集实时地保存在磁盘存储的键值数据库中。[0013]进一步地，所述S1具体包括以下步骤：[0014]S101、通过数据采集端的各个接口实时监控信令数据文件的变化，当发生改变时，对信令数据进行采集；[0015]Sl〇2、将数据采集端的信令数据进行缓冲，提供给数据发送端，保证数据采集和发送之间的同步；[0016]S103、数据发送端将采集到的信令数据按照一定的数据格式发送到文件数据库进行储存，以供进行S2时调用。[0017]进一步地，所述S2具体包括以下步骤：[0018]S201、检测并去除异常点；[0019]S2〇2、比例缩放、编码和特征选择。[0020]进一步地，在S3中，将信令数据处理成数据集的方法包括以下步骤：[0021]S301、使用分布式系统将内存中等待存储的数据划分到至少一个分布式节点上，并且使得每个分布式节点都对应着一个索引，将所有的索引数据存储到一个包含索引信息的分布式节点中；[0022]S3〇2、通过查找分布式节点的索引，快速的读取内存中存储的信令数据，进而把信令数据按照一定规律切分成一批一批的批数据，按照先进先出的规则，把这些批数据分别封装为数据块，接着对每个数据块进行归并处理，用数据块构建成数据集，处理结束后将数据集存放入内存中。[0023]进一步地，在S4中，对数据块进行处理时，根据数据集中数据块的数量，提供相应数量的处理节点进行处理。[0024]一种移动通信网络的信令数据处理系统，包括：[0025]数据采集模块，用于对信令数据进行采集、缓存，并发送到数据预处理模块；[0026]数据预处理模块，用于检测并去除信令数据的异常点，并对信令数据进行比例缩放、编码和特征选择；[0027]分布式数据处理模块，用于将经数据预处理模块处理后，等待存入内存的信令数据处理成由数据块构建成的数据集;还用于读取内存中存储的数据集，对数据集进行分布式处理，并将处理后的数据集存入磁盘；[0028]内存，用于实时数据；[0029]磁盘，用于存储历史数据。[0030]进一步地，在分布式数据处理模块中，将信令数据处理成数据集的方法包括以下步骤：[0031]S301、使用分布式系统将内存中等待存储的数据划分到至少一个分布式节点上，并且使得每个分布式节点都对应着一个索引，将所有的索引数据存储到一个包含索引信息的分布式节点中；[0032]S302、通过查找分布式节点的索引，快速的读取内存中存储的信令数据，进而把信令数据按照一定规律切分成一批一批的批数据，按照先进先出的规则，把这些批数据分别封装为数据块，接着对每个数据块进行归并处理，用数据块构建成数据集，处理结束后将数据集存放入内存中。[0033]进一步地，在分布式数据处理模块中，对数据块进行处理时，根据数据集中数据块的数量，提供相应数量的处理节点进行处理。[0034]进一步地，还包括查询模块，用于查询磁盘中的数据。[0035]本发明提供的一种基于分布式内存的信令数据处理方法及系统，将数据处理成数据块的形式，处理数据时对数据集的每个数据采取分布式内存并行处理的，将需要实时处理的数据集存储于内存中，根据内存存取速度快的特点，把重要的中间数据集在内存中缓存。进一步地，根据数据块中的键字将一个或多个数据块同时进行分布式内存处理，将得到的数据集采用键值对的方式存入数据库，其中所进行的转换和执行操作都是在每个独立的数据块上各自进行。[0036]本发明提供的一种基于分布式内存的信令数据处理方法及系统，既可以减少内存的使用又能提高容错率，大大提高了系统的处理速度，同时当磁盘内数据处理完成后就丢弃内存中的数据保证了空间的开销和处理的实时性。附图说明[0037]图1是本发明提供的一种移动通信网络的信令数据处理方法的流程示意图。[0038]图2是本发明提供的一种移动通信网络的信令数据处理系统的结构示意图。具体实施方式[0039]下面将结合附图和具体的实施例对本发明的技术方案进行详细说明。[0040]实施例一[0041]如图1所示，本发明实施例提供了一种移动通信网络的信令数据处理方法，其具体包括以下步骤。[0042]S1、数据采集;其中，具体包括以下步骤：[0043]S101、通过数据采集端的各个接口实时监控信令数据文件的变化，当发生改变时，对信令数据进行采集；[0044]Sl〇2、将数据采集端的信令数据进行缓冲，提供给数据发送端，保证数据采集和发送之间的同步；[0045]S103、数据发送端将采集到的信令数据按照一定的数据格式发送到文件数据库进行储存，以供进行S2时调用。[0046]S2、数据预处理;S1中釆集到的信令数据如果不经过预处理的话，是无法直接分析的，在数据预处理过程中，一般要完成以下两个基本任务：[0047]S201、检测并去除异常点；[0048]在数据采集过程中，难免发生测量偏差、编码和记录错误等等问题，从而造成数据集中含有一定量不符合客观规律的记录值，对于这些异常点，首先要分清它是纯粹错误数据还是有实际含义的异常点，错误数据要剔除，有意义的数据则应该保留。[0049]S202、比例缩放、编码和特征选择；[0050]适当地对数据进行成比例的放大缩小，以及对分类型数据做数值编码，还有基于特征选择的数据维度规约，都能大大化简数据集的规模，减轻后面数据处理的负担。[0051]S3、数据存储:将经过预处理的原始信令数据转化为对应的格式分别存入磁盘和内存中；其中，等待存入内存中的信令数据被先处理成由数据块构建成的数据集后，再存入内存中。[0052]具体地，采用以下方法将信令数据处理成数据集：[0053]S301、使用分布式系统将内存中等待存储的数据划分到至少一个分布式节点上，并且使得每个分布式节点都对应着一个索引，将所有的索引数据存储到一个包含索引信息的分布式节点中；[0054]S302、通过查找分布式节点的索引，快速的读取内存中存储的信令数据，进而把信令数据按照一定规律切分成一批一批的批数据，按照先进先出的规则，把这些批数据分别封装为数据块，接着对每个数据块进行归并处理，用数据块构建成数据集，处理结束后将数据集存放入内存中。[0055]S4、分布式数据处理:读取内存中存储的数据集，对数据集进行分布式处理;其中，对数据块进行处理时，根据数据集中数据块的数量，提供相应数量的处理节点进行处理。具体包括以下步骤：[0056]s4〇l、针对数据集中的每一个数据块，删除其中冗余的运算信息，只记录下不同数据块之间的依赖关系信息;这一步不会改变已有的数据集中的数据，该操作会返回一个全新的数据集，通过新数据集中的信息可以计算每个数据块，也可以恢复所丢失的数据。[0057]S402、将S401中处理后得到的新的数据集转化成键值对形式的数据集;这一步产生的新的数据集和其中包含的数据块都有相关的键值对，键值对的形式能够快速的进行分布式$据处理，把需要处理新数据集的相同键的元素进行统计，处理节点执行运算，并将数据进行合并，去重等相关操作。因为数据集和数据块中可能包含大量的键和值的内容，将多个数据集的一个或多个键进行处理就可以得到相应的内容。[0058]S5、转存:将键值对形式的数据集实时地保存在磁盘存储的键值数据库中。[0059]实施例二[0060]如图2所示，本发明实施例还提供了一种移动通信网络的信令数据处理系统，其包括：[0061]数据采集模块，用于对信令数据进行采集、缓存，并发送到数据预处理模块；[0062]数据预处理模块，用于检测并去除信令数据的异常点，并对信令数据进行比例缩放、编码和特征选择；[0063]分布式数据处理模块，用于将经数据预处理模块处理后，等待存入内存的信令数据处理成由数据块构建成的数据集;还用于读取内存中存储的数据集，对数据集进行分布式处理，并将处理后的数据集存入磁盘；[0064]内存，用于实时数据；[0065]磁盘，用于存储历史数据。[0066]进一步地，在分布式数据处理模块中，将信令数据处理成数据集的方法包括以下步骤：[0067]S301、使用分布式系统将内存中等待存储的数据划分到至少一个分布式节点上，并且使得每个分布式节点都对应着一个索引，将所有的索引数据存储到一个包含索引信息的分布式节点中；[0068]S302、通过查找分布式节点的索引，快速的读取内存中存储的信令数据，进而把信令数据按照一定规律切分成一批一批的批数据，按照先进先出的规则，把这些批数据分别封装为数据块，接着对每个数据块进行归并处理，用数据块构建成数据集，处理结束后将数据集存放入内存中。[0069]进一步地，在分布式数据处理模块中，对数据块进行处理时，根据数据集中数据块的数量，提供相应数量的处理节点进行处理。[0070]进一步地，还包括查询模块，用于查询磁盘中的数据。[0071]以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

权利要求：1.一种移动通信网络的信令数据处理方法，其特征在于，包括以下步骤：51、数据采集；52、数据预处理；53、数据存储:将经过预处理的原始信令数据转化为对应的格式分别存入磁盘和内存中；其中，等待存入内存中的信令数据被先处理成由数据块构建成的数据集后，再存入内存中；54、分布式数据处理:读取内存中存储的数据集，对数据集进行分布式处理;具体包括以下步骤：5401、针对数据集中的每一个数据块，删除其中冗余的运算信息，只记录下不同数据块之间的依赖关系信息；5402、将S401中处理后得到的新的数据集转化成键值对形式的数据集；55、转存:将键值对形式的数据集实时地保存在磁盘存储的键值数据库中。2.根据权利要求1所述的信令数据处理方法，其特征在于，所述S1具体包括以下步骤：5101、通过数据采集端的各个接口实时监控信令数据文件的变化，当发生改变时，对信令数据进行采集；5102、将数据采集端的信令数据进行缓冲，提供给数据发送端，保证数据采集和发送之间的同步；5103、数据发送端将采集到的信令数据按照一定的数据格式发送到文件数据库进行储存，以供进行S2时调用。3.根据权利要求1所述的信令数据处理方法，其特征在于，所述S2具体包括以下步骤：5201、检测并去除异常点；5202、比例缩放、编码和特征选择。4.根据权利要求1所述的信令数据处理方法，其特征在于，在S3中，将信令数据处理成数据集的方法包括以下步骤：5301、使用分布式系统将内存中等待存储的数据划分到至少一个分布式节点上，并且使得每个分布式节点都对应着一个索引，将所有的索引数据存储到一个包含索引信息的分布式节点中；5302、通过查找分布式节点的索引，快速的读取内存中存储的信令数据，进而把信令数据按照一定规律切分成一批一批的批数据，按照先进先出的规则，把这些批数据分别封装为数据块，接着对每个数据块进行归并处理，用数据块构建成数据集，处理结束后将数据集存放入内存中。5.根据权利要求1所述的信令数据处理方法，其特征在于，在S4中，对数据块进行处理时，根据数据集中数据块的数量，提供相应数量的处理节点进行处理。6.—种移动通信网络的信令数据处理系统，其特征在于，包括：数据采集模块，用于对信令数据进行采集、缓存，并发送到数据预处理模块；数据预处理模块，用于检测并去除信令数据的异常点，并对信令数据进行比例缩放、编码和特征选择；分布式数据处理模块，用于将经数据预处理模块处理后，等待存入内存的信令数据处理成由数据块构建成的数据集;还用于读取内存中存储的数据集，对数据集进行分布式处理，并将处理后的数据集存入磁盘；内存，用于实时数据；磁盘，用于存储历史数据。7.根据权利要求6所述的信令数据处理系统，其特征在于，在分布式数据处理模块中，将信令数据处理成数据集的方法包括以下步骤：5301、使用分布式系统将内存中等待存储的数据划分到至少一个分布式节点上，并且使得每个分布式节点都对应着一个索引，将所有的索引数据存储到一个包含索引信息的分布式节点中；5302、通过查找分布式节点的索引，快速的读取内存中存储的信令数据，进而把信令数据按照一定规律切分成一批一批的批数据，按照先进先出的规则，把这些批数据分别封装为数据块，接着对每个数据块进行归并处理，用数据块构建成数据集，处理结束后将数据集存放入内存中。8.根据权利要求6所述的信令数据处理系统，其特征在于，在分布式数据处理模块中，对数据块进行处理时，根据数据集中数据块的数量，提供相应数量的处理节点进行处理。9.根据权利要求6所述的信令数据处理系统，其特征在于，还包括查询模块，用于查询磁盘中的数据。

百度查询： 广州银禾网络通信有限公司 一种基于分布式内存的信令数据处理方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD