申请/专利权人：杭州东方通信软件技术有限公司

申请日：2023-04-12

公开（公告）日：2023-10-24

公开（公告）号：CN116932619A

主分类号：G06F16/25

分类号：G06F16/25;G06F16/22;G06F16/215;G06F16/2455;G06F16/21

优先权：

专利状态码：在审-实质审查的生效

法律状态：2023.11.10#实质审查的生效;2023.10.24#公开

摘要：本发明实施例公开了本发明公开了一种超大规模NFV网络资源池海量数据处理及数据接入方法，以ODS‑DW‑ADS三层数据分层处理架构作为海量数据处理全过程的方法论，不限制于特定场景下的海量数据处理，可涵盖包括移动通信领域在内诸多领域的海量数据处理场景，以Doris为核心配合Kafka+Flink+MongoDB软件作为海量数据处理全过程的技术栈易部署易运维，可操作性强，简化了海量数据处理过程中的数据导入流程，降低了数据存储压力，提升了数据计算的性能，不仅仅适用于移动通信领域，同样适应于其他领域海量数据处理场景，具有广泛的市场前景。

主权项：1.一种大规模NFV网络资源池海量数据处理方法，其特征在于，所述方法包括：从MongoDB获得Doris表模型的映射配置，根据所述映射配置对所述海量数据进行数据分层获得ODS、DWD、DWS以及ADS的数据层；对大规模NFV网络资源池产生的数据文件进行解析，获得文件流并推送至Kafka分布式消息队列；基于Flink对Kafka分布式消息队列进行调度，将所述文件流分别推送至各个数据层进行数据处理；所述数据处理，包括，利用Kafka将文件流输入ODS层的Duplicate模型进行存储得到用于数据追溯、没有聚合需求的第一数据，并将所述第一数据推送至Kafka；所述第一数据为明细数据，重复上报的明细数据由所述Duplicate表模型接收并直接保存；利用Kafka按照预设规则对所述第一数据进行清洗，输入DWD层中的Aggregate模型采用REPLACE方式聚合，得到第二数据，并将所述第二数据推送至Kafka；所述第二数据包括资源类数据和性能数据，所述任一资源类数据单独对应一条资源拓扑关系进行缓存，以供性能数据查询；利用Kafka将所述性能数据输入DWS层的Aggregate表模型，利用Doris对所述性能数据按照预定需求，采用SUM、MAX、MIN方式，进行实时预汇聚得到第三数据；获取应用层需求，根据所述需求对DWS层的Aggregate表模型中的第三数据和包括空间类数据的其他维度数据，通过创建物化视图的方式进行实时汇聚并保存至ADS层的Aggregate或Duplicate表模型中。

全文数据：

权利要求：

百度查询： 杭州东方通信软件技术有限公司 超大规模NFV网络资源池海量数据处理及数据接入方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD