申请/专利权人：南京华飞数据技术有限公司

申请日：2023-10-19

公开（公告）日：2023-11-24

公开（公告）号：CN117112871A

主分类号：G06F16/906

分类号：G06F16/906;G06F16/904;G06F18/15;G06F18/2337;G06F9/50;G06F9/54

优先权：

专利状态码：有效-授权

法律状态：2024.01.05#授权;2023.12.12#实质审查的生效;2023.11.24#公开

摘要：本发明公开了一种基于FCM聚类算法模型的数据实时高效融合处理方法，涉及数据处理领域，首先多源数据采集和预处理，然后构建改进式FCM聚类算法模型，并对对预处理后的原始采集数据进行聚类分析，基于数据分类结果进行同类型原始采集数据融合，采用增量计算方式和时间窗口机制对改进式FCM聚类算法模型进行实时更新迭代，通过数据可视化工具Tableau对聚类结果进行可视化，对数据融合结果进行处理与应用；本发明通过多源数据采集、实时分类和数据融合过程，实现了对大规模数据的高效处理和快速响应，具有实时性、高效性和可拓展性，自动化、智能化程度高。

主权项：1.一种基于FCM聚类算法模型的数据实时高效融合处理方法，其特征在于：包括以下步骤：步骤一、多源数据采集和预处理，通过无线传感器网络、抓取工具和访问接口进行实时多源原始数据采集，并将原始采集数据传输至消息队列，以便下一步处理，所述原始采集数据通过数据预处理工具Weka进行数据离群值、重复值、缺失值和归一化处理，以提高聚类的效率和准确性；步骤二、数据分类，采用实时流处理引擎工具构建改进式FCM聚类算法模型，所述改进式FCM聚类算法模型通过对预处理后的原始采集数据进行聚类分析实现数据分类，并采用多线程和异步IO处理方式提高聚类分析的效率和响应速度；步骤三、数据融合，基于数据分类结果进行同类型原始采集数据融合；步骤四、实时更新改进式FCM聚类算法模型，所述改进式FCM聚类算法模型通过大数据处理引擎ApacheSpark进行实时新增数据迭代计算，所述大数据处理引擎ApacheSpark采用增量计算方式和时间窗口机制对改进式FCM聚类算法模型进行实时更新迭代，以提高聚类分析速度和效率；步骤五、聚类结果可视化，通过数据可视化工具Tableau对聚类结果进行可视化；步骤六、对数据融合结果进行处理与应用，采用GPU服务器和并行计算方式对数据融合结果进行数据挖掘、预测分析和优化决策。

全文数据：

权利要求：

百度查询： 南京华飞数据技术有限公司 基于FCM聚类算法模型的数据实时高效融合处理方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD