申请/专利权人：同济大学

申请日：2023-06-14

公开（公告）日：2024-04-23

公开（公告）号：CN116662864B

主分类号：G06F18/24

分类号：G06F18/24;G06F18/10;G06F18/2321;G06F18/27;G06N3/126

优先权：

专利状态码：有效-授权

法律状态：2024.04.23#授权;2023.09.15#实质审查的生效;2023.08.29#公开

摘要：本发明涉及一种面向在线水质、水动力监测数据的滚动数据清洗方法，包括以下步骤：获取在线监测的历史及当天的水质、水动力数据，并根据数据类型将获取到的数据进行分类整理；针对每种类型的监测数据，挖掘异常数据特征，对数据进行预处理并判断能否满足第一清洗策略要求；若满足第一清洗策略要求，则使用优化后的STL时序分解清洗与密度聚类法对进行数据清洗，并用时序分解后的趋势分量与周期分量之和对异常数据进行重构，否则使用均值清洗法进行数据清洗；对清洗结果按清洗策略进行标注，上传至数据库中。与现有技术相比，本发明考虑了在线监测数据和异常数据的特性，通过两种清洗策略协同的方式，提高了数据质量并保障了监测数据的完整性。

主权项：1.一种面向在线水质、水动力监测数据的滚动数据清洗方法，其特征在于，包括以下步骤：步骤1获取在线监测的历史及当天的水质、水动力数据，并根据数据类型将获取到的数据进行分类整理；步骤2针对每种类型的监测数据，挖掘异常数据特征，对数据进行预处理并判断能否满足第一清洗策略要求；步骤3对满足第一清洗策略要求的数据，使用第一清洗策略进行数据清洗，其中第一清洗策略基于STL时序分解和密度聚类构建，其变量设置根据所属数据分类及异常数据特征共同决定；步骤4对不满足第一清洗策略要求的数据，使用第二清洗策略进行数据清洗，其中，第二清洗策略基于均值清洗构建，其变量设置根据所属数据分类及异常数据特征共同决定；步骤5对清洗结果按清洗策略进行标注，上传至数据库中；所述步骤2中，对数据进行预处理具体包括以下步骤：判断当日数据是否为空，若为空则按照起始时间给出一天的空数据组并退出数据清洗流程；按照时间先后顺序，对数据进行升序排序；根据时间变量，对数据进行去重；对当日及历史数据，以线性回归法进行初步填补；所述步骤2中，判断能否满足第一清洗策略要求具体为：判断1：判断当日有效数据量是否小于应得量的50％，若是则不满足第一清洗策略要求，若否则进行判断2；判断2：判断历史有效数据量是否小于应得量的50％，若是则不满足第一清洗策略要求，若否则进行判断3；判断3：判断当日前一周有效数据量是否小于应得量的50％，若是则不满足第一清洗策略要求，若否则满足第一清洗策略要求；所述步骤3中，使用第一清洗策略进行数据清洗包括以下步骤：步骤3-1对历史数据使用优化后的STL时序分解方法进行清洗；步骤3-2基于步骤3-1清洗后的历史数据，对当日数据使用优化后的STL时序分解方法进行清洗；步骤3-3基于STL时序分解清洗后的历史数据与当日数据，使用优化后的密度聚类方法对当日数据进行二次清洗；所述优化后的STL时序分解方法具体为：构建优化后的局部加权回归法，以反向最近邻个数替代拟合点的k近邻域：设点x的反向最近邻为Dkx＝D，D满足以下条件：1D∈X|{x}2其中Nkx为点x的k近邻域，将D进行二阶局部加权线性回归以完成Loess的平滑目标；基于优化后的局部加权回归法进行STL分解，将原始监测数据序列分解为趋势序列、周期序列及残差序列：Yi＝Ti+Si+Ri其中，Yii＝1，2，...，n为原始数据序列，Sii＝1，2，...，n为周期序列，Tii＝1，2，...，n为趋势序列，Rii＝1，2，...，n为残差序列；通过设定两重邻域阈值判断法对残差序列进行判断得到异常数据，其中，第一重判断为： ThMAX＝μ+A*σThMIN＝μ-B*σ其中，μ为残差项的平均值，σ为残差项的标准差，ThMAX为第一层残差判断阈值上限，ThMIN为第一层残差判断阈值下限，A与B为第一层判断变量；当Yi超出阈值上限或下限时，将该值设定为初步异常值Q，并设定第二层残差判断阈值对其领域内数据进行第二步判定： Thmax＝μ+a*σThmin＝μ-b*σ其中Thmax为第二层残差判断阈值上限，Thmin为第二层残差判断阈值下限，a与b为第二层判断变量，h为异常影响时间；所述步骤3-3中，优化后的密度聚类方法包括以下步骤：步骤3-3-1以原始监测数据、趋势序列Ti与周期序列Si构建密度聚类相似度矩阵MTR；步骤3-3-2以遗传算法及反向最近邻方法优化初始点选择：设MTR中每个点x的反向最近邻为Dkx＝D，并计算x的k个近邻的距离Vk，x以及距离之和Vx，将其放入矩阵中构建反向最近邻相似度矩阵Rk；构建遗传算法初始种群，设定交叉概率Pc，变异概率Pn，种群大小z，停止迭代条件δ，采用二进制编码生成z个个体： L＝C*J其中，m为聚类中心任意一位数的十进制形式，y为8位的编码结果，r为m的定义域阈值，q为异常数据影响变量，由异常数据特征决定，L为总编码长度，C为聚类中心数，J为特征维度；采用目标适应度函数为： 其中init为聚类中心，finit为聚类中心适应度，Niinit为init的i近邻域数值个数；使用遗传算法进行迭代优化，当finit≤δ时达到停止迭代条件，输出初始点优化结果；步骤3-3-3通过密度聚类算法，将和初始点属于同一类的数据划为同一个簇；步骤3-3-4重复步骤3-3-2-步骤3-3-3，对剩余点进行聚类；步骤3-3-5将未加入任何簇类的样本点记为异常数据点，对异常数据点进行清洗，用周期分量与趋势分量相加进行重新构造；所述步骤4中，使用第二清洗策略进行数据清洗具体为：对输入的每个数据点xi，计算前后h时间内的平均值μi，进行如下不等式判断： 其中，为均值清洗判断阈值最小值，为均值清洗阈值判断最大值，h为异常影响时间；若上述不等式不成立，则判断该点数据为异常数据点，对异常数据点用平均值数据进行重新构造。

全文数据：

权利要求：

百度查询： 同济大学 一种面向在线水质、水动力监测数据的滚动数据清洗方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD