申请/专利权人：浙江大学

申请日：2024-01-12

公开（公告）日：2024-04-12

公开（公告）号：CN117875287A

主分类号：G06F40/18

分类号：G06F40/18;G06N3/0455;G06N3/09

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.30#实质审查的生效;2024.04.12#公开

摘要：本发明公开了一种去偏缺失表格数据端到端预测方法，包括：获取缺失表格数据特征及标签矩阵，并生成相应的特征及标签缺失掩码矩阵；运用XGBoost模型逐列计算逆倾向评分，确定其对应的逆倾向评分矩阵；构建基于逆倾向评分的Transformer的神经网络模型；对缺失表格数据特征矩阵及特征缺失掩码矩阵进行掩蔽，利用重构掩蔽信息的方式结合逆倾向评分矩阵进行自监督预训练，得到预训练后的神经网络模型；将标记后的分类数据和连续数据通过线性层映射到高维；构建去偏半监督微调模块，利用重构误差及标签误差对预训练后的神经网络模型进行半监督微调，得到去偏表格数据预测模型；将缺失表格数据特征矩阵输入预测模型得到最终预测结果。

主权项：1.一种去偏缺失表格端到端预测方法，其特征在于，包括：S1：获取缺失表格数据特征矩阵及缺失表格数据标签矩阵，并生成相应的特征缺失掩码矩阵和标签缺失掩码矩阵；S2：对所述表格数据特征矩阵进行随机采样，根据采样结果，运用XGBoost模型逐列计算逆倾向评分，确定其对应的逆倾向评分矩阵；S3：根据所述逆倾向评分矩阵，构建基于逆倾向评分的Transformer神经网络模型；S4：对所述缺失表格数据特征矩阵及其特征缺失掩码矩阵进行信息掩蔽，将掩蔽后的缺失表格数据特征矩阵、特征缺失掩码矩阵及其对应逆倾向评分矩阵进行拼接，拼接后输入所述Transformer神经网络模型以获取表格数据表征，并通过线性层进行重建预测，利用重构掩蔽信息的方式结合逆倾向评分矩阵进行自监督预训练，得到预训练后的基于逆倾向评分的Transformer神经网络模型；S5：将所述缺失表格数据特征矩阵划分为缺失表格数据分类特征矩阵和缺失表格数据连续特征矩阵，结合其对应的特征缺失掩码矩阵进行标记后，将标记后的缺失表格数据分类特征矩阵和缺失表格数据连续特征矩阵分别通过线性层映射到高维，并将结果进行拼接获得高维缺失表格数据特征矩阵；S6：根据所述高维缺失表格数据特征矩阵，构建去偏半监督微调模块，将高维缺失表格数据特征矩阵、特征缺失掩码矩阵及其对应逆倾向评分矩阵进行拼接，拼接后输入所述预训练后的基于逆倾向评分的Transformer神经网络模型以获取特征矩阵表征及预测结果，根据缺失表格数据标签矩阵，针对标签缺失的样本计算其重构误差，针对标签不缺失的样本，计算其基于逆倾向评分的去偏误差，利用加权求和后的总误差对所述预训练后的神经网络模型进行微调，得到去偏表格数据预测模型；S7：将拼接后的缺失表格数据特征矩阵、特征缺失掩码矩阵及其对应逆倾向评分矩阵输入所述去偏表格数据预测模型对缺失表格数据进行预测得到最终预测结果。

全文数据：

权利要求：

百度查询： 浙江大学 去偏缺失表格端到端预测方法及装置、电子设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD