申请/专利权人：西安电子科技大学

申请日：2022-01-28

公开（公告）日：2024-04-16

公开（公告）号：CN114580709B

主分类号：G06F18/20

分类号：G06F18/20;G06V10/80;G06V10/82;G06F18/213;G06N3/0442;G06N3/08;G06Q50/26

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2022.06.21#实质审查的生效;2022.06.03#公开

摘要：本发明公开了一种基于Transformer的多模态自相关补偿的时序预测方法，包括：获取当前环境中气体的多模态数据；将多模态数据输入至预先训练好的时序预测模型，以使时序预测模型中的特征提取模块对多模态数据中不同模态类型的数据分别进行特征提取；将特征提取后的数据输入至时序预测模型中的数据处理模块，以使数据处理模块对特征提取后的数据进行归一化处理和时序化处理，得到待预测数据；利用Transformer预测模型根据待预测进行预测，得到当前时刻之后预设时间段内的气体浓度。本发明使得时序预测模型在预测时综合考虑多种模态因素，通过引入自相关补偿机制使得时序预测模型可以自适应的消除多模态融合数据中的自相关误差，提高了预测的精度。

主权项：1.一种基于Transformer的多模态自相关补偿的时序预测方法，其特征在于，包括：获取当前环境中气体的多模态数据；将所述多模态数据输入至预先训练好的时序预测模型，以使所述时序预测模型中的特征提取模块对所述多模态数据中不同模态类型的数据分别进行特征提取，得到第一类数据；将所述第一类数据输入至所述时序预测模型中的数据处理模块，以使所述数据处理模块对所述第一类数据进行归一化处理和时序化处理，得到第二类数据；利用Transformer预测模型根据所述第二类数据进行预测，得到当前时刻之后预设时间段内的气体浓度；所述Transformer预测模型包括：编码器Encoder模型和编码器Decoder模型；所述利用Transformer预测模型根据所述第二类数据进行预测的步骤，包括：将所述第二类数据输入Transformer预测模型，使Encoder模型按照预设时间段从所述第二类数据中获得多个局部数据后，确定各个局部数据相对于所述第二类数据的自相关程度的概率分布，并使Decoder模型根据所述自相关程度的概率分布，确定当前时刻之后预设时间段内的气体浓度；所述时序预测模型采用如下步骤训练得到：获取训练样本，所述训练样本包括不同时刻下大气环境中的第一气体浓度数据；将所述训练样本输入待训练时序预测模型，以使所述待训练时序预测模型的特征提取模块在将所述第一气体浓度数据划分为视频数据、音频数据、时序数据之后，利用待训练卷积神经网络将所述视频数据的每一帧图像数据转换为一维数据、利用待训练循环神经网络提取所述音频数据的音频特征、利用待训练因果卷积网络提取所述时序数据的周期特征，并使所述特征提取模块利用全连接层将所述一维数据、所述音频特征和所述周期特征映射至特征空间，得到特征数据；将所述特征数据输入至所述待训练时序预测模型中的数据处理模块，以使所述数据处理模块对所述特征数据进行归一化处理和时序化处理，得到预处理后的数据；将预处理后的数据输入至待训练的Transformer自注意力模型，利用自注意力机制预测所述训练样本在当前时候后预设时间段内的第一气体浓度；根据所述第一气体浓度、所述第一气体浓度对应的实际气体浓度以及预设损失函数，计算损失值；判断所述损失值是否达到预设值；若否，则调整所述待训练卷积神经网络、所述待训练循环神经网络、所述因果卷积网络、所述Encoder模型和所述Decoder模型的参数，并返回所述将所述训练样本输入待训练时序预测模型的步骤；若是，则对当前待训练神经网络中的Transformer预测模型进行参数补偿，得到训练完成的时序预测模型。

全文数据：

权利要求：

百度查询： 西安电子科技大学 基于Transformer的多模态自相关补偿的时序预测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD